10 produtos principais para a construção de aplicativos baseados em LLM na AWS

Reinventar com IA generativa foi o grande tema da palestra de Adam Selipsky na conferência AWS re:Invent no final do ano passado. Em sua palestra de abertura, Selipsky, CEO da Amazon Web Services (AWS), concentrou-se em como a IA generativa, baseada em grandes modelos de linguagem (LLMs), oferece um “turbo impulso” para a produtividade do desenvolvedor e, ao mesmo tempo, permite um nunca grau de personalização antes visto para cada cliente individual.

Swami Sivasubramanian, vice-presidente de dados e IA da AWS, afirmou que “a IA generativa tem o potencial de redefinir as experiências do cliente em todos os setores”. Este caráter transformador da IA ​​generativa baseia-se na capacidade de criar experiências de aplicativos altamente personalizadas no nível da indústria, da empresa e do cliente. A IA generativa permite esta “personalização em massa” através da sua capacidade de processar grandes quantidades de dados com base na perspectiva de utilizadores individuais.

Qual é o problema

O grande problema aqui é que, em última análise, a IA generativa pode fornecer os dados exatos, a experiência do usuário e os recursos de aplicativo que um usuário final individual precisa para concluir uma tarefa específica ou resolver um desafio específico em um determinado momento. Os aplicativos generativos orientados por IA “conhecem” as prioridades de cada usuário e o contexto situacional geral e podem, portanto, oferecer painéis, insights, recomendações e soluções automatizadas personalizados individualmente. Com base nesse profundo conhecimento do usuário final, a IA generativa pode fornecer proteção para produtividade ideal.

Por exemplo, o LLM pode ouvir uma chamada de suporte ao cliente e fornecer automaticamente ao engenheiro de suporte recomendações sobre como resolver o problema da maneira mais rápida. Isto poderia significar que, para um mesmo problema, o LLM poderia fazer recomendações diferentes simplesmente com base no tom de voz do cliente do outro lado da linha.

Essas recomendações também podem depender de uma infinidade de outros fatores, como o histórico de gastos do cliente, chamadas de suporte anteriores com clientes iguais ou semelhantes, o nível de prioridade da empresa na prevenção da rotatividade de clientes e uma série de outros fatores. Este exemplo mostra que o desenvolvimento tradicional de software baseado em instruções codificadas nunca funcionará, pois há simplesmente muita complexidade situacional em torno da organização, de seus clientes e de sua equipe.

10 principais produtos e considerações da AWS

Agora vamos dar uma olhada nos 10 principais produtos da AWS que visam permitir que os desenvolvedores adicionem recursos generativos de IA ao seu portfólio de produtos atual e futuro.

1. Modelos básicos para uso: Amazon Bedrock

O Amazon Bedrock permite que os desenvolvedores consumam diferentes modelos básicos do AI21 Labs, Anthropic, Cohere, Meta, Stability AI e da própria Amazon como um serviço gerenciado. Os desenvolvedores podem ajustar esses modelos com seus próprios dados para tarefas como resumo de texto, resposta a perguntas ou geração de imagens. A Bedrock oferece suporte à personalização para setores e domínios específicos, aumentando a relevância e a precisão das respostas de IA. Os casos de uso incluem o enriquecimento de respostas de IA com dados proprietários usando RAG (Retrieval Augmented Generation), a execução de tarefas complexas em sistemas da empresa e a criação de agentes para interação com o cliente ou processamento de pedidos. Resumindo, a importância do Bedrock reside em sua capacidade de oferecer uma API para os desenvolvedores começarem a usar e ajustar LLMs sem muito tempo de inicialização.

2. Controle a saída do LLM: Guarda-corpos para Bedrock

Guardrails for Bedrock fornece uma API de desenvolvedor para definir um conjunto de limites para as respostas dadas por qualquer um dos modelos de base BedRock. Os desenvolvedores podem, por exemplo, garantir que seu chatbot responderá apenas a perguntas que pertencem a uma categoria de tópico específica ou podem impedir que seu bot use jargão técnico ou linguagem problemática. Os desenvolvedores também podem usar a API Guardrails para controlar a conformidade regulatória, limitar responsabilidades legais, garantir a consistência da voz da marca e responder com base nas sensibilidades culturais locais. Um LLM relacionado à saúde poderia ser ajustado para evitar aconselhamento médico e sempre alertar os usuários para procurar ajuda profissional em vez de usar IA generativa como um substituto para seu médico.

3. Treinamento acelerado de modelo: SageMaker HyperPod

Embora o SageMaker HyperPod não seja uma oferta sem servidor, a AWS permite fácil provisionamento, configuração e manutenção por meio do AWS Management Console e da interface de linha de comando. O cluster Hyperpod vem com todas as bibliotecas SageMaker necessárias para treinamento distribuído entre nós e para pausar, analisar e otimizar o processo de treinamento sem o risco de ter que recomeçar. O Hyperpod permite escalonamento instantâneo de uma a milhares de GPUs sem a necessidade de reconstruir o cluster. Para desenvolvedores de aplicativos, esses dois fatores podem fazer a diferença entre cumprir facilmente um prazo de entrega e explodir seu caminho crítico devido à desaceleração da necessidade de treinar e retreinar repetidamente um LLM. Mas lembre-se de que, como você paga pelo tamanho, número e duração das instâncias de computação que fazem parte do cluster HyperPod, sempre há o risco de provisionamento excessivo ou de esquecimento de desprovisionamento de recursos caros.

4. Silício de alto desempenho: chips AWS Trainium2 e Graviton4

Como desenvolvedor, você pode aproveitar o poder das mais recentes inovações de silício da AWS por meio de diversas instâncias do EC2. As instâncias EC2 Trn2, cada uma com 16 chips Trainium2, visam acelerar o treinamento do modelo, oferecendo um aumento de velocidade de até quatro vezes. Por outro lado, as instâncias EC2 R8g, equipadas com processadores Graviton4, são adaptadas para tarefas com uso intenso de CPU e memória, como inferência de IA e análises em tempo real. Essencialmente, enquanto o Trainium2 se concentra em acelerar o processo de treinamento do modelo, o Graviton4 aborda o lado da inferência, fornecendo força computacional para tarefas como análise em tempo real e manipulação eficiente de dados em caches de memória.

5. Armazenamento de alto desempenho: Amazon S3 Express One Zone

O S3 Express One Zone oferece aos desenvolvedores armazenamento de alto desempenho e baixa latência. Este tipo de armazenamento é importante para projetos que exigem o tratamento de grandes conjuntos de dados. O treinamento LLM e a análise de big data são cargas de trabalho principais que podem se beneficiar significativamente do S3 Express One Zone, já que a Amazon promete velocidades de acesso a dados até 10x mais rápidas em comparação com o armazenamento S3 padrão e latência de solicitação consistente em milissegundos de um dígito e custo reduzido em 50%. de solicitações de API. Como o S3 Express One Zone é muito mais caro em termos de custo real de armazenamento de dados, um recurso de hierarquização automática que aumenta ou diminui automaticamente com base no consumo é fundamental para manter os custos sob controle.

6. Colaboração em privacidade: AWS Clean Rooms ML

Muitos projetos de IA morrem devido a preocupações com a privacidade dos dados quando o proprietário dos dados decide que os benefícios do projeto não superam o risco de conformidade que ele pode acarretar. O AWS Clean Rooms ML permite o treinamento de modelos sem divulgar ou mesmo mover os dados de treinamento. O novo serviço fornece acesso para múltiplas partes fornecerem dados para treinamento de modelo, mas sem permitir qualquer acesso a esses dados. Por exemplo, TI, vendas e marketing poderiam combinar seus dados para criar um modelo conjunto que ajudasse a TI a priorizar tickets de serviço com base no impacto potencial nos negócios, enquanto as equipes de vendas e mercado poderiam prever o impacto de suas campanhas na TI corporativa. Clean Rooms ML é uma oferta “sem servidor” totalmente gerenciada e cobrada por métricas de uso, como número e complexidade de consultas ou modelos de IA treinados.

7. Chatbot Corporativo: Q

O Amazon Q representa uma ferramenta transformadora para desenvolvedores, integrando IA generativa ao núcleo dos serviços da AWS. Com seu design centrado em API, ele permite que os desenvolvedores criem assistentes de IA personalizados, aproveitando uma ampla gama de fontes de dados, do Amazon S3 ao GitHub. Esta capacidade não é apenas uma melhoria incremental; é uma mudança de paradigma, oferecendo uma instância LLM privada e personalizável que pode ser intrinsecamente alinhada com aplicativos específicos ou necessidades do usuário. Como um chatbot totalmente gerenciado, o Amazon Q simplifica a complexidade normalmente associada a essas integrações, fornecendo um modelo de faturamento econômico e baseado no uso. Isso posiciona o Q como um ativo essencial no kit de ferramentas do desenvolvedor moderno, revelando novos potenciais em inteligência de aplicativos e interação do usuário.

8. Insights baseados em dados: Amazon Redshift ML com suporte LLM

O Amazon Redshift ML agora oferece suporte a LLMs, permitindo que os desenvolvedores aproveitem o poder dos LLMs em suas análises. Com essa melhoria, os desenvolvedores podem fazer inferências sobre os dados de feedback de produtos no Amazon Redshift, realizar tarefas como resumir feedback, extração de entidades, análise de sentimentos e classificação de feedback de produtos. Esse recurso requer a criação de um endpoint para um LLM no Amazon SageMaker JumpStart, que pode ser um modelo predefinido ou um modelo personalizado treinado com seus próprios dados. A integração de LLMs com Redshift ML traz o poder da IA ​​para análise de dados, permitindo que os desenvolvedores extraiam mais valor de seus dados e tomem decisões mais informadas.

9. Experimentação simplificada: Construtor de aplicativos de IA generativa na AWS

O Generative AI Application Builder na AWS acelera o desenvolvimento e agiliza a experimentação. Ele fornece conectores pré-construídos para uma variedade de LLMs, incluindo aqueles da Amazon Bedrock e LLMs de terceiros selecionados. Esta solução oferece flexibilidade na implantação do modelo de sua escolha e na integração de serviços preferenciais da AWS e de terceiros. Ele também fornece segurança de nível empresarial, escalabilidade, alta disponibilidade e baixa latência. Os desenvolvedores podem estender a funcionalidade desta solução integrando projetos existentes ou conectando nativamente serviços adicionais da AWS. A solução inclui a biblioteca de orquestração LangChain e funções Lambda para conexão com serviços de terceiros, tornando-a uma ferramenta abrangente para construir e implantar aplicações de IA.

10. Desenvolvimento simplificado de IA: LangChain

A AWS oferece LangChain como uma ferramenta para desenvolvedores simplificarem o desenvolvimento de IA, integrarem-se a vários serviços da AWS e implantarem aplicativos LLM. LangChain simplifica o desenvolvimento de IA abstraindo a complexidade das integrações de fontes de dados e refinando imediatamente. Ele une vários componentes, como Amazon Bedrock, Amazon Kendra, Amazon SageMaker JumpStart e seus LLMs, permitindo a construção de aplicativos de IA generativos altamente precisos em dados corporativos. LangChain serve como interface que conecta esses componentes, facilitando aos desenvolvedores a configuração e o acesso aos modelos geracionais. Esta simplificação do desenvolvimento de IA permite que os desenvolvedores se concentrem mais na lógica da aplicação e menos nas complexidades do gerenciamento do modelo de IA.

Conclusão

Dada a natureza intensiva de recursos dos LLMs, os desenvolvedores devem projetar aplicativos escalonáveis ​​que otimizem os recursos da AWS. Isso inclui a escolha de tipos de instância apropriados, o gerenciamento de recursos computacionais e o emprego de estratégias econômicas.

Construir aplicativos baseados em LLM na AWS requer uma compreensão diferenciada da tecnologia LLM e do ecossistema AWS. Os desenvolvedores devem considerar aspectos como escalabilidade, custo, privacidade de dados, integração com outros serviços AWS e experiência do usuário. Ao prestar atenção a essas considerações, os desenvolvedores podem aproveitar todo o potencial da AWS para criar aplicativos baseados em LLM poderosos, eficientes e eficazes.

À medida que o campo dos LLMs continua a evoluir, manter-se atualizado com as últimas tendências e melhores práticas será crucial para os desenvolvedores. A onda de anúncios em desenvolvimentos relacionados ao LLM na AWS marca apenas o começo de uma jornada emocionante no domínio da IA ​​e do aprendizado de máquina.

Os avanços anunciados no AWS re:Invent em Chicago no final do ano passado representam um salto significativo nos recursos e na eficiência dos aplicativos baseados em LLM na AWS. Os desenvolvedores devem ficar atualizados sobre esses desenvolvimentos, integrando essas ferramentas e considerações em seus aplicativos para aproveitar todo o potencial da tecnologia AWS e LLM.

A postagem 10 produtos principais para a construção de aplicativos baseados em LLM na AWS apareceu pela primeira vez em The New Stack.