Usando IA no trabalho: novo gateway de código aberto promete melhor controle

Existem alguns problemas que os desenvolvedores enfrentam ao implementar grandes modelos de linguagem (LLMs) para aplicações generativas de IA.

Primeiro, as organizações estão preocupadas com o vazamento de dados para o público à medida que os usuários interagem com o LLM, disse Marco Palladino, cofundador e CTO da plataforma de gerenciamento de API de código aberto Kong. Em segundo lugar, eles estão preocupados com as alucinações da IA. Terceiro, eles estão preocupados com os custos das chamadas de API para LLMs baseados em nuvem, acrescentou.

“Eles entendem o poder da IA, querem usá-la, mas também estão muito preocupados em garantir que haja um uso responsável da IA ​​por parte da organização”, disse Palladino. “Algumas organizações estão implementando IA do ponto de vista de testes, mas não sabem realmente como produzi-la. O que estamos dando a eles é a capacidade de garantir governança e conformidade e prevenção de abusos em seu tráfego de IA”.

Kong criou um gateway de IA, integrado ao seu middleware de gerenciamento de API, para ajudar as organizações a lidar com esses desafios. Está disponível como um plugin de código aberto para Kong Gateway 3.6.

IA como caso de uso de API

Fundamentalmente, a IA é um caso de uso de API, assim como a Internet é impulsionada principalmente por APIs agora, e como os microsserviços são impulsionados por APIs, a IA será impulsionada pelo uso de API, afirmou Palladino.

“Há três coisas que podemos fazer com a IA: podemos usar a IA, podemos treinar a IA ou podemos fazer com que a IA interaja com o mundo usando uma API. Quer a utilizemos, quer a treinemos, quer a IA interaja com outros serviços, outros dados ou todas estas três coisas, são as APIs que impulsionam isso”, disse ele. “Acontece que a IA é o mais recente caso de uso digital que impulsiona o consumo de API no mundo.”

E certamente parece ser assim que está acontecendo: é mais fácil aproveitar uma API para um transformador generativo pré-treinado (GPT) existente, como o ChatGPT 4 da OpenAI, do que construir. Acrescente a isso o fato de que os LLMs podem resolver diferentes casos de uso, e é improvável que os desenvolvedores se conectem a apenas um LLM, acrescentou. Apenas uma razão pela qual isso acontece: uma maneira de reduzir as alucinações é usar um segundo LLM para revisar a resposta do primeiro LLM a um prompt antes de apresentá-lo, disseram fontes ao The New Stack.

“As organizações estão usando LLMs com base no conjunto de dados com os quais estão treinando esses LLMs e estão usando as tecnologias de IA que melhor se adaptam ao trabalho”, disse ele. “Nunca será uma tecnologia que atenderá a todos os casos de uso. Serão vários LLMs.”

Controlando a IA para uso empresarial

Mas também é caro chamar todas essas APIs de IA do modelo de nuvem. A tendência que Kong vê é que as organizações de tamanho empresarial estão orquestrando entre LLMs auto-hospedados que são mais baratos e mais rápidos do ponto de vista de latência, com os LLMs em nuvem sendo uma alternativa caso o LLM auto-hospedado não seja suficiente ou caia, Palladino disse. O gateway de IA suporta esse cenário, acrescentou, dando aos desenvolvedores “uma API para governar todos eles”.

“Temos trabalhado com alguns parceiros de design selecionados, clientes nossos, para criar um gateway de IA que permita aos desenvolvedores serem mais produtivos, fornecendo (eles) uma API que eles possam usar para consumir quantos LLMs quiserem. Palladino disse. “Em vez de ter que construir integrações de aplicativos com um LLM e depois outro e depois outro, eles podem construí-lo uma vez e então podem, com o toque de um botão, escolher qual LLM desejam oferecer suporte e hoje oferecemos suporte a seis deles em nosso produto.”

Até agora, o gateway de IA se integra com APIs dos seguintes provedores de LLM em nuvem:

• OpenAI
• IA do Azure
• Antrópico
• Coer
• Mistral
• Lhama de Meta

Kong planeja adicionar suporte para LLMs de código aberto da Hugging Face e AWS Bedrock.

“Você cria uma vez e pode alternar entre qualquer outro LLM que oferecemos suporte. Depois de fazer isso, fornecemos uma maneira centralizada de gerenciar credenciais de IA, análises de IA, segurança de IA, no topo do gateway, para que, se quisermos alternar nossos tokens, se quisermos capturar logs de observabilidade de IA, podemos fazer isso na camada de gateway”, disse ele. “Não precisamos alterar nossos aplicativos ou criar coisas em nossos aplicativos; o portal faz isso por nós.”

O gateway também oferece às organizações uma maneira de fornecer governança e conformidade em torno da IA, pois incorpora um firewall que permite apenas determinados tipos de prompts e permite que a organização estabeleça parâmetros sobre os prompts. Pode, por exemplo, realizar verificações de palavrões ou garantir que nada ilegal esteja sendo realizado, disse ele. O gateway também incorpora um mecanismo de orquestração, que gerencia o tráfego entre LLMs auto-hospedados e LLMs em nuvem para ajudar a melhorar o desempenho e reduzir o custo do uso de IA, acrescentou.

“O que estamos dando a eles é a capacidade de garantir governança e conformidade e prevenção de abusos em seu tráfego de IA, para que se sintam confortáveis ​​em poder aplicar suas regras além de qualquer consumo de IA que os desenvolvedores estejam fazendo”, disse ele. “Estamos fornecendo a eles a infraestrutura para que possam entrar em operação e em produção com APIs”.

A postagem Usando IA para o trabalho: novo gateway de código aberto promete melhor controle apareceu pela primeira vez em The New Stack.