Trabalhando com APIs LLM: Dev compartilha experiência na construção de AI Bots

O curso da desenvolvedora e treinadora de software Ania Kubów sobre desenvolvimento com o grande modelo de linguagem PaLM 2 já está desatualizado. Apenas cinco meses após seu lançamento, o Google substituiu o modelo de linguagem PaLM 2 em favor do Gemini. É frustrante, mas é a natureza da tecnologia, disse ela ao The New Stack.

Desmistificar APIs de inteligência artificial é um dos objetivos de Kubów como treinador. Perguntamos a Kubów o que os desenvolvedores podem esperar quando se trata de lidar com LLMs e suas APIs. Ela disse que percebeu uma tendência de APIs de IA se tornarem mais fáceis de usar.

“Há um tipo de padrão emergente, especialmente com as APIs que tenho usado, que estou começando a ver mais”, disse ela. “No início, mesmo apenas organizando a documentação, você lia alguma documentação, e poderia parecer bastante caótico.”

O ritmo acelerado da IA ​​se deve principalmente à louca curva de adoção da tecnologia.

Cuidado com as datas limite de dados de IA

No início, havia muita confusão sobre o que realmente era a IA – e, sem dúvida, essa confusão ainda cerca a tecnologia. Kubów vê a IA menos como uma ameaça para os programadores e mais como uma ferramenta robusta.

“Sempre gosto de pensar nisso (…) como uma pesquisa no Google realmente boa, porque é essencialmente isso que é”, disse ela. “Você está obtendo alguns dados que foram treinados. Você está alimentando (dados) em um grande modelo de linguagem, e é isso que você recebe de volta.”

Como a IA depende de modelos treinados com uma data limite – por exemplo, o modelo GPT-3.5 da OpenAI é treinado até janeiro de 2023 – ela frequentemente aconselha os desenvolvedores a adicionar seus próprios dados ou raspar páginas da web e armazená-los em um banco de dados para adicionar informações para o modelo.

“Gosto de lembrar aos desenvolvedores que é uma pesquisa muito boa no Google, (mas) estejam cientes da data limite”, disse ela. “Está citando você de 2023, porque esse é o conhecimento mais recente que possui. Então isso é algo para se estar ciente.”

Esses dados de corte podem ser significativos dependendo de como os desenvolvedores estão implantando o LLM. Por exemplo, se você estiver construindo um chatbot de Fórmula 1 e alguém perguntar quem ganhou a “última corrida”, ele poderá dizer Lewis Hamilton porque seus dados mais recentes são de 2023, disse ela.

Primeiros passos com APIs de IA

Os desenvolvedores recomendados por Kubów começam com um modelo de texto para texto do GPT-4 da OpenAI ou do Gemini do Google.

“É uma API e você pode fazer várias coisas com ela”, explicou ela.

Ela não tem preferência por nenhum LLM em detrimento de outro – tanto o OpenAI quanto o Gemini do Google têm seus prós e contras, acrescentou ela.

“Escrever a mensagem correta também é uma consideração que você pode querer considerar antes de usar seus créditos ou seu dinheiro para fazer todas essas ligações.”
— Ania Kubów, desenvolvedora de software e treinadora

Embora o frontend tenha que fornecer a capacidade de streaming de dados para entregar bate-papos, Kubów disse que o que é significativo com a API LLM está acontecendo no backend. Os desenvolvedores precisam entender o que desejam que o chatbot faça, entender o modelo que desejam usar e o tipo de resultado que desejam, que será moldado pelo prompt criado pelos desenvolvedores, acrescentou ela.

“Isso é o mais importante, fazer isso de forma financeiramente eficiente, porque cada ligação que você fizer custará alguma coisa”, disse ela. “Escrever a mensagem correta também é uma consideração que você pode querer considerar antes de usar seus créditos ou seu dinheiro para fazer todas essas ligações.”

Principalmente, ela viu desenvolvedores trabalhando em chatbots. Ela construiu uma variedade de bots, incluindo um bot de IA de vendas e um chatbot de conversação multiturno. Ela também trabalhou com LLMs de IA de imagem, construindo um analisador de imagem que permite aos usuários enviar uma imagem e fazer com que a IA coloque texto na imagem. Outro gera imagens baseadas em texto usando DALL-E com JavaScript.

“Eu desenvolvi um frontend para fazer upload da imagem no frontend, enviá-la para o backend e então o backend enviaria para a IA”, disse ela.

Desafios que os desenvolvedores normalmente enfrentam

Em geral, Kubów achou as APIs fáceis de usar e autoexplicativas. Existem alguns modelos que podem ser mais difíceis de trabalhar, no entanto.

“Obviamente, os mais difíceis, aqueles que enviam imagens ou criam incorporações vetoriais, quando você pode não entender o que é uma incorporação vetorial e para que serve, podem ser um pouco mais complicados”, disse ela. “É claro que nunca vimos incorporações de vetores no mundo da API antes, ou nunca.”

Os problemas comuns que ela vê os desenvolvedores encontrarem são quando eles não obtêm os resultados esperados de um chatbot. Freqüentemente, isso está relacionado à escrita do prompt. Outros problemas podem resultar da curva de adoção acelerada da IA ​​— um programador pode ter instalado um pacote que já é mais recente que o da documentação, por exemplo.

“Tudo vem apenas da rápida mudança que estamos vivenciando”, disse ela. “Os resultados (podem) ser bastante imprevisíveis se você estiver apenas começando.”

A chave do sucesso ao começar é prestar muita atenção à documentação, aconselhou ela.

“Como você sabe, muitos dos meus tutoriais que fiz há apenas um ou dois meses estão desatualizados”, disse ela. “Portanto, verificar a documentação tanto quanto possível, para verificar as atualizações mais recentes, é definitivamente algo que eu recomendaria.”

A postagem Trabalhando com APIs LLM: Dev compartilha experiência construindo AI Bots apareceu pela primeira vez em The New Stack.