TruEra lança ferramenta gratuita para testar aplicativos LLM para alucinações

TruEra, um fornecedor que fornece ferramentas para testar, depurar e monitorar modelos de linguagem de máquina (ML), expandiu hoje seu portfólio de produtos com o lançamento do TruLens, software de código aberto dedicado a testar aplicativos construídos em modelos de linguagem grandes (LLMs), como a série GPT .

Disponível gratuitamente a partir de hoje, o TruLens oferece às empresas uma maneira rápida e fácil de avaliar e iterar em seus aplicativos LLM e eliminar as chances de alucinações e preconceitos no estágio de produção.

Atualmente, apenas um número limitado de fornecedores oferece ferramentas para lidar com este aspecto do desenvolvimento de aplicativos LLM, mesmo que empresas de todos os setores continuem a explorar o potencial da IA ​​generativa para diferentes casos de uso.

Por que TruLens para aplicações LLM?

Os LLMs estão na moda, mas quando se trata de construir aplicativos baseados nesses modelos, as empresas precisam passar por um cansativo processo de experimentação que envolve pontuação de respostas orientada por humanos. Essencialmente, uma vez desenvolvida a primeira versão de um aplicativo, as equipes precisam testar e revisar manualmente suas respostas, ajustar prompts, hiperparâmetros e modelos e, em seguida, testar novamente até que um resultado satisfatório seja alcançado.

Isso não só leva muito tempo, mas também é difícil de ampliar.

Com o TruLens, a TruEra está abordando essa lacuna introduzindo um método programático de avaliação chamado “funções de feedback”. Conforme explica a empresa, uma função de feedback avalia a saída de um aplicativo LLM quanto à qualidade e eficiência, analisando tanto o texto gerado a partir do LLM quanto os metadados da resposta.

“Pense nisso como uma forma de registrar e avaliar feedback direto e indireto sobre o desempenho e a qualidade do seu aplicativo LLM. Isso ajuda os desenvolvedores a criar aplicativos LLM confiáveis ​​e poderosos com mais rapidez. Você pode usá-lo para uma ampla variedade de casos de uso de LLM, como resposta a perguntas de chatbot, recuperação de informações e assim por diante”, disse Anupam Datta, cofundador, presidente e cientista-chefe da TruEra, à VentureBeat.

TruLens pode ser adicionado ao processo de desenvolvimento com algumas linhas de código. Quando estiver instalado e funcionando, os usuários poderão criar suas próprias funções de feedback — personalizadas para casos de uso específicos — ou usar as opções prontas para uso.

Atualmente, o software fornece funções de feedback que testam a veracidade, a relevância das respostas às perguntas, a linguagem prejudicial ou tóxica, o sentimento do usuário, a incompatibilidade de linguagem, a verbosidade das respostas e a justiça e preconceito. Além disso, ele também registra quanto um LLM está recebendo ping no aplicativo, proporcionando uma maneira fácil de rastrear os custos de uso.

“Isso também ajuda você a determinar como construir a melhor versão do aplicativo com o menor custo contínuo. Todos esses pings se somam”, observou Datta.

Outras ofertas para aplicações LLM

Embora testar aplicativos baseados em LLM quanto ao desempenho e precisão de resposta seja a necessidade do momento, apenas alguns players lançaram soluções para lidar com isso. Isso inclui a integração de monitoramento de modelo OpenAI da Datadog, a solução Pheonix da Arize e a recém-lançada solução de monitoramento de IA generativa da Mona Labs, com sede em Israel.

TruEra, por sua vez, afirma que TruLens é melhor usado na fase de desenvolvimento de aplicativos LLM.

“Na verdade, esta é a fase em que a maioria das empresas se encontra hoje – elas estão experimentando o desenvolvimento e realmente têm uma necessidade urgente de ferramentas que as ajudem a iterar mais rapidamente e a se concentrar em versões de aplicativos que sejam eficazes em suas tarefas e que minimizem os riscos. Você pode, é claro, usá-lo tanto em modelos de desenvolvimento quanto de produção”, disse Datta.

De acordo com um inquérito da Accenture, 98% dos executivos globais concordam que os modelos básicos de IA desempenharão um papel importante nas estratégias das suas organizações nos próximos três a cinco anos. Isso sinaliza que ferramentas como o TruLens em breve terão uma demanda crescente por parte das empresas.