Por que a Viable usa Next.js e Node.js para aplicativos de IA

Embora a maioria dos bots generativos de inteligência artificial sejam acessados ​​por meio de uma interface de bate-papo, essa não é a única interface de usuário que a IA pode ter. A Viable é um exemplo de empresa que utiliza IA sem recorrer a uma interface de chatbot.

A startup agrega e analisa feedback de clientes para empresas. Esses dados podem vir de análises on-line, respostas de pesquisas, mídias sociais e plataformas de atendimento ao cliente, como ZenDesk ou Intercom – basicamente em qualquer lugar onde os clientes estejam conversando com a empresa sobre seus serviços. A Viable então usa IA para combinar o feedback do cliente com a análise de IA para criar relatórios em vez de um bate-papo, disse o fundador e CEO Daniel Erickson.

“Os dados chegam, ele os processa, se aprofunda para encontrar tópicos e identifica temas dentro desse conjunto de dados, depois analisa esses temas para você e publica cerca de 10 parágrafos por tema que analisamos, e parece um relatório ”, disse Erickson, que também é engenheiro de software, ao The New Stack. “Quando você está realmente olhando para o aplicativo Viable, o que você está fazendo é ler relatórios, e eles são lidos como se um analista humano os tivesse escrito.”

Foi uma das primeiras empresas a aproveitar a API GPT da OpenAI, acrescentou.

IA sem bate-papo

Honeycomb é outro exemplo de implantação de IA que não aproveita o chat, observou Erickson. Honeycomb usa uma interface de linguagem natural que permite aos usuários criar consultas em linguagem simples. A IA então gera uma consulta mais técnica, semelhante a SQL, disse ele. Ele também prevê outros usos para modelos de linguagem natural além dos chatbots.

“Acho que as pessoas vão alternar muito menos filtros e menus suspensos e mais apenas digitar o que querem encontrar e recuperar essas coisas”, disse ele. “A outra coisa que tenho visto é que as pessoas muitas vezes têm dificuldade em interagir com estas IAs, porque há uma pequena curva de aprendizagem para compreender como – não vou afirmar que elas pensam necessariamente – mas como elas ‘pensam’. ”

É por isso que é realmente importante fornecer feedback aos clientes sobre o que eles estão pedindo à IA, acrescentou. Para isso, a Viable criou um coach imediato para ajudar os clientes com suas dúvidas.

“Basicamente construímos esse tipo de treinador que entra e olha para aquele prompt e diz: ‘Veja como você pode melhorar esse prompt para tornar mais fácil para a IA entender e obter melhores resultados para ele’”, disse ele .

Por que Next.js e Node.js

A Viable usa a estrutura Next.js hospedada no Vercel para criar sua interface de usuário e APIs. Next.js facilita a criação de novos endpoints de API em novas páginas da IU, disse Erickson. Isso porque no Next.js, criar uma nova rota requer apenas um novo arquivo em uma pasta, o que é muito mais fácil do que outras opções de código aberto como o Express, acrescentou.

“Basicamente, simplesmente faz isso”, disse ele. “Tantos outros frameworks por aí, você tem que entrar e dizer, ‘Eu quero que minha rota de API seja assim, apenas aceite essas coisas, e realmente entre e faça o âmago da questão. Next.js, tudo o que preciso fazer é criar um novo arquivo, descartar as páginas (no) diretório /API e, de repente, tenho uma nova rota de API.”

Outro benefício do Next.js para Erickson é o ecossistema, que ele observou ser maior do que qualquer outra estrutura existente, exceto talvez o próprio React. E Next.js usa React nos bastidores de qualquer maneira, acrescentou.

“Basicamente, se for compatível com React (…) e então há um monte de bibliotecas extras que são de código aberto construídas em torno de autenticação, em torno de diferentes fontes de dados, em torno de diferentes componentes – como componentes de UI – e bibliotecas”, disse ele. “Há uma tonelada lá ao qual o ecossistema é realmente fácil de conectar e tem muitas ferramentas para mim que não preciso construir sozinho.”

Um dos desafios enfrentados pela Viable foi que seu pipeline de ingestão de dados precisa ser capaz de suportar tudo, desde um fluxo de dados até uma monção, já que o feedback do cliente pode ser “pontual”, explicou ele.

“Você não sabe se serão cinco mensagens por dia ou se serão 500 mil mensagens por dia. Tudo depende do que sua empresa está fazendo e do que as pessoas estão falando”, disse ele. “A arquitetura sem servidor e as funções de borda da Vercel realmente nos ajudam a escalar para atender a essas demandas.”

Ele optou pelo JavaScript porque, como engenheiro de JavaScript, trabalhava com o ambiente de execução Node.js desde 2009, então fazia parte de sua caixa de ferramentas para escrever código. Também é muito bom para lidar com processamento assíncrono de dados, acrescentou. O que o torna bom é que ele é executado de maneira assíncrona, o que significa que basicamente possui um loop de tempo de execução que acontece quando o código é executado.

“Isso pode pausar a execução de um processo”, disse ele. “Ele está extraindo mais dados, o que significa que pode realizar multitarefas muito melhor do que muitas outras linguagens de programação por aí. Você tem que pensar menos em multitarefa com o Node do que quando lida com outras coisas.”

Advertências ao desenvolver com IA

Uma coisa que os desenvolvedores devem estar cientes antes de começarem a desenvolver com IA é que a maior parte da IA ​​requer suporte para streaming em tempo real, disse Erickson.

“Se você conversou com o ChatGPT ou algo assim, você pode realmente ver o texto sendo transmitido”, disse ele. “Não gosto de ter um pequeno indicador de carregamento e depois digitar todo o texto de uma vez. Você precisa ver o texto chegando como se o computador estivesse digitando em você, e isso se deve à latência.”

Os modelos demoram “uma eternidade” para gerar texto, por isso é importante entregar o primeiro trecho de texto ao usuário o mais rápido possível, acrescentou. Next.js e as ferramentas de IA da Vercel tornaram mais fácil do que a codificação manual o suporte ao streaming, acrescentou.

A postagem Por que a Viable usa Next.js e Node.js para aplicativos de IA apareceu pela primeira vez em The New Stack.