Assistente do Wells Fargo, desenvolvido com IA do Google, preparado para atingir 100 milhões de interações anualmente

O CIO do Wells Fargo, Chintan Mehta, divulgou detalhes sobre as implantações de aplicativos generativos de IA no banco, incluindo que o aplicativo de assistente virtual da empresa, Fargo, administrou 20 milhões de interações desde que foi lançado em março.

“Achamos que isso é realmente capaz de realizar cerca de 100 milhões ou mais (interações) por ano”, disse ele na noite de quarta-feira em São Francisco, em um evento organizado pela VentureBeat, “à medida que adicionamos mais conversas, mais recursos”.

A tração do banco na IA é significativa porque contrasta com a maioria das grandes empresas, que estão apenas na fase de prova de conceito com IA generativa. Esperava-se que grandes bancos como o Wells Fargo avançassem de forma particularmente lenta, dada a enorme quantidade de regulamentação financeira em torno da privacidade. No entanto, o Wells Fargo está avançando de forma agressiva: o banco colocou 4.000 funcionários no programa de IA centrada no ser humano de Stanford, HAI, e Mehta disse que o banco já tem “muitos” projetos de IA generativa em produção, muitos dos quais são servindo para tornar as tarefas de back-office mais eficientes.

A palestra de Mehta foi proferida no evento AI Impact Tour, que o VentureBeat iniciou na noite de quarta-feira. O evento focou em como as empresas podem “chegar a um modelo de governança de IA”, especificamente em torno do novo sabor da IA ​​generativa, onde os aplicativos usam modelos de linguagem grande (LLM) para fornecer respostas mais inteligentes às perguntas. O Wells Fargo é um dos três maiores bancos dos EUA, com 1,7 trilhão em ativos.

As múltiplas implantações de LLM do Wells Fargo são executadas em cima de sua plataforma “Tachyon”

Fargo, um assistente virtual que ajuda os clientes a obter respostas para suas perguntas bancárias diárias em seus smartphones, usando voz ou texto, está registrando 2,7 interações “fixas” por sessão, disse Mehta. O aplicativo executa tarefas como pagar contas, enviar dinheiro e oferecer detalhes de transações. O aplicativo foi desenvolvido no Google Dialogflow e lançado usando o PaLM 2 LLM do Google. O banco está evoluindo o aplicativo Fargo para adotar avanços em LLMs e agora usa vários LLMs em seu fluxo para tarefas diferentes – “já que você não precisa do mesmo modelo grande para todas as coisas”, disse Mehta.

Outro aplicativo do Wells Fargo que usa LLMs é o Livesync, que fornece consultoria ao cliente para definição de metas e planejamento. Esse aplicativo foi lançado recentemente para todos os clientes e teve um milhão de usuários ativos mensais durante o primeiro mês, disse Mehta.

Notavelmente, o Wells Fargo também implantou outros aplicativos que usam LLMs de código aberto, incluindo o modelo Llama 2 da Meta, para alguns usos internos. Modelos de código aberto como o Llama foram lançados muitos meses depois que a empolgação em torno do ChatGPT da OpenAI começou em novembro de 2022. Esse atraso significa que demorou um pouco para as empresas experimentarem modelos de código aberto até o ponto em que estivessem prontas para implantá-los. Relatos de grandes empresas que implementam modelos de código aberto ainda são relativamente raros.

No entanto, os LLMs de código aberto são importantes porque permitem que as empresas façam mais ajustes nos modelos, o que dá às empresas mais controle sobre as capacidades do modelo, o que pode ser importante para casos de uso específicos, disse Mehta.

O banco construiu uma plataforma de IA chamada Tachyon para executar seus aplicativos de IA, algo sobre o qual a empresa não tem falado muito. Mas baseia-se em três suposições, disse Mehta: que um modelo de IA não dominará o mundo, que o banco não executará seus aplicativos em um único provedor de serviços de nuvem e que os dados poderão enfrentar problemas quando forem transferidos entre diferentes dados. lojas e bancos de dados. Isso torna a plataforma maleável o suficiente para acomodar modelos novos e maiores, com resiliência e desempenho, disse Mehta. Ele permite coisas como fragmentação de modelo e fragmentação de tensor, técnicas que reduzem os requisitos de memória e computação de treinamento e inferência de modelo. (Veja nossa entrevista com Mehta em março sobre a estratégia do banco.)

A plataforma colocou o Wells Fargo à frente no que diz respeito à produção, disse Mehta, embora tenha dito que a plataforma é algo que os concorrentes deveriam ser capazes de replicar ao longo do tempo.

LLMs multimodais são o futuro e serão um grande negócio

Os LLMs multimodais, que permitem aos clientes comunicar através de imagens e vídeo, bem como texto ou voz, serão “críticos”, disse Mehta. Ele deu um exemplo hipotético de um aplicativo de comércio, onde você carrega a foto de um navio de cruzeiro e diz “Você consegue fazer isso acontecer?” e um assistente virtual entenderia a intenção e explicaria o que o usuário precisava fazer para reservar uma viagem no navio de cruzeiro.

Embora os LLMs tenham sido desenvolvidos para produzir texto muito bem, mesmo modelos multimodais de ponta como o Gemini exigem muito texto do usuário para contextualizá-lo, disse ele. Ele disse que a “multimodalidade de entrada”, onde um LLM entende a intenção sem exigir tanto texto, é de maior interesse. Os aplicativos são meios visuais, disse ele.

Ele disse que o valor central do setor bancário, de combinar o capital com a necessidade de um usuário específico, permanece relativamente estável, e que a maior parte da inovação estará na “finalidade experiencial e de capacidade da história”. Quando questionado sobre onde o Wells Fargo irá aqui, ele disse que se os LLMs puderem se tornar mais “agentes” ou permitir que os usuários façam coisas como reservar um cruzeiro, entendendo a entrada multimodal e conduzindo-os através de uma série de etapas para fazer algo, isso será “um grande negócio”. Uma segunda área é a prestação de aconselhamento, onde a compreensão da intenção multimodal também é importante, disse Mehta.

A regulamentação lenta tornou a governação da IA ​​um desafio

Sobre o tema da governança de aplicações de IA, Mehta disse que a resposta do banco a isso tem sido focar na finalidade de utilização de cada aplicação. Ele disse que o banco tem “documentação incrível em cada etapa do processo”. Embora a maioria dos desafios em torno da governação tenham sido resolvidos, ele concordou que as áreas relacionadas com a segurança das aplicações, incluindo a cibersegurança e a fraude, continuam a ser desafios.

Quando questionado sobre o que o mantém acordado à noite, Mehta citou a regulamentação bancária, que tem ficado cada vez mais aquém dos avanços tecnológicos na IA generativa, e em áreas como as finanças descentralizadas. “Há um delta entre onde queremos estar e onde está a regulamentação hoje. E isso tem sido historicamente verdade, exceto que o ritmo de expansão desse delta aumentou muito.”

As mudanças regulatórias terão “grandes implicações” na forma como o Wells Fargo será capaz de operar, inclusive em torno da economia, disse ele: “Isso desacelera você no sentido de que agora você tem que presumir que tipo de coisas precisam ser abordadas”. .” O banco é forçado a gastar muito mais tempo de engenharia “construindo andaimes em torno das coisas” porque não sabe o que esperar quando as aplicações chegarem ao mercado.

Mehta disse que a empresa também está gastando muito tempo trabalhando em IA explicável, uma área de pesquisa que busca entender por que os modelos de IA chegam às conclusões que chegam.