Um modelo para a camada de dados Gen AI perfeita: Insights da Intuit

Nos relatórios da VentureBeat sobre IA generativa, uma empresa em particular se destaca entre as empresas pela velocidade e capacidade de implantação da tecnologia em escala.

Essa empresa é a Intuit. Em setembro, a Intuit introduziu um assistente de unidade LLM, chamado Intuit Assist, em todos os seus produtos, incluindo TurboTax, QuickBooks, Credit Karma, MailChimp. Ela anunciou seu próprio sistema operacional Gen AI em junho, que orquestra a atividade do modelo de linguagem grande (LLM) em toda a empresa – uma visão completa que, pelo que sei, veio muito antes de qualquer outra grande empresa.

Recentemente entrevistei Alon Amit, vice-presidente de gerenciamento de produtos da Intuit, sobre a parte mais importante da jornada de qualquer empresa para alcançar o sucesso da Gen AI: construir uma camada de gerenciamento de dados de práticas recomendadas.

Amit explica que a Intuit levou vários anos para trabalhar nessa camada de dados, para garantir que os dados estivessem bem integrados, precisos, governados e não replicados. Somente depois de fazer isso é que os LLMs puderam recorrer a esses dados para permitir interações personalizadas com os 100 milhões de pequenos negócios e clientes consumidores da Intuit.

Durante a entrevista, Amit apresentou um único slide representando a camada de dados da Intuit. O slide indica as melhores práticas de como deve ser a aparência de uma camada de dados, pelo menos de acordo com a Intuit.

Se você é um líder de dados corporativos, recomendo que clique no link do vídeo acima, porque Amit nos mostra passo a passo as áreas mais importantes nas quais a empresa está trabalhando, incluindo as áreas que precisa aperfeiçoar em 2024. (A entrevista fez parte do nosso evento AI Unleashed; o vídeo completo do evento está incluído acima)

Aqui estão algumas notas precipitadas, com base no que se destacou para mim:

1. O Registro do Mapa de Dados: A Intuit construiu este repositório universal para cada ativo de dados, em tempo real e em lote, produzido na empresa. Todos os esquemas de dados estão incluídos. Garante que os ativos sejam bem administrados, inclusive que os proprietários e a finalidade dos ativos sejam conhecidos. Alon admitiu que este processo não foi aperfeiçoado, mas que a Intuit espera “atingir muito perto de cem por cento” até o final do próximo ano.

2. Cultura de preocupação com “dados como produto”: Com a ajuda desse mapa de dados, a Intuit incutiu entre seus desenvolvedores, gerentes de produto, engenheiros e outros uma cultura de que, mesmo além dos dados dos produtos enviados aos clientes, qualquer dado gerado é considerado “produto”.

3. As alterações no esquema de dados são governadas de maneira uniforme: Quaisquer esquemas de dados, de dados de fluxo de cliques ou de dados de terceiros que entram no ecossistema de dados da Intuit, são governados da mesma maneira, para garantir que não quebrem os sistemas de dados downstream, como aqueles necessários para apoiar a IA generativa. Esse fluxo de dados, visto no lado esquerdo do gráfico, inclui os próprios “eventos de domínio” da Intuit, por exemplo, que incluem quando os desenvolvedores da Intuit criam um barramento de eventos para dados em tempo real fluindo de um aplicativo. Tudo isso é preenchido automaticamente no data lake da Intuit.

4. Derivação de dados governados: Derivação é um termo genérico para essencialmente qualquer transformação que ocorra em dados além dos dados de origem. Inclui, por exemplo, cálculos para análises, extração de recursos para modelos de IA e atributos para campanhas de marketing. Portanto, se um desenvolvedor derivar um recurso que já esteja no registro de dados, ele será informado de que o recurso já está lá, para evitar duplicação.

5. Derivação de dados em tempo real: Isso está no roteiro para 2024. Amit teve o cuidado de dizer que a empresa ainda não terminou sua busca pela perfeição. A empresa está trabalhando para construir “caminhos pavimentados em tempo real para derivação de dados”, ou a capacidade dos desenvolvedores de garantir que quando um cliente fizer uma pergunta, ou quando um especialista estiver oferecendo suporte, a Intuit saberá as ações que o usuário realiza quase tempo real.