Alternativa RAG baseada em gráfico do Writer.com para recuperação de vetores

A geração aumentada de recuperação (RAG) é o método mais comum de integração de um modelo de linguagem grande (LLM) pré-treinado com uma fonte de dados externa; um fator importante na criação de aplicativos empresariais de IA. Afinal, qual é o sentido de uma organização usar um LLM se ela não pode utilizar seu próprio conjunto de dados exclusivo – e provavelmente proprietário?

O RAG também é um dos motivos pelos quais os bancos de dados vetoriais se tornaram tão populares na engenharia de IA. Em muitos casos, um aplicativo usará RAG para fazer recuperação de vetores e outras otimizações de LLM que são melhor alcançadas com bancos de dados de vetores.

No entanto, uma empresa está apresentando um uso alternativo para o RAG – que não envolva bancos de dados vetoriais. Writer.com é um defensor do RAG “baseado em gráficos”, o que significa construir um gráfico de conhecimento e usar bancos de dados gráficos em vez de bancos de dados vetoriais.

“Knowledge Graph, nossa geração aumentada de recuperação baseada em gráfico (RAG), atinge maior precisão do que as abordagens RAG tradicionais que usam recuperação vetorial”, afirma o Writer em sua página inicial.

Para saber mais sobre a abordagem RAG baseada em gráficos do Writer, entrevistei seu CEO, May Habib.

Perguntei primeiro como o Writer define “gráfico de conhecimento”, já que esse termo tem uma história bastante longa no campo da Gestão do Conhecimento. Tradicionalmente, os gráficos de conhecimento têm sido uma forma de representar os relacionamentos e conexões entre diferentes dados. Mais recentemente, a Neo4j e empresas similares de bancos de dados gráficos adotaram o termo (“Aprimore seus aplicativos com gráficos de conhecimento”, afirma a Neo4j em sua página inicial).

“Portanto, as pessoas tendem a confundir gráficos de conhecimento com bancos de dados gráficos”, respondeu Habib, acrescentando que “não substituímos o Neo4j”. Ela então explicou que o Writer tem um LLM especializado que mapeia relacionamentos semânticos entre pontos de dados – e é isso que a empresa entende por “gráfico de conhecimento”.

Chega de pedaços

A abordagem gráfica semântica do Writer é uma alternativa ao processo de “fragmentação” do RAG quando usado com bancos de dados vetoriais, explicou Habib.

“O problema com essa abordagem (RAG usando bancos de dados vetoriais) é que grande parte do contexto é perdida, na verdade, quando você executa a primeira etapa do pré-processamento de dados para fragmentá-los. E as pessoas gastam muito tempo em engenharia e em ciclos de PNL, para fazer agrupamentos contextuais e hierárquicos, e tentam então reincorporar os fragmentos no contexto de onde vieram, etc. Muitos desses casos de uso são casos de uso corporativo altamente complexos e dinâmicos, (onde) essas abordagens tendem a ser muito frágeis e não são uma abordagem escalável – quando você pensa em quantos dados precisam ser atualizados e na necessidade de fazer isso uma espécie de reincorporação toda vez que algo muda.”

De acordo com Habib, o Writer usa seus LLMs “pequenos, mas poderosos” – eles variam de 120 milhões de parâmetros a 20 bilhões – para adicionar “um novo conjunto de camadas de metadados” no estágio de pré-processamento de dados. Ou, como ela disse em uma postagem recente no LinkedIn, “usamos LLMs para construir gráficos de conhecimento de IA de seus dados antes de fazer qualquer outra coisa”.

Em uma postagem de acompanhamento, Habib afirmou que a abordagem RAG do banco de dados vetorial não é tão semântica quanto parece. “Os embeddings capturam semelhança semântica entre seus dados e uma **consulta**, mas *não* também armazenam ou conectam os relacionamentos *entre* dados no referido espaço multidimensional”, escreveu ela.

A abordagem do Writer é coletar mais metadados no início, usando seus próprios modelos e, em seguida, usando bancos de dados gráficos em vez de bancos de dados vetoriais para gerenciar os dados.

“Um banco de dados gráfico é projetado para armazenar as informações reais – esses são os nós – (e) os relacionamentos entre entidades – essas são as arestas. Então eles escalam com muito, muito sucesso também.”

Será esta a nova gestão do conhecimento?

No campo da gestão do conhecimento (GC), uma “ontologia” é normalmente criada para capturar o significado dentro de uma organização. O World Wide Web Consortium (W3C) possui duas linguagens de ontologia oficiais: RDFS (Resource Description Framework Schema) e OWL (Web Ontology Language). Fiquei curioso para saber como os LLMs estão impactando isso, então perguntei a Habib se os profissionais de GC nas empresas estão usando o Writer – ou sua ferramenta substitui efetivamente essa função nas organizações?

“Se você já construiu sistemas de ontologia e gráficos nos quais investiu, a IA generativa é um elogio incrível”, respondeu ela. No entanto, ela acrescentou que “os gráficos que construímos com base nos dados são para o consumo de máquinas, não de pessoas”.

O que ela parecia sugerir é que os profissionais de GC não precisam gastar tanto tempo criando novas ontologias, porque o Writer pode fazer isso por eles.

“Então, alguém usará o Writer para ajudar escritores técnicos a criar ontologias que alimentem gráficos de conhecimento?” (Sim eu tenho certeza. Mas não acho que esse papel vá a lugar nenhum – acho o caminho esse trabalho está feito talvez mude.”

Observei que uma crítica comum aos LLMs, especialmente em um ambiente organizacional, é o problema do “entra lixo, sai lixo”. Sugeri que ainda serão necessários redatores técnicos e outros profissionais de GC para capturar o conhecimento central de uma empresa.

Habib reconheceu que isto é um problema e que por vezes alguém tem de “filtrar todo o ruído (…) para chegar ao conjunto dourado de documentos”. Mas ela disse que os LLMs do Writer levam em consideração, ao construir seus gráficos de conhecimento, “qual é a rubrica de qualidade?”

Casos de uso

Em termos de casos de uso empresarial, Habib diz que oferece “mapas de soluções” para seus setores-alvo – seguros, gestão de patrimônio, CPG (bens de consumo embalados) e varejo. Ela disse que o objetivo é simplificar os fluxos de trabalho nessas indústrias. Ela usou CPG e varejo como exemplo – “é prateleira digital, é o envolvimento do cliente e do usuário em funções corporativas, é finanças e cadeia de suprimentos e RFPs (solicitação de propostas)”.

Ela acrescentou que o Writer é uma “plataforma full stack”, incluindo um estúdio de aplicativos. Ela não quis entrar em detalhes sobre a ferramenta de desenvolvimento de aplicativos, pois ela ainda não foi lançada publicamente – mas disse que “nossos maiores clientes já a usam”.

Concluindo, resta saber se a abordagem do gráfico de conhecimento do Writer para o RAG pode ganhar o tipo de impulso que o RAG “tradicional” com bancos de dados vetoriais já possui. Mas é certamente uma oportunidade para os escritores se diferenciarem e talvez uma oportunidade para as empresas de bancos de dados gráficos explorarem também.