AllegroGraph 8.0 incorpora IA neuro-simbólica, um caminho para AGI

Franz atualizou seu principal banco de dados gráfico de armazenamento triplo AllegroGraph para incluir geração de vetores e recursos de armazenamento de vetores. A fusão permite que as organizações aproveitem todas as formas de IA: aprendizado de máquina estatística, raciocínio não estatístico e grandes modelos de linguagem (LLMs) treinados em toda a Internet.

Com todas essas abordagens disponíveis em uma estrutura de gráfico de conhecimento, as organizações podem implementar prontamente a geração aumentada de recuperação (RAG) para aumentar a precisão dos resultados dos modelos de linguagem. Mais importante ainda, podem empregar estes três ramos da IA ​​para se contrabalançarem, de modo que a força de um método anule as desvantagens de outro.

O resultado é um sistema de consulta em linguagem natural no qual a grande visão da IA, estatística e não estatística, é finalmente concretizada.

De acordo com o CEO da Franz, Jans Aasman, “o objetivo de um sistema neuro-simbólico é que você pode fazer coisas incríveis quando combina esses sistemas e obter melhores resultados do que conseguiria com qualquer um desses sistemas sozinho”.

Assim, as organizações podem combinar a explicabilidade das técnicas de lógica e regras com as vastas informações que os LLMs aprenderam, ao mesmo tempo que adicionam o reconhecimento de padrões probabilísticos do aprendizado de máquina avançado para garantir IA precisa em qualquer domínio – ou caso de uso.

Pesos e contrapesos

A síntese destas três expressões de IA manifesta-se de forma mais notável para a empresa em termos de previsões.

Na área da saúde, isso pode envolver a evolução do paciente para uma forma específica de tratamento ou uma série de doenças. Nas finanças, pode implicar os resultados de oportunidades de negociação ou empréstimo em mercados voláteis. Ou pode ser tão simples quanto as taxas de seguro ideais para um cliente potencial com um histórico e dados demográficos específicos.

Para cada uma dessas aplicações e outras, os fundamentos do gráfico de conhecimento semântico do AllegroGraph suportam um esquema simples baseado em eventos, ideal para determinar eventos futuros a partir dos presentes. As organizações podem contar com o banco de dados gráfico para previsões de aprendizado profundo sobre um paciente com base em seus dados específicos ou consultar o banco de dados vetorial sobre o que pode acontecer usando linguagem natural para perguntar a um LLM como o ChatGPT, “que é baseado em 36 milhões de artigos do PubMed”, disse Aasman. observado.

Os melhores resultados ocorrem quando esses ramos de IA são usados ​​em conjunto.

“Digamos que você tenha chegado a uma conclusão do aprendizado de máquina que diz que algo vai acontecer”, postulou Aasman. “Você pode usar o ChatGPT para perguntar ‘Isso está de acordo com o que a literatura médica diz ou (isso é) algo novo?’ Ou B, ‘Explique-me por que isso pode ser o caso.’”

Os resultados de cada uma dessas técnicas de IA podem ser inseridos em um gráfico de conhecimento (a versão 8.0 inclui um gráfico de conhecimento como oferta de serviço) no triplestore RDF, aumentando o conhecimento concreto que as organizações têm para seus domínios.

Este mecanismo suporta técnicas de raciocínio baseadas em regras que são 100% explicáveis. “O aprendizado de máquina pode ser explicado por LLMs, ou os cálculos de um LLM podem ser apoiados pelo aprendizado de máquina ou refutados pelo aprendizado de máquina”, disse Aasman.

Geração de vetores, recuperação de vetores

Existem vários pontos de interesse no armazenamento de vetores do AllegroGraph 8.0. As organizações não apenas podem incorporar conteúdo a modelos externos de fontes próprias ou de terceiros, como Amazon Bedrock, LangChain, etc., mas também podem fazê-lo dentro do AllegroGraph.

De acordo com Aasman, o banco de dados suporta embeddings com LLaMA ou ChatGPT, o último dos quais oferece recursos de consulta em linguagem natural para usuários com SPARQL. “Basta dizer ao AllegroGraph onde estão os arquivos, qual o tamanho dos fragmentos de texto, que máquina você deseja usar, e ele faz tudo para você”, disse Aasman.

Além de criar os embeddings, o AllegroGraph também indexa o conteúdo com índices FLAT e Aproximado do vizinho mais próximo Oh Yeah (ANNOY). Significativamente, os índices e os vetores não precisam permanecer na memória. Os custos em armazenamentos de vetores dedicados aumentam consideravelmente quando esta informação permanece na memória.

“Podemos colocar esses vetores no disco”, acrescentou Aasman. “Mas, se você tiver SSDs rápidos e usar uma técnica chamada mapeamento de memória, ele tentará obter o máximo possível de memória.” Metadados sobre vetores também são gerados durante o processo de incorporação e indexação no AllegroGraph, o que é útil para filtrar resultados de pesquisa. O gráfico de conhecimento em torno dos suportes do banco de dados é altamente eficaz nesse sentido.

Com soluções de banco de dados vetoriais dedicadas, “para cada fragmento de texto, você pode ter uma lista limitada de elementos de metadados e pode, é claro, filtrar antes ou depois (pesquisas vetoriais)”, observou Aasman. “Mas para nós, podemos literalmente usar o gráfico inteiro para pré-filtragem.”

Geração Aumentada de Recuperação

A versão 8.0 permite que os usuários empreguem LLMs para preencher o gráfico de conhecimento e construir ontologias e taxonomias para domínios específicos. Há também uma API, SerpApi, por meio da qual o SPARQL pode acessar diretamente o mecanismo de busca do Google, o que é útil para verificar os resultados dos LLMs. Os resultados do Google retornam como fragmentos de texto, portanto, para um caso de uso em que se coleta preços dos carros mais caros para um determinado grupo demográfico do Google por meio do SerpApi, “peço ao LLM que leia cada trecho de informação do Google , e pesquise o preço e coloque-o no banco de dados”, explicou Aasman. As organizações podem verificar quaisquer disparidades entre as duas fontes e fazer com que as pessoas investiguem conforme necessário. Embora AllegroGraph use SerpApi com o Google, a API oferece suporte a várias fontes de pesquisa, incluindo Bing, DuckDuckGo, Yahoo e Walmart.

O principal meio de implementar RAG no AllegroGraph 8.0, é claro, é fazer com que o modelo de linguagem emita consultas SPARQL em linguagem natural no próprio gráfico de conhecimento, que pode ser preenchido com modelos de linguagem, Google e documentos e ontologias internas – e verificado por humanos.

Portanto, para um caso de uso de ciências biológicas, “você pode pegar um texto não estruturado que possa ter em seu gráfico de conhecimento, como ensaios clínicos, e extrair entidades médicas desse texto e as relações entre os termos”, disse Aasman. “Como temos um armazenamento de vetores integrado, você pode fazer perguntas sobre qualquer ensaio clínico que possa ter em seu gráfico de conhecimento e obter uma resposta com base em sua própria documentação privada que está em seu gráfico de conhecimento.”

O significado abrangente

O AllegroGraph 8.0 também apresenta uma nova interface web chamada AGWebView, recursos aprimorados de sharding e uma atualização em sua construção de visualização, que agora permite visualizações de anotações RDF* para propriedades rotuladas em gráficos semânticos.

No entanto, a verdadeira importância desta versão do banco de dados é sua propensão para consolidar facetas de IA não estatística, aprendizado de máquina e informações aprendidas de LLMs em um ambiente de gráfico de conhecimento aumentado por um banco de dados vetorial. Cada um destes ramos da IA ​​pode fortalecer os pontos fortes dos outros, ao mesmo tempo que corrige as suas deficiências, o que sempre foi a grande visão da verdadeira IA e não apenas aquela baseada nas suas proezas estatísticas.