DataStax facilita a construção de aplicativos AI RAG generativos com nova API de dados

DataStax está procurando tornar mais fácil para os desenvolvedores construir aplicativos generativos de geração aumentada de recuperação de IA (RAG) com uma nova API de dados lançada hoje.

DataStax é um dos principais fornecedores comerciais por trás do banco de dados de código aberto Apache Cassandra, que é a base de seu banco de dados como serviço em nuvem AstraDB. Como muitos outros fornecedores de banco de dados, a DataStax adicionou recursos de banco de dados vetoriais à sua plataforma em 2023. Em um evento recente, o CEO da DataStax afirmou que Cassandra era “..o melhor banco de dados para geração de IA”.

A capacidade do banco de dados vetorial é fundamental para permitir que aplicativos RAG que combinem modelos de linguagem grande (LLMs) com plataformas de dados gerem resultados altamente precisos e personalizados.

Embora o DataStax tenha recursos vetoriais no AstraDB desde julho de 2023, esse recurso ainda exige que os usuários trabalhem com Cassandra Query Language (CQL) como caminho principal para consultar os dados. A nova API de dados lançada hoje muda isso, fornecendo aos desenvolvedores a capacidade de usar as linguagens de programação Python e JavaScript para acessar o banco de dados, que a empresa afirma ajudar a diminuir a lacuna entre o DataStax e bancos de dados vetoriais criados especificamente, como o Pinecone, que acabou de atualizar sua plataforma homônima com funcionalidade de banco de dados sem servidor.

“Tem havido uma espécie de cabo de guerra entre os bancos de dados de vetores nativos que não suportam nenhum outro tipo de consulta além de vetores e os bancos de dados híbridos que possuem modelos de consulta muito robustos”, disse Ed Anuff, diretor de produtos da DataStax ao VentureBeat. “O que procuramos fazer foi preencher essa lacuna e é disso que se trata a API de data.”

Como a API de dados DataStax muda a maneira como os desenvolvedores criam aplicativos RAG

A nova API de dados não fornece novos recursos de vetor para o banco de dados AstraDB. Em vez disso, o que ele faz é facilitar aos desenvolvedores a criação de aplicativos.

Segundo Anuff, a nova API visa reduzir a incompatibilidade de impedância entre o que os desenvolvedores estão fazendo e o que o banco de dados fornece. Anuff observou que desde julho de 2023, quando os recursos vetoriais chegaram pela primeira vez ao AstraDB, aproximadamente metade de todos os novos usuários que se inscreveram no banco de dados em nuvem o estão usando para construir aplicativos de geração de IA.

O desafio é que esses desenvolvedores não conseguiram usar facilmente as linguagens de programação que já usavam para construir aplicativos de geração de IA, que são em grande parte Python e JavaScript, para acessar o AstraDB.

Antes da nova API de dados, os desenvolvedores que construíam aplicativos de IA com AstraDB teriam que usar o Cassandra Query Language (CQL) padrão, que envolve mais conhecimento de modelagem de dados do que os desenvolvedores gostariam de lidar para aplicativos simples de rack. As consultas também não teriam sido tão otimizadas para dados vetoriais.

Anuff explicou que a nova API de dados facilita o tratamento automático da vetorização, apresentando uma interface mais simples em linguagens como Python e JavaScript e otimizando o desempenho armazenando e indexando os dados vetoriais de forma mais eficiente no nível do banco de dados, em vez de apenas adicionar vetores como outro tipo de dados. Isso reduz a curva de aprendizado e melhora o desempenho em comparação com apenas construir sobre as APIs e o modelo de dados existentes do Cassandra.

É tudo uma questão de APIs

Com algumas classes de APIs de banco de dados, tudo o que ocorre é uma forma de tradução de uma linguagem de programação nativa, como Python ou JavaScript, para qualquer que seja a linguagem de consulta do banco de dados. Isso é funcionalmente muito semelhante a uma abordagem de décadas de como os desenvolvedores trabalhavam com bancos de dados, por meio de um Mapeador Relacional de Objetos (ORM).

A API de dados DataStax é um pouco diferente, pois Cassandra é arquitetada de maneira diferente de outros bancos de dados. Cassandra, no nível da arquitetura, é organizada em torno de um conjunto de primitivas de alto desempenho que são combinadas para suportar diferentes tipos de padrões de consulta. Anuff disse que a arquitetura de dados Cassandra possibilita a conexão em uma camada mais profunda do banco de dados, o que melhora o desempenho geral da consulta.

“A API de dados expõe ao desenvolvedor um formato de dados muito simples baseado em JSON, onde qualquer coisa que você possa expressar dentro do JSON, o desenvolvedor pode enviar e recuperar do banco de dados”, disse Anuff. “Mas armazenamos isso de uma forma muito eficiente no Cassandra, onde fazemos isso diretamente na camada de armazenamento e garantimos que o desempenho obtido pelo desenvolvedor seja mantido.”

Acelerando vetores com motor JVector

Outra parte importante do avanço do banco de dados vetorial do DataStax é o mecanismo de busca JVector, que faz parte do AstraDB. JVector é um mecanismo de pesquisa vetorial integrado de código aberto desenvolvido pela DataStax.

Anuff explicou que JVector usa um algoritmo chamado DiskANN, que é uma versão otimizada para armazenamento baseado em disco do algoritmo ANN (pesquisa de vizinho mais próximo aproximado) que é amplamente usado em quase todos os bancos de dados de vetores. Ele observou que o DiskANN oferece recursos de recuperação significativamente melhores em comparação com outros algoritmos que não funcionam tão bem em grandes escalas de armazenamento e distribuição.

De acordo com o DataStax, o mecanismo JVector é o que permite ao AstraDB obter melhor relevância e recuperação do que outros bancos de dados vetoriais. Grande parte do trabalho vetorial da DataStax, incluindo JVector e a API de dados, está sendo de código aberto para ser usado pela comunidade de código aberto Cassandra, bem como pelos clientes AstraDB da DataStax.

“Estamos fortemente comprometidos em disponibilizar coisas para ecossistemas de código aberto”, disse Anuff. “Também queremos apenas ter certeza de que, se você é apenas o desenvolvedor tentando descobrir qual serviço de nuvem deve usar, terá o caminho mais fácil para isso.”