Cassandra é o “melhor banco de dados para geração de IA”, diz CEO da DataStax

(Atualizado: 14/12, 9h10)

Chet Kapoor, CEO da DataStax, uma empresa que oferece um banco de dados em nuvem baseado no Apache Cassandra de código aberto, vangloriou-se ontem em uma conferência no Vale do Silício que Cassandra é o “melhor banco de dados para geração de IA”.

Os comentários de Kapoor foram feitos enquanto falava no palco do evento da Linux Foundation, AI.Dev, com 700 pessoas presentes. Suas declarações ocorrem em um momento em que há uma corrida acirrada de novas startups e empresas estabelecidas para conquistar o manto de liderança na área de rápido crescimento da geração AI. É também um momento em que muitas marcas empresariais que utilizam a tecnologia estão decidindo quais fornecedores de tecnologia utilizarão.

Muita atenção tem sido dada à competição entre grandes fornecedores de modelos de linguagem (LLM), como OpenAI, Anthropic, Google (Gemini) e Meta (Llama). Outra área altamente competitiva são os bancos de dados que as empresas usuárias finais usarão para armazenar e recuperar dados usados ​​para aplicações LLM.

Durante sua palestra, Kapoor apresentou vários motivos pelos quais o banco de dados DataStax Cassandra está indo bem em relação a outros. Cassandra já é um dos bancos de dados operacionais mais confiáveis, amplamente utilizado por empresas. Possui alguns casos iniciais de clientes de empresas que implantaram IA generativa em escala, e sua habilidade tecnológica em áreas-chave relevantes para a IA generativa continua a lhe dar uma vantagem contra rivais importantes como MongoDB e Pinecone, disse Kapoor.

Também é importante notar que a DataStax está considerando abrir o capital e Kapoor tem interesse em fazer barulho. Em junho do ano passado, a DataStax levantou US$ 115 milhões em uma avaliação de US$ 1,6 bilhão. A empresa não divulgou quaisquer dados financeiros, mas Kapoor reconheceu numa entrevista que a DataStax está na lista de empresas que os bancos gostariam de tornar públicas Próximo ano nos próximos anos.

Aqui estão as razões por trás do otimismo de Kapoor:

Razão 1: Cassandra já é um dos bancos de dados operacionais mais utilizados e confiáveis

Os comentários de Kapoor também surgem num momento em que grandes empresas de nuvem como a Microsoft e a Amazon têm afirmado que as suas ofertas de nuvem, que incluem integrações com as suas próprias bases de dados, estão mais bem posicionadas para executar tarefas generativas de IA. Eles têm incentivado os usuários a consolidar em suas plataformas e removido agressivamente os obstáculos que impediam os usuários de fazer isso no passado, incluindo trabalhos complexos de extração, transformação e carregamento (ETL) que mantinham os dados isolados.

No entanto, essas empresas de nuvem ofereceram muitos bancos de dados individuais aos usuários na última década, para oferecer soluções especializadas para cada caso de uso de um cliente, disse Kapoor. “Há um para ir ao banheiro pela manhã”, brincou Kapoor, “e depois um para a tarde e outro para a noite”. Mas a IA generativa pegou essas empresas de nuvem de surpresa. Os CIOs empresariais agora querem que seus dados sejam integrados em um único banco de dados para permitir que os aplicativos de geração de IA consultem os dados de maneira mais fácil e eficiente, disse Kapoor.

Aqui o Cassandra tem uma vantagem porque é um dos bancos de dados “operacionais” mais populares. Enquanto isso, a maioria dos bancos de dados da Microsoft e da Amazon concentra-se em cargas de trabalho analíticas, principalmente para aplicações de business intelligence. Embora possam ser usados ​​para cargas de trabalho operacionais para aplicações generativas de IA, eles se tornariam muito caros, porque não estão otimizados para isso.

A DataStax passou muito tempo focada no preço pelo desempenho, por exemplo, explicaram Kapoor e o diretor de produtos Ed Anuff em uma entrevista de acompanhamento com a VentureBeat. Como resultado, Cassandra é a mais popular entre as empresas Fortune 500, que fornecem dados em grande escala. Cassandra possui 90% dessas empresas como clientes, disse Anuff. Por exemplo, a Netflix o utiliza para seus metadados de filmes, a FedEx o utiliza para rastrear pacotes, a Apple o utiliza para seus dados de aplicativos iTunes, iMessage e iCloud, e varejistas como a Home Depot o utilizam para seus sites.

À medida que essas grandes empresas criam novos aplicativos de IA, elas se sentem confortáveis ​​com o histórico que têm com Cassandra e, portanto, provavelmente continuarão a se consolidar em torno disso, disse Anuff. Além disso, a Microsoft e a Amazon perceberam que precisam oferecer opções aos clientes. A Amazon, por exemplo, oferece um banco de dados operacional competitivo, o DynamoDB, mas também oferece aos usuários a capacidade de usar facilmente o Cassandra em sua constelação de nuvens. Dessa forma, Cassandra também oferece aos clientes uma maneira de evitar o aprisionamento a um determinado fornecedor de nuvem, disse Anuff.

Razão 2: DataStax tem clientes que realmente “implantam” IA generativa

Kapoor citou nove empresas que implantaram IA generativa no banco de dados Astra DB da DataStax, o banco de dados como serviço em nuvem baseado em Cassandra. Embora muitas empresas estejam experimentando loucamente a IA generativa, poucas migraram para a produção real em escala, devido a preocupações com questões como segurança e confiabilidade. Na verdade, a tensão na indústria aumentou acentuadamente. O potencial da IA ​​generativa pode ser enorme, mas a maioria dos fornecedores da tecnologia concorda que está à espera que os clientes comecem a gastar receitas reais. Isso provavelmente acontecerá no próximo ano, quando as empresas passarem seriamente para a produção.

Os clientes DataStax com LLMs implantados incluem:

• Physics Wallah é uma plataforma educacional online indiana que atende 6 milhões de usuários com um bot multimodal (texto, imagens e áudio) baseado em LLM. A empresa passou para a implantação em 55 dias, disse Kapoor.
• Skypoint, um provedor de saúde Gen AI com sede em Portland para idosos e prestadores de cuidados, usa um LLM para fornecer tratamentos e interações personalizadas. Kapoor disse que o Astra DB está ajudando a liberar mais de 10 horas por semana para os médicos se concentrarem no atendimento ao paciente.
• Outros incluem Hey You, Reel Star, Arre, Hornet, Restworld, Sourcetable e Concide.

Kapoor disse que essas empresas fazem parte de uma classe de pequenas e médias empresas (SMB) em rápida evolução que pode se mover mais rapidamente, enquanto as empresas são retardadas por terem que seguir mais regulamentações e evitar problemas de segurança na IA generativa que incluem seu tendência a alucinar.

Razão 3: a habilidade tecnológica Cassandra da DataStax supera outras nos principais benchmarks de LLM

Kapoor disse que as ofertas de pesquisa vetorial do Astra da DataStax têm melhor desempenho e são mais relevantes do que as dos concorrentes. A pesquisa vetorial é um requisito fundamental para bancos de dados generativos de IA, pois é assim que um aplicativo de IA traduz a consulta de um usuário em linguagem natural para pesquisar texto ou outros dados no banco de dados de uma empresa relevantes para essa consulta. A DataStax comparou sua tecnologia de pesquisa vetorial JVector com um concorrente líder de banco de dados vetorial, a Pinecone, e descobriu que os resultados do JVector são 16% mais relevantes que os da Pinecone. Kapoor disse que é uma grande diferença, considerando a importância de obter a resposta certa. Um fornecedor terceirizado divulgará o relatório completo de benchmarking de desempenho em alguns dias, disse Kapoor, mas mostrou um slide de alguns dos resultados (abaixo). O benchmarking também mostrou que o Datastax tem rendimento superior, ou a capacidade de processar mais solicitações de transação por unidade de tempo, do que o Pinecone e o MongoDB.

Ele disse que o Astra DB é o único banco de dados que pode disponibilizar dados vetorizados com latência zero, incluindo indexação, ingestão e consulta.

Kapoor: “Essa onda de geração de IA será mais rápida do que qualquer coisa que já vimos”

Kapoor disse que a adoção da geração AI acontecerá muito mais rapidamente do que as revoluções tecnológicas anteriores, uma vez que se baseia em bases importantes que já existem, como tecnologias web, móveis e de nuvem.

Ele disse que a “verdadeira diversão” começará no próximo ano com casos de uso mais transformadores e orientados para receitas, incluindo pessoas que usam LLMs como “agentes”. Esses agentes permitem que os LLMs façam mais do que apenas responder perguntas e fazer recomendações, disse ele, porque podem orquestrar tarefas mais complexas. A receita material de implantações generativas de IA aparecerá no segundo trimestre do próximo ano, com números “mais consideráveis” atingindo até o final do ano, quando os casos de uso em áreas como varejo e viagens aumentarem, disse Anuff.

Embora Kapor e Anuff estivessem ansiosos para apontar as vantagens do Cassandra, eles admitiram que o setor mais amplo de bancos de dados verá um impulso com a IA generativa. As pesquisas de banco de dados vetoriais que os aplicativos de geração de IA realizam usam 8 vezes mais armazenamento e cerca de 10 vezes mais computação do que outras cargas de trabalho de banco de dados usam, disse Anuff. “Essa é parte da razão pela qual você vê todos os provedores de nuvem e todos os provedores de banco de dados querendo esse negócio”, disse ele. “Se as aplicações de IA se tornarem um grande negócio, elas serão o principal motor de crescimento para empresas de bancos de dados públicas e privadas durante os próximos cinco anos”.