Snowflake revela Cortex, um serviço gerenciado para construir aplicativos LLM na nuvem de dados

Hoje, a empresa de dados como serviço e armazenamento em nuvem com sede em Montana, Snowflake, anunciou o Cortex, um serviço totalmente gerenciado que traz o poder de grandes modelos de linguagem (LLMs) para sua nuvem de dados.

Revelado no evento anual Snowday da empresa, o Cortex fornece às empresas que usam a nuvem de dados Snowflake um conjunto de blocos de construção de IA, incluindo LLMs de código aberto, para analisar dados e construir aplicativos direcionados a diferentes casos de uso específicos de negócios.

“Com o Snowflake Cortex, as empresas agora podem aproveitar…grandes modelos de linguagem em segundos, criar aplicativos personalizados com tecnologia LLM em minutos e manter a flexibilidade e o controle sobre seus dados – enquanto reimaginam como todos os usuários aproveitam a IA generativa para agregar valor ao negócio ”, disse Sridhar Ramaswamy, vice-presidente sênior de IA da Snowflake, em um comunicado.

A oferta entra hoje em versão prévia privada e vem com um conjunto de modelos específicos de tarefas, projetados para agilizar certas funções na nuvem de dados. Snowflake também o está usando para três de suas ferramentas de geração de IA: copiloto Snowflake, pesquisa universal e Document AI.

Construindo aplicativos LLM com Cortex

Hoje, as empresas querem adotar a IA generativa, mas dadas as restrições associadas à tecnologia – incluindo a necessidade de talentos em IA e o gerenciamento complexo da infraestrutura de GPU – muitas acham difícil colocar aplicativos em produção. Snowflake Cortex visa agilizar todo esse processo.

O serviço fornece aos usuários um conjunto de funções de IA especializadas e de uso geral sem servidor. Os usuários podem acessar essas funções com uma chamada em código SQL ou Python e iniciar sua jornada para casos de uso funcionais de IA – todos executados na infraestrutura de custo otimizado da Cortex.

As funções especializadas aproveitam modelos de linguagem e aprendizado de máquina (ML) para permitir que os usuários acelerem tarefas analíticas específicas por meio de entradas de linguagem natural. Por exemplo, os modelos podem extrair respostas, resumir essas informações ou traduzi-las para outro idioma. Em outros casos, podem ajudar a construir uma previsão com base em dados ou detectar anomalias.

Enquanto isso, as funções de uso geral oferecem uma opção mais ampla que os desenvolvedores podem aproveitar. Eles cobrem uma variedade de modelos, desde LLMs de código aberto, como Llama 2, até modelos proprietários do Snowflake, incluindo aquele para conversão de entradas de texto em SQL para consulta de dados.

Mais importante ainda, essas funções de uso geral também vêm com incorporação de vetores e recursos de pesquisa que permitem aos usuários contextualizar facilmente as respostas do modelo com base em seus dados e criar aplicativos personalizados direcionados a diferentes casos de uso. Este aspecto é tratado com Streamlit no Snowflake.

“Isso é ótimo para nossos usuários porque eles não precisam fazer nenhum provisionamento”, disse Ramaswamy, que fundou a Neeva, a empresa de IA que a Snowflake adquiriu há alguns meses, em uma coletiva de imprensa. “Fazemos o provisionamento e a implantação. É como uma API, semelhante ao que o OpenAI oferece, mas construída diretamente no Snowflake. Os dados não saem de lugar nenhum e vêm com o tipo de garantia que nossos clientes desejam e exigem, que é que seus dados sejam mantidos sempre isolados. Nunca é misturado para qualquer tipo de treinamento entre clientes. É um ambiente seguro, protegido e altamente competitivo.”

Ramaswamy enfatizou ainda que a oferta não requer uma programação extensa. Os usuários só precisam operar no ambiente SQL para realizar as tarefas.

No que diz respeito aos aplicativos, ele disse que os usuários podem criar facilmente chatbots de conversação de acordo com seu conhecimento de negócios, como um copiloto treinado especificamente em conteúdo de ajuda.

Experiências nativas de LLM apoiadas pela Cortex

Embora o Cortex tenha acabado de ser anunciado para uso empresarial, a Snowflake já está usando o serviço para aprimorar a funcionalidade de sua plataforma com experiências nativas de LLM. A empresa lançou três recursos alimentados pelo Cortex em visualização privada: copiloto Snowflake, Pesquisa Universal e Document AI.

O copiloto funciona como um assistente de conversação para os usuários da plataforma, permitindo-lhes fazer perguntas sobre seus dados em texto simples, escrever consultas SQL em conjuntos de dados relevantes, refinar consultas e filtrar insights e muito mais.

Cordas de pesquisa universais na funcionalidade de pesquisa baseada em LLM para ajudar os usuários a encontrar e começar a obter valor dos dados e aplicativos mais relevantes para seus casos de uso.

Por fim, o Document AI ajuda a extrair informações (como valores de faturas ou termos contratuais) de documentos não estruturados hospedados na nuvem de dados Snowflake.

Notavelmente, recursos semelhantes também foram desenvolvidos por outros participantes da indústria de dados, incluindo Databricks, que estreou recentemente o LakehouseIQ e é um dos maiores concorrentes da Snowflake.

A Informatica e a Dremio também fizeram suas respectivas jogadas de LLM, permitindo que as empresas gerenciem seus dados ou os consultem por meio de entradas de linguagem natural.

Mais anúncios no Snowday 2023

Além do Cortex, a Snowflake anunciou que está avançando no suporte para Iceberg Tables, permitindo aos usuários eliminar silos e unir todos os seus dados na nuvem de dados, além de adicionar novos recursos à sua solução de governança Horizon.

Isso inclui monitoramento da qualidade dos dados, uma nova interface para entender a linhagem dos dados, classificação aprimorada de dados e um centro de confiança para agilizar a segurança entre nuvens e o monitoramento de conformidade.

Por fim, a empresa também anunciou o lançamento de um programa de financiamento que pretende investir até US$ 100 milhões de dólares em startups em estágio inicial que criam aplicativos nativos do Snowflake.

O programa foi apoiado por seu próprio braço de capital de risco, bem como por várias empresas de capital de risco, incluindo Altimeter Capital, Amplify Partners, Anthos Capital, Coatue, ICONIQ Growth, IVP, Madrona, Menlo Ventures e Redpoint Ventures.