Kumo obtém aprendizado profundo no Snowflake Data Cloud por meio do Snowpark

Kumo, uma plataforma de aprendizagem profunda para dados relacionais, anunciou hoje no Snowflake Summit 2023 sua integração de recursos de aprendizagem profunda diretamente na Snowflake Data Cloud por meio do Snowpark Container Services.

O recentemente introduzido Snowpark Container Services da Snowflake expande a funcionalidade do Snowpark, que permite aos desenvolvedores escrever código em sua linguagem preferida e executá-lo diretamente no Snowflake. Esta atualização do Container Services permite que as organizações executem software de terceiros e aplicativos full-stack em suas contas Snowflake.

De acordo com Snowflake, com essa integração os clientes podem maximizar o potencial de seus dados usando ferramentas de ponta, mantendo a segurança dos dados e eliminando a necessidade de movimentação de dados.

Além disso, o Snowpark Container Services inclui suporte a GPU, o que oferece às equipes de ciência de dados e aprendizado de máquina uma maneira de acelerar o desenvolvimento e preencher a lacuna entre a implantação de modelos e segurança e governança de dados consistentes em todo o ciclo de vida de IA/ML.

Kumo é um dos primeiros a adotar o Snowpark Container Services, usando a tecnologia para implantar redes neurais avançadas para empresas.

A plataforma de IA preditiva da Kumo emprega tecnologia de rede neural gráfica (GNN), capacitando desenvolvedores, cientistas de dados, analistas e proprietários de empresas a criar e implementar previsões altamente precisas na produção.

Redes neurais gráficas e IA

O aprendizado de máquina tradicional requer a extração de dados de um data warehouse ou lago, seguida pelo desenvolvimento e ajuste manual de recursos. A nova integração, agora disponível em visualização privada, permite que usuários conjuntos operem diretamente em tabelas brutas do Snowflake; gerar previsões; e armazene os resultados como tabelas adicionais no Snowflake.

“A nova integração executará os serviços de IA da Kumo diretamente em tabelas relacionais na nuvem, sem as etapas intermediárias encontradas no aprendizado de máquina tradicional, como geração de conjuntos de treinamento e engenharia de recursos, usando tecnologia de rede neural gráfica”, Vanja Josifovski, cofundadora e CEO da Kumo, disse ao VentureBeat.

Josifovski destacou que os usuários podem criar e executar uma consulta que oferece previsões, espelhando o processo de consulta de dados anteriores para análise, tudo sem a necessidade de exportar dados de seu ambiente Snowflake.

O anúncio segue uma colaboração recente entre a Nvidia e a Snowflake que permite aos clientes personalizar seus modelos generativos de IA por meio da nuvem para atender aos seus requisitos empresariais específicos.

A integração permite que as organizações desenvolvam aplicativos generativos de IA usando seus dados proprietários no ambiente Data Cloud da Snowflake, eliminando a necessidade de transferência de dados externamente.

Facilitando análises preditivas baseadas em aprendizagem profunda na nuvem

De acordo com Josifovski da Kumo, o Snowpark Container Services permitirá que os clientes utilizem diretamente o serviço preditivo de IA da Kumo no Snowflake para realizar previsões de aprendizagem gráfica em seus dados corporativos.

(Venha aprender mais sobre dados e IA na empresa no VB Transform nos dias 11 e 12 de julho em São Francisco, nosso evento de networking para tomadores de decisão de tecnologia empresarial.)

“Uma questão antiga sobre aprendizado de máquina e armazenamento de dados gira em torno de onde o processamento de ML é executado. Ao mudar o paradigma para executar o processamento de ML na nuvem de dados Snowflake, nossas empresas permitem que os usuários expandam o uso de aprendizado de máquina e previsões para todos que têm acesso à nuvem de dados”, disse Josifovski à VentureBeat. “Isso é feito sob um único programa de segurança que é muito mais simplificado do que operar sob múltiplos programas de segurança”.

Os métodos modernos de IA dependem fortemente de cálculos de álgebra linear, que são altamente compatíveis com o processamento de GPU. Anteriormente, para utilizar GPUs, Kumo precisava extrair os dados da conta do cliente e processá-los externamente. Com essa integração, todo o processamento de dados ocorre diretamente na conta Snowflake do cliente, incluindo o processamento de GPU.

“A abordagem de não precisar de um conjunto de treinamento e engenharia de recursos encurta significativamente o ciclo de vida de IA/ML”, acrescentou. “Nosso objetivo é aliviar os cientistas de dados de tarefas repetitivas e tediosas, concentrando-nos em tarefas de nível superior de definição da tarefa preditiva correta, avaliando os resultados e encontrando a melhor maneira de obter valor comercial a partir das previsões”.

A empresa introduziu um recurso distintivo por meio desta oferta: GNNs de dados relacionais orientados por aprendizagem profunda.

Esses GNNs orientados por aprendizagem profunda podem aprender com o gráfico e os atributos associados, que são determinados por colunas não-chave dos dados. Depois que um gráfico é construído, várias tarefas de IA/ML podem ser treinadas com eficiência no mesmo gráfico, sem a criação de conjuntos de treinamento separados ou vários recursos de engenharia.

Kumo também oferece um algoritmo autoML escalonável e inovador que alivia o pesado processo de ajuste de hiperparâmetros.

“Embora as GNNs sejam muito eficazes para uma ampla gama de problemas preditivos, elas também são difíceis de implementar, dimensionar e tornar eficientes. A plataforma de IA do Kumo elimina a necessidade de criação de gráficos, o que requer familiaridade com GNNs e criação de tarefas de otimização. Para especificar a tarefa de IA/ML, Kumo implementou uma linguagem de consulta preditiva”, disse Josifovski.

Simplificando a análise preditiva para desenvolvedores cidadãos

Josifovski diz que a IA/ML preditiva atualmente requer especialistas altamente qualificados com experiência limitada. O ciclo de vida envolve experimentar recursos, necessitando de suporte substancial de infraestrutura para treinamento e inferência (pontuação).

Ele explicou que o objetivo da nova integração é oferecer aos usuários um fluxo de trabalho simplificado, independentemente de sua proficiência em ciência de dados.

Eles podem então aplicar facilmente o aprendizado gráfico preditivo em diversos domínios de negócios, como aquisição de clientes, fidelidade, retenção, personalização e detecção de fraudes. Sua empresa afirma que uma análise completa baseada em IA pode ser concluída em poucas horas.

“O Kumo permite que os usuários executem consultas nos dados relacionais sem exigir um conhecimento profundo dos conceitos de IA/ML, ao mesmo tempo que fornece controle do treinamento e inferência para cientistas de dados qualificados”, disse Josifovski. “Dessa forma, a plataforma permite que uma ampla gama de usuários a utilize, da mesma forma que os data warehouses são usados ​​hoje para análises.”

Além disso, Kumo destacou que a integração nativa com Snowflake facilita a instalação e uso do produto sem exigir análises de segurança e privacidade legal. Isto reduz barreiras e encurta significativamente o tempo para alcançar valor.

A empresa está confiante de que isto irá agilizar a experimentação e implementação de previsões detalhadas, permitindo e melhorando práticas como aquisição de clientes, personalização, resolução de entidades e outras tarefas preditivas.

“Nas empresas, muitas equipes emitem consultas SQL em um data warehouse para obter análises que os profissionais consomem para traçar ações futuras”, disse Josifovski ao VentureBeat. “O Kumo permitirá que os usuários obtenham previsões acionáveis ​​de maneira automatizada, sem a necessidade de interpretação profissional.”