Exclusivo: Microsoft e Google unem forças no OneTable, uma solução de código aberto para desafios de data lake

Em um novo esforço de desenvolvimento de parceria de código aberto anunciado hoje, a Microsoft está se unindo ao Google e à Onehouse para apoiar o projeto OneTable, que poderá remodelar o cenário do data lake em nuvem nos próximos anos.

Nos últimos anos, as organizações tiveram que tomar uma decisão sobre qual formato de tabela de data lake usar. É uma decisão que poderia potencialmente ter levado ao aprisionamento do fornecedor e a desafios de compatibilidade para análise de dados e cargas de trabalho de IA. Entre os principais formatos de tabela de data lake estão as tecnologias Apache Iceberg e Apache Hudi, bem como o Delta Lake liderado pelos Databricks.

O projeto OneTable, iniciado pela Onehouse, é uma tentativa de criar uma nova camada que fica sobre os formatos de tabela do data lake que permite conversões omnidirecionais e acesso em Iceberg, Hudi e Delta Lake.

A Onehouse anunciou o OneTable pela primeira vez em fevereiro, juntamente com um aumento de financiamento de US$ 25 milhões, e agora o esforço está sendo significativamente expandido como um projeto de código aberto que conta com o apoio da Microsoft e do Google, com outros fornecedores, incluindo a Amazon, em discussão para participação futura.

“Ao longo deste ano, temos trabalhado com nossos clientes, bem como com o Google e a Microsoft e um grupo de pessoas diferentes para ampliar a ideia e trazer mais forma e formato a ela”, disse o fundador e CEO da Onehouse, Vinoth Chandar, ao VentureBeat. “Acho que estamos agora neste ponto em que estamos prontos para abrir o OneTable de código-fonte como nossa contribuição para a comunidade e garantir que haja um lugar para formato cruzado e interoperabilidade apoiada por alguns dos principais influenciadores que adotam esses formatos (data lake table). ”

Microsoft inicia malha de dados e adota OneTable

A Microsoft tem sua própria abordagem de data lake chamada Fabric, que suporta o formato de tabela Delta Lake e é uma parte fundamental do esforço da Microsoft para criar uma estrutura única e aberta para seus clientes (veja os outros anúncios de hoje sobre isso). Unir-se ao esforço para apoiar o OneTable significa ajudar a permitir a abertura.

“Queremos um caminho onde as pessoas possam aderir ao nosso ecossistema sem se sentirem bloqueadas”, disse Raghu Ramakrishnan, CTO de dados da Microsoft, ao VentureBeat.

(Veja nosso resumo dos outros anúncios importantes da Microsoft hoje no Ignite.)

Ramakrishnan observou que hoje existe diversidade no cenário dos data lakes. Delta Lake da Databricks tem uma base crescente de usuários, Iceberg é apoiado por vários fornecedores, incluindo Snowflake e Cloudera, Hudi também tem seu quinhão de usuários e apoiadores, incluindo o gigante varejista Walmart. Ser capaz de usar e consultar dados em formatos de tabelas de data lake é um recurso crítico.

“Não ter este (OneTable) proprietário será muito útil para nossos clientes e, francamente, para nós”, disse Ramakrishnan.”Em última análise, minha verdadeira esperança aqui é que, juntos, possamos criar um ecossistema onde os clientes possam ir para qualquer coisa é a melhor solução sem ficar preso aos dados subjacentes.”

Google vê OneTable como um data lake ‘Babelfish’

O Google vem desenvolvendo sua própria tecnologia de plataforma de data lake com tabelas BigLake, entre outros esforços. Apoiar o OneTable como um esforço de código aberto é visto pelo Google como fundamental para viabilizar o objetivo de ter uma arquitetura de dados aberta.

“Construímos o BigLake porque realmente vemos os benefícios da arquitetura de dados abertos”, Gerrit Kazmaier, vice-presidente de dados e análises da Google Nuvem, disse ao VentureBeat.

Kazmaier observou que até o momento tem havido um desafio real em que as organizações tiveram que fazer escolhas difíceis sobre o formato de tabela que escolheriam. Dependendo da tecnologia, uma organização pode ficar presa a uma forma de gerir, aceder e governar dados que pode ter consequências a longo prazo.

“Existem formatos gratuitos e abertos como o Iceberg, mas pode haver outras cargas de trabalho em execução que dependem de um formato diferente que não seja o formato de arquivo principal escolhido”, disse ele. “É aí que o OneTable ajuda, é como um Babelfish.”

A Babelfish é uma criação ficcional do clássico de ficção científica Guia do Mochileiro das Galáxias, que permite às pessoas traduzir e compreender automaticamente diferentes idiomas. Kazmaier disse que o OneTable não substituirá os diferentes formatos de tabela de data lake, mas eliminará o fardo das organizações de terem que escolher um formato ao qual possam ficar presas.

A capacidade de permitir a interoperabilidade entre formatos é fundamental para o Google, à medida que expande a disponibilidade de sua tecnologia de análise de dados BigQuery Omni. Kazmaier disse que Omni basicamente estende o BigQuery para AWS e Microsoft Azure e é um serviço que tem crescido rapidamente. À medida que as organizações procuram fazer processamento e análise de dados através de nuvens, pode haver diferentes formatos e uma pergunta frequente é como o cenário de dados pode ser interconectado e como a potencial fragmentação pode ser interrompida.

“Acreditamos que o OneTable é uma ótima abordagem para isso e está realmente alinhado com nosso princípio de abertura”, disse Kazmaier.