Databricks adapta plataforma de inteligência de dados baseada em IA para empresas de telecomunicações
17 de janeiro de 2024
ServiceNow investe no Catalyst para oferecer ferramentas de experiência do cliente
17 de janeiro de 2024
O dbt Labs, com sede na Filadélfia, anunciou hoje a próxima versão de sua camada semântica aberta – a ponte entre plataformas de dados e ferramentas de business intelligence (BI), permitindo que as empresas forneçam a versão única e verificada dos dados para gerar insights. A empresa é a mesma por trás da ferramenta de engenharia analítica dbt, que prepara dados para análise.
A nova versão está disponível hoje para todos os usuários do dbt Cloud. A camada renovada traz suporte para mais plataformas de dados, incluindo Databricks e BigQuery. Também introduz novos recursos que facilitam às organizações a definição e o acesso a métricas complexas, em escala. Os recursos vêm da recente aquisição da Transform Data pela dbt Labs e tornam a camada semântica adequada para uma gama mais ampla de organizações e casos de uso.
“A nova geração da camada semântica dbt é muito mais sofisticada, fornecendo uma gama mais ampla de organizações com métricas e dimensões mais (complexas), uma gama mais ampla de necessidades em torno de tipos de métricas e diferentes configurações de plataforma de dados”, Tristan Handy, CEO e fundador do dbt Labs, disse ao VentureBeat.
O que é a camada semântica dbt e como ela está melhorando?
A arquitetura atual da pilha de dados moderna vê o fluxo de informações de armazéns e lagos para inteligência artificial (IA) e ferramentas de BI.
No entanto, nesta abordagem, as organizações, especialmente as grandes com estruturas complexas e diferentes ferramentas para diferentes necessidades analíticas, têm de mover diferentes cópias de dados de armazéns e lagos. Isso não só exige tempo e esforço, mas também pode afetar os resultados posteriores.
Para resolver esse desafio, o dbt oferece a camada semântica, uma espécie de ponte onde métricas e conceitos de negócios podem ser definidos e tornados universalmente acessíveis.
Ele usa construções de programação existentes que os autores de dbt expressam – referências, macros, fontes – e oferece a mesma versão consistente da verdade para todas as ferramentas analíticas e de BI. Isso ajudará a simplificar todo o processo de produção de análises.
O Dbt introduziu a camada semântica em outubro de 2022. No entanto, ela foi limitada a menos métricas e dimensões menos complexas capturadas do Snowflake.
Com o lançamento mais recente, a empresa está expandindo o suporte para incluir dados de múltiplas plataformas, incluindo Databricks, Google BigQuery e Amazon Redshift. A empresa também oferece otimização de desempenho relevante para cada uma dessas plataformas.
Além disso, a camada atualizada permite definições e consultas de métricas mais complexas com o MetricFlow — um mecanismo de geração de consultas SQL de última geração — instalado nos bastidores. Foi adquirido como parte do acordo Transform Data e ajuda os analistas a criar métricas construindo consultas apropriadas para diferentes granularidades e dimensões que são úteis para vários aplicativos de negócios.
Notas do Dbt O MetricFlow traz vários recursos para geração e consulta de métricas complexas, incluindo suporte de junção dinâmica em qualquer número de tabelas para criar um gráfico semântico de dados e a geração de junções, filtros e agregações que levam a SQL legível e de alto desempenho.
“Também construímos novas APIs, incluindo uma interface Java Database Connectivity (JDBC) totalmente reconstruída construída com ArrowFlight, bem como uma API GraphQL permitindo integrações mais perfeitas e aplicativos a serem construídos sobre a nova camada semântica”, disse Handy. disse.
Finalmente, através do seu Programa de Integração Semantic Layer Ready, a dbt está expandindo a conexão downstream da camada com ferramentas de IA e BI.
A empresa disse que agora permitirá que os usuários conectem a camada semântica com Tableau, Google Sheets, Hex, Klipfolio, Lightdash, Mode e Push.ai. Isso dará aos usuários acesso a métricas críticas para os negócios que são consistentes e confiáveis, extraídas de uma fonte única e verificada de verdade. Nos próximos meses, espera-se que a lista cresça, dando a ainda mais usuários acesso a dados confiáveis.
“Acreditamos que a camada semântica do dbt ajudará a impulsionar a próxima geração de análise de dados e estamos satisfeitos porque nossos clientes agora poderão experimentar facilmente os benefícios de métricas confiáveis e consistentes — apoiadas pelo dbt — em toda a organização. Muitas vezes ouvimos dos clientes que uma grande barreira para uma adoção mais ampla é a falta de confiança nos dados. Este é mais um passo em nossa missão de resolver isso”, disse Nicolas Brisoux, diretor sênior de gerenciamento de produtos da Tableau, em comunicado.
Embora empresas como Mozart Data e Datameer também ofereçam ferramentas para preparar dados para análise, o dbt superou seus rivais para se tornar o que Handy descreve como “um padrão da indústria”. Atualmente, cerca de 30.000 empresas usam o dbt, com 900 engenheiros analíticos certificados e uma comunidade de 90.000 membros em todo o mundo. O serviço em nuvem da empresa representa 12% da base total de usuários e está crescendo em ritmo acelerado.
No ano passado, mais de 1.000 empresas se inscreveram no dbt Cloud, incluindo Airservices Australia, Anheuser-Busch, Cruz Vermelha Britânica, ThermoFisher Scientific e Sequoia Capital.
A missão da VentureBeat é ser uma praça digital para os tomadores de decisões técnicas obterem conhecimento sobre tecnologia empresarial transformadora e realizarem transações. Conheça nossos Briefings.
