Microsoft Fabric torna-se GA e adiciona múltiplas integrações

Em sua conferência Ignite em Seattle na quarta-feira, a Microsoft lançou o Microsoft Fabric de disponibilidade geral (GA), a plataforma analítica ponta a ponta que foi lançada para visualização pública em sua conferência Build em maio.

Junto com o GA da plataforma, a Microsoft está anunciando a prévia pública de alguns recursos mais recentes e várias novas parcerias que permitem a integração de tecnologias de terceiros ao ambiente Fabric. A Microsoft também está fazendo vários anúncios relacionados à IA no Ignite, e o Fabric também desempenha um papel em alguns deles.

Abordei o Microsoft Fabric quando ele começou sua visualização pública em maio, então não vou repetir todos esses detalhes neste artigo. Em vez disso, abordarei o que há de novo, examinarei algumas notícias sobre preços e analisarei como a Microsoft parece estar imbuindo o Fabric com o status de plataforma mais favorecida, em relação às suas outras ofertas de análise.

Atalhos e espelhamento

O anúncio GA da Fabric abrange não apenas a plataforma principal, mas também vários tipos de “atalhos” para o OneLake, o data lake subjacente da Fabric. Os atalhos do OneLake permitem que dados armazenados fisicamente em outros sistemas sejam virtualizados e, assim, tornem-se logicamente parte do OneLake.

Os atalhos que agora são GA incluem aqueles para buckets de armazenamento do Amazon S3, contêineres Azure Data Lake Storage (ADLS Gen2), armazenamento de dados Dataverse da Microsoft, bem como dados armazenados em outras implementações do OneLake. Ainda não há sinal de suporte a atalhos para o Google Cloud Storage, mas a Microsoft reiterou que isso está chegando.

A Microsoft leva a sério a conexão do OneLake a plataformas de dados externas, não apenas por meio da virtualização usando atalhos, mas também por meio da replicação de dados físicos quase em tempo real por meio do Mirroring, um novo recurso que está sendo lançado para visualização pública.

O espelhamento lembra um pouco a tecnologia Synapse Link que a Microsoft introduziu para o Azure Synapse Analytics e, assim como acontece com essa ponte de replicação, o espelhamento inicialmente oferece suporte ao Banco de Dados SQL do Azure e ao Azure Cosmos DB como fontes de dados. Uma maneira pela qual o Mirroring difere do Synapse Link é que ele funciona não apenas com ofertas de dados da Microsoft, mas também com plataformas de terceiros, incluindo inicialmente MongoDB e Snowflake.

Cargas de trabalho e governança

Snowflake é um concorrente direto da Fabric, por isso é interessante ver a Microsoft aceitar que alguns de seus clientes usarão a plataforma de dados em nuvem concorrente para várias cargas de trabalho de análise de dados, mas ainda podem querer usar a inteligência de negócios, ciência de dados, engenharia de dados e outros recursos da Fabric. nesses dados.

Outra carga de trabalho que os clientes podem usar é o componente de monitoramento/observabilidade Data Activator da Fabric, que a Microsoft acaba de colocar em versão prévia pública em outubro deste ano.

Além das cargas de trabalho analíticas em si, os clientes podem querer controlar os dados trazidos por meio de atalhos e espelhamento usando a nova e mais estreita integração entre o Fabric e o Microsoft Purview que a Microsoft também está anunciando hoje. Por exemplo, a integração de verificação automática do Purview permite que os artefactos do Fabric fluam automaticamente para o catálogo de dados do Purview.

Além do catálogo de dados, os usuários podem aplicar rótulos de sensibilidade da Proteção de Informações do Purview a dados confidenciais do Fabric e integrar políticas de prevenção de perda de dados (DLP) baseadas em Tipos de Informações Sensíveis (SIT) e auditoria do Purview no Fabric.

Interoperabilidade FTW

Em todos os casos, o Mirroring replicará os dados no data lake OneLake, ao contrário do Synapse Link para Base de Dados SQL do Azure, que replica dados diretamente em tabelas de armazém de dados.

E como os dados estarão no lago no formato Delta Lake (um formato de tabela aberta que se baseia no formato de arquivo de dados colunar Apache Parquet), outros formatos compatíveis com Delta, incluindo Azure Databricks, também poderão usá-los diretamente. . O mesmo deve acontecer com plataformas baseadas em Trino, como Starburst, e os clusters Trino no renovado Azure HDInsight para AKS da Microsoft, cuja visualização pública abordei recentemente.

A interoperabilidade vai além do grupo de atalho/espelhamento do OneLake, já que a Microsoft também está fazendo uma série de anúncios de parceiros em torno do Fabric. As empresas que aderiram como parceiras incluem ESRI, Teradata, Informatica e SAS, cujas plataformas de inteligência de localização (GIS), data warehouse, gerenciamento de dados e ciência de dados, respectivamente, serão integradas ao Fabric e à sua interface de usuário.

Até mesmo o Grupo da Bolsa de Valores de Londres está entrando no jogo, oferecendo descoberta e acesso a dados, e fornecendo acompanhamento de gerenciamento de direitos digitais, em torno de seus produtos de dados de inteligência de mercados financeiros, dentro da Fabric.

M365 e Microsoft AI

Os dados do Microsoft 365/Microsoft Graph agora também serão integrados ao OneLake. Esse recurso, que está em versão prévia, fornece os dados no formato Delta Lake preferido do Fabric (o que é um grande negócio, já que os dados do M365 eram oferecidos anteriormente apenas no formato JSON).

E, no mundo da IA, o OneLake agora está disponível em versão prévia como um armazenamento de dados no Azure Machine Learning e como fonte de dados no Azure AI Studio, o que a Microsoft chama de “plataforma unificada de IA”, sendo lançada em versão prévia no Ignite.

Falando em IA, a Microsoft também está lançando a prévia pública do Copilot in Fabric. Esta implementação do Copilot vai muito além de uma interface de linguagem natural para consulta de dados. Embora certamente possa lidar com essa tarefa, ele estará inicialmente disponível nos componentes Power BI, Data Factory (fluxos de dados e pipelines), Data Engineering e Data Science da Fabric, permitindo, segundo a Microsoft, “criar fluxos de dados e pipelines, (… ) criar relatórios ou até mesmo desenvolver modelos de aprendizado de máquina.”

Embora a visualização do Copilot no Fabric seja pública, ela será implementada em etapas, para que a Microsoft possa garantir a implantação da infraestrutura compatível com IA necessária para oferecer suporte a todos os clientes com acesso. A Microsoft afirma que todos os clientes com capacidades de computação F64 ou superior (ou Power BI Premium) deverão ter acesso ao Copilot no Fabric até o final de março de 2024, o mais tardar.

Para referência, o F64 é uma capacidade intermediária – há cinco capacidades menores que ele e mais cinco maiores. O preço pré-pago para F64 é de US$ 11,52/hora na maioria das regiões do Azure nos EUA. Mas como parte de seu anúncio GA, a Microsoft também está introduzindo preços de reserva que permitirão aos clientes pré-comprometer Unidades de Capacidade de Fabric em incrementos de um ano, o que a Microsoft diz que renderá economias de até 40,5%, em relação ao pagamento conforme publicado. preços você vai.

Suporte e Migração

A Microsoft afirma que mais de 25.000 organizações usam o Fabric (um número que exclui especificamente as organizações que usam apenas cargas de trabalho do Power BI no Fabric). Esse é um grande número. Mas a Microsoft também tem muitos clientes que usam outras plataformas, como o Azure Synapse Analytics.

Então, qual é o roteiro aqui? E qual é o risco, se houver, que os clientes de outras plataformas correm de descobrir que não têm mais suporte? A Microsoft está abordando isso de frente, declarando explicitamente que “não tem planos atuais para aposentar o Azure Synapse Analytics” e que o suporte, as correções de bugs e a atenção à segurança dessa plataforma continuarão. A Microsoft afirma ainda que avisará com antecedência se esses planos mudarem e cumprirá os compromissos de sua Política de Ciclo de Vida Moderno.

E os clientes do Azure Databricks? Considere que a Databricks desenvolveu a tecnologia Delta Lake que a Microsoft adotou como formato de dados nativo do Fabric. E observe também que a sessão principal do Fabric no Ignite é chamada “Prepare seus dados para IA com Microsoft Fabric e Azure Databricks”. Por outro lado, a Microsoft também publicou um guia no blog da Fabric para ajudar os clientes do Synapse a planejarem suas estratégias de migração. Toda essa linguagem deixa bem claro que novos investimentos na tecnologia de análise desenvolvida internamente pela Microosft chegarão ao Fabric, tornando provável que o Azure Synapse Analytics seja mantido de forma robusta, mas provavelmente não aprimorado significativamente.

Como começar e por quê

Então, se a Fabric traçar o caminho da análise, como os clientes da Microsoft podem começar? Apesar de ser GA e, portanto, agora um serviço pago, a Microsoft ainda está disponibilizando testes de Fabric de 60 dias, com os usuários de teste recebendo as capacidades F64 intermediárias discutidas acima, no contexto do Copilot. As pessoas interessadas podem acessar a página de introdução do serviço e criar uma conta gratuita ou usar sua conta existente do Power BI para embarcar na avaliação do Fabric.

Como eu disse em minha cobertura de maio, tenho trabalhado com o Fabric desde antes de ele estar em pré-visualização pública. Ele reúne muitas tecnologias boas, mas anteriormente fragmentadas, em uma plataforma muito completa que se baseia no modelo de negócios e na experiência do usuário da muito popular plataforma Power BI.

Trabalho com tecnologia de dados da Microsoft há cerca de trinta anos. Já vi muito disso ir e vir, mas o Fabric é realmente o culminar e o refinamento de décadas de esforço, combinado com tecnologias modernas que se tornaram padrão em toda a indústria.

Se você deseja usar IA, precisa que seus dados estejam nas melhores condições, e é exatamente nisso que a Fabric e sua equipe estão focadas em ajudar seus clientes a alcançar.