Astrônomo impulsiona a orquestração de dados da plataforma Apache Airflow para IA

A obtenção de dados de e para diferentes sistemas costuma ser o domínio da orquestração de dados. Está entre as ferramentas mais utilizadas na tecnologia de código aberto Apache Airflow, originalmente criada pelo Airbnb.

Hoje, a Astronomer, principal patrocinadora comercial do projeto Apache Airflow, lançou sua mais recente atualização da plataforma Astro, fornecendo suporte empresarial, melhorias de segurança e gerenciamento. Embora o Airflow tenha começado ajudando na orquestração de pipelines de dados para análise de dados e inteligência de negócios, a tecnologia agora está sendo cada vez mais usada no suporte a cargas de trabalho de inteligência artificial (IA) e aprendizado de máquina (ML).

“O Airflow é muito bom em algumas coisas, uma delas é basicamente escrever e executar pipelines de dados”, disse Julian LaNeve, CTO da Astronomer ao VentureBeat. “O Airflow permite definir pipelines como código, para que você possa fazer qualquer coisa que o código permitir, o que é essencialmente ilimitado.”

Por que o Airflow é fundamental para a orquestração de dados moderna

LaNeve explicou que o Airflow se tornou popular nos últimos anos porque permite que as organizações definam, construam e implantem pipelines de dados com mais facilidade.

O Airflow se integra às principais plataformas de dados e sistemas de provedores de nuvem, incluindo Snowflake, Databricks, AWS, Microsoft e Google Cloud. LaNeve observou que, embora o projeto de código aberto seja bastante simples de usar para uma única equipe, torna-se cada vez mais complexo gerenciá-lo em escala empresarial. É aí que entra o Astronomer, oferecendo um serviço gerenciado para Apache Airflow.

O Astronomer também oferece recursos adicionais além da tecnologia central de código aberto.

“Construímos uma camada sobre o Airflow que chamamos de tempo de execução do Astronomer, onde pegamos o projeto de código aberto e fizemos algumas modificações para fazê-lo funcionar com mais eficiência”, disse LaNeve.

A Astronomer também desenvolveu ferramentas como parte de sua plataforma Astro que facilitam a gravação de pipelines de dados. O Astro Cloud IDE da empresa fornece uma ferramenta baseada em notebook para escrever pipelines de dados. LaNeve acrescentou que o Astronomer também começou a fazer alguns trabalhos no espaço de observabilidade, entendendo como os dados se movem por todo o ecossistema.

Astrônomo obtém melhores conexões e atualizações

Com sua nova atualização da plataforma Astro, o Astronomer agora traz uma série de recursos aprimorados para sua plataforma.

Uma das coisas mais fundamentais e difíceis em qualquer pipeline de dados é conectar-se aos dados de maneira segura. Com a atualização Astro, há uma nova atualização de gerenciamento de conexão para ajudar a resolver esse desafio.

O recurso de gerenciamento de conexões atua como um ponto central de governança, visibilidade e segurança para os pipelines de dados.

“Incorporamos um recurso de gerenciamento de conexão na plataforma Astro que permite que um administrador entre e defina conexões com Snowflake, Databricks e qualquer lugar que o Airflow possa acessar”, disse LaNeve.

A atualização da plataforma Astro também permite atualizações e reversões mais fáceis para configurações de pipeline de dados. Quando e se um pipeline de dados falhar, um usuário poderá facilmente retornar a uma configuração anterior para cargas de trabalho de produção. Para atualizações, a plataforma também executará uma série de verificações para primeiro garantir que o código da atualização é compatível e funcionará conforme o esperado.

Astrônomo aposta na IA

O Astronomer está sendo cada vez mais usado para fluxos de trabalho de IA.

No final de novembro, a Astronomer anunciou uma série de integrações em todo o cenário de IA com fornecedores como OpenAI, Cohere, Pinecone, OpenSearch, Weaviate e pgvector.

A Astronomer também construiu uma arquitetura de referência sobre como as organizações podem construir e implantar aplicativos de modelo de linguagem grande (LLM). O aplicativo ask.astronomer.io é uma demonstração pública da arquitetura e pode obter documentação de mais de uma dúzia de fontes diferentes em uma abordagem de geração aumentada de recuperação (RAG).

LaNeve disse que também vê o Airflow e a plataforma Astro sendo amplamente utilizados no suporte ao treinamento de modelos de IA.

“Em última análise, você deseja que seus modelos sejam treinados com os dados mais recentes e que isso aconteça de forma confiável”, disse LaNeve. “É exatamente para isso que o Astronomer and Airflow foi construído.”