O provedor de plataforma de dados AirByte lançou uma biblioteca Python de código aberto para ajudar a acelerar o processo para programadores Python conectarem fontes de dados a outros destinos que usariam esses dados.
PyAirbyte fornece mais de 250 conectores de dados para conectar diferentes aplicações via API. Também funciona com ferramentas de orquestração de código aberto, como o Dagster. No lado LLM, um conector pode funcionar com LangChain para a criação de aplicações utilizando grandes modelos de linguagem (LLMs).
De acordo com a documentação, o PyAirbyte “destina-se a ser usado em situações em que a configuração de um servidor Airbyte ou conta na nuvem não é possível ou desejável, por exemplo, em um notebook Jupyter ou ao iterar em protótipos iniciais na estação de trabalho de um desenvolvedor”.
“A maioria dos pipelines de dados existentes são escritos em Python hoje”, disse Michel Tricot, cofundador e CEO da Airbyte, em comunicado. “Temos visto uma demanda crescente por esse recurso, que proporciona um ajuste natural ao fluxo de trabalho de codificação e requer apenas a execução de um comando.”
PyAirByte funciona com Python 3.9 e versões posteriores. Uma instalação pode ser feita a partir da linha de comando do Python:
Entre os 290 conectores estão aqueles para:
Graças à sua simplicidade, Python é amplamente utilizado como linguagem de programação na comunidade de ciência de dados e está integrado a muitas ferramentas de análise de dados, como bancos de dados SQL, Hadoop e Spark.
A própria Airbyte é especializada na sincronização de dados entre aplicativos, APIs e bancos de dados para data warehouses, lagos e outros destinos, por meio de ofertas como Airbyte Open Source, Airbyte Self-Managed, Airbyte Cloud e Powered by Airbyte. A comunidade de código aberto que apoia a plataforma através de conectores já reuniu mais de 800 colaboradores.
Outras melhorias no pipeline de dados da empresa incluem a API Airbyte e o Provedor Terraform,
Para saber mais, inscreva-se no webinar que será realizado no dia 14 de março.
YOUTUBE.COM/THENEWSTACK
A tecnologia avança rápido, não perca um episódio. Inscreva-se em nosso canal no YouTube para transmitir todos os nossos podcasts, entrevistas, demonstrações e muito mais.
SE INSCREVER
