Python encanta nerds de dados do Excel e entusiastas de data lake

A Anaconda, que ajudou a ser pioneira no uso do Python para ciência de dados em 2009, lançou seu Anaconda Toolbox, um novo conjunto de ferramentas desenvolvido para aprimorar a experiência e os recursos do Python no Excel.

O novo suplemento do Microsoft Excel traz Anaconda Assistant com tecnologia de IA, catálogos de dados selecionados e recursos de nuvem para usuários de Python no Excel.

Anaconda Toolbox é um novo conjunto de ferramentas desenvolvido para aprimorar a experiência e os recursos do Python no Excel. A caixa de ferramentas estará acessível aos usuários atuais do Python no Excel beta por meio do Microsoft Marketplace.

Assistente de IA

Lançado no mês passado. Python no Excel agora possui novos recursos adicionados pelo Anaconda Toolbox que permitirão aos desenvolvedores usar Python no Excel, mesmo que não conheçam Python. Incluído no Toolbox está o Anaconda Assistant, o assistente de IA lançado recentemente, projetado especificamente para usuários de Python e cientistas de dados, que pode orientá-lo em seus primeiros passos ou turbinar seu trabalho, mesmo se você tiver experiência avançada.

Usuários beta do Python no Excel podem se inscrever para experimentar o Anaconda Toolbox hoje mesmo.

O Anaconda Toolbox permite que qualquer pessoa, independentemente da experiência, gere códigos e visualizações rapidamente enquanto aprende Python ao longo do caminho, disse a empresa. Como o código é executado no Excel, você sabe como funcionará ao compartilhar o arquivo com outras pessoas, mesmo que elas não tenham o Toolbox.

“A revolução da IA ​​desencadeou uma explosão de criatividade e produtividade. O Anaconda Toolbox se encaixa perfeitamente nessa mesma área, pois fornece o acesso perfeito para ciência de dados avançada e IA com Python”, disse Timothy Hewitt, gerente sênior de produto para Python no Excel na Anaconda. “Entendemos que muitos usuários do Excel nunca usaram Python, por isso incluímos nosso Anaconda Assistant com tecnologia de IA. Este assistente de IA ajuda os usuários a realizar o que precisam usando linguagem natural sem a necessidade de conhecer todo o código Python subjacente. Se você precisa visualizar um conjunto de dados, desenvolver um script ou gerar insights rapidamente, o Assistente Anaconda torna isso possível — e agora está a apenas um clique de distância.”

Pergunte ao assistente

Sabe o que quer fazer, mas não sabe como fazer em Python? Basta perguntar ao Anaconda Assistant, diz a empresa. Quando ele fornecer o código, basta enviá-lo para a grade do Excel, onde você poderá editá-lo e executá-lo como qualquer outro código Python. Se você começar com um dos prompts fornecidos, ele analisará suas tabelas e recomendará diferentes maneiras de trabalhar com seus dados.

A Microsoft lançou Python no Excel como uma prévia pública para seu canal Insiders Beta, então ainda é o começo da tecnologia, mas a empresa continuará a lançar atualizações em: experiências de edição aprimoradas (como preenchimento automático e realce de sintaxe), reparos padrão, comportamentos de erro aprimorados, ajuda e documentação e muito mais, disse Stefan Kinnestrand, gerente geral de marketing/gerenciamento de produtos da Microsoft em uma postagem no blog.

Com Python no Excel, os usuários podem integrar análises de Python e Excel na mesma grade do Excel para um fluxo de trabalho ininterrupto.

“Python no Excel combina as poderosas bibliotecas de análise e visualização de dados do Python com os recursos do Excel que você conhece e adora”, disse Kinnestrand. “Você pode manipular e explorar dados no Excel usando gráficos e bibliotecas Python e, em seguida, usar fórmulas, gráficos e tabelas dinâmicas do Excel para refinar ainda mais seus insights.”

Parceria

Para ajudar nessa integração, a Microsoft fez parceria com o Anaconda, um repositório Python de nível empresarial líder usado por dezenas de milhões de profissionais de dados em todo o mundo. A Microsoft disse que Python no Excel aproveita o Anaconda Distribution para Python em execução no Azure, que inclui as bibliotecas Python mais populares, como pandas para manipulação de dados, statsmodels para modelagem estatística avançada e Matplotlib e seaborn para visualização de dados.

“Python se tornou a língua franca e o canivete suíço no trabalho com dados, e é a linguagem de fato da ciência de dados e do aprendizado de máquina”, disse Andrew Brust, CEO da Blue Badge Insights, uma consultoria de dados. Está presente no Microsoft Fabric, Azure Synapse Analytics, Azure Machine Learning, Azure Databricks, Visual Studio, VS Code, SQL Server e Power BI. E como a Microsoft e a Anaconda colaboraram em muitas dessas integrações, fazê-lo no caso do Excel foi quase uma conclusão precipitada.”

Em 2022, a Anaconda lançou o PyScript, uma ferramenta baseada na web para codificação no navegador e implantação de aplicativos com o clique de um botão. A empresa também lançou o Anaconda Learning para ajudar as pessoas a desenvolver habilidades básicas em Python, visualização de dados, aprendizado de máquina e muito mais.

A educação Python faz parte da missão da Anaconda. Todos os dias, mais e mais pessoas estão começando a aprender Python e, para a maioria, o Anaconda é a primeira parada nessa jornada.

“Queremos que a comunidade Python continue a crescer, por isso desenvolvemos uma extensa biblioteca de conteúdo educacional gratuito e certificados que ajudaram milhares de novos usuários a entrar em um mundo totalmente novo de ciência de dados e IA”, disse Hewitt ao The New Pilha. “O Anaconda Toolbox for Python no Excel amplia totalmente nossa missão de educação em Python. Na caixa de ferramentas, os usuários podem encontrar uma seleção selecionada de conjuntos de dados de código aberto para testar novas habilidades em ciência de dados e o Anaconda Assistant integrado pode ser usado para orientar os usuários na autoaprendizagem, avaliar o código e explicar o código que desenvolve. ”

Ibis e PyStarburst

Enquanto isso, Starburst, a plataforma de análise de data lake, anunciou recentemente suporte estendido para Python e uma nova integração com a biblioteca Python de código aberto, Ibis (construída em colaboração com Voltron Data) para reforçar seu compromisso com a abertura.

Para desenvolvedores e engenheiros de dados acostumados a trabalhar com PySpark e Snowpark, o PyStarburst fornece uma sintaxe familiar que facilita não apenas a construção de novos pipelines de dados, mas também a migração de pipelines existentes para o Starburst sem reescrever muito código. Enquanto isso, a nova integração Ibis fornece uma API Python uniforme e um back-end aberto que se conecta a qualquer fonte de dados em nuvem para que os engenheiros de dados e software possam construir e dimensionar aplicativos de dados do desenvolvimento à produção sem reescrever o código.

“Muitos engenheiros de dados preferem escrever código em vez de SQL para transformações, e muitos engenheiros de software estão acostumados a construir aplicativos de dados em Python. Com o PyStarburst, estamos dando a eles a liberdade de fazer isso com o aumento da produtividade e do desempenho do Trino de nível empresarial da Starburst”, disse Martin Traverso, CTO da Starburst, em comunicado.

Para desenvolvedores e engenheiros de dados que buscam construir aplicativos de dados escalonáveis, a nova integração Ibis fornece uma API Python uniforme que pode executar consultas em mais de 18 mecanismos diferentes – incluindo DuckDB, Pandas, PostgreSQL e agora Starburst Galaxy. Isso significa que você pode escalar desde o desenvolvimento em um laptop até a produção no Galaxy sem reescrever uma única linha de código.

Há muitas ferramentas entrando no ecossistema, a base de engenharia de dados de transformação de dados analíticos construída em torno do Python, existem bibliotecas para fazer ciência de dados de aprendizado de máquina, disse Traverso ao The New Stack. Portanto, os testes Python tendem a ser como cola para tudo. E essa é a linguagem que todos os cientistas de dados usam no dia a dia. Eles estão construindo modelos de IA, interagindo com dados, dados de mecanismo, mecanismos de permissão para massagear seus dados e fornecê-los aos seus sistemas de modelagem de IA. E Python é a ferramenta preferida deles, então sim, vemos muitas pessoas confiando nisso. Se você olhar para o Spark, o Spark começou construído em Scala, e originalmente as APIs foram construídas em torno de Scala, que era uma linguagem difícil de lidar. E para os programadores regulares, Python é um pouco mais flexível, muito mais fácil de aprender. Portanto, há todo um ecossistema Python construído em torno disso. E eventualmente se tornou a linguagem preferida para interagir com o Spark. E, portanto, qualquer pessoa que esteja lidando com processamento de dados em grande escala com Spark estará familiarizada com isso. Então, estamos capitalizando isso, esse investimento, essa experiência e tentando trazer isso para o Starburst, observou ele. Na Starburst tudo é construído tendo em mente a abertura e somos interoperáveis ​​com praticamente qualquer ambiente de dados, por isso estamos estendendo esse compromisso às nossas linguagens de programação. A parceria com a Voltron Data e a Ibis foi um ajuste natural”, disse Harrison Johnson, chefe de parcerias tecnológicas da Starburst.

Juntos, o Ibis e o Starburst Galaxy capacitam os usuários a escrever código Python portátil que é executado no mecanismo de análise de data lake de alto desempenho do Starburst, operando com dados de mais de 50 fontes suportadas. Os usuários agora poderão criar expressões analíticas em diversas fontes de dados com scripts reutilizáveis ​​que são executados em qualquer escala.

“Os usuários do Python lutam para preencher a lacuna entre os protótipos em seus laptops e os aplicativos de produção executados em plataformas como Starburst Galaxy. A Ibis torna muito mais fácil preencher essa lacuna”, disse Josh Patterson, CEO da Voltron Data. “Com o Ibis, você pode escrever código Python uma vez e executá-lo em qualquer lugar, com qualquer mecanismo de execução de back-end compatível. Você pode passar facilmente do processamento de dados de teste em escala de gigabytes em seu laptop para o processamento de dados em escala de petabytes em produção usando o Starburst Galaxy.”

A postagem Python encanta os nerds de dados do Excel e os entusiastas do Data Lake apareceu pela primeira vez em The New Stack.