O Spotify abrirá o código-fonte de sua estrutura de microsserviços?

O Spotify está considerando lançar ao público sua solução Fleet Shift, que é usada para automatizar a atualização de repositórios de software – semelhante a quando abriu o código-fonte de sua plataforma interna de desenvolvedor, Backstage, em 2020.

“Existe algo chamado Fleet Shift que todos nós usamos no Spotify que automatiza a necessidade de atualização do Python 2 para o Python 3”, disse Helen Greul, chefe de engenharia do Backstage, durante o DevOps Modernization Summit virtual da semana passada, realizado pela plataforma de entrega de software Aproveitar. “Isso é algo que também estamos pensando em potencialmente externalizar e disponibilizar ao público”.

Dito isso, a ideia de abrir o código do Fleet Shift ainda está em fase de exploração, alertou Greul.

O Spotify chama isso de “gerenciamento de frota”, porque é uma forma de gerenciar sua frota de componentes dentro de sua arquitetura de microsserviços.

“Manter milhares de componentes, mesmo que você precise fazer apenas pequenas atualizações, isso rapidamente aumenta e se torna algo muito grande”, disse Greul. “Portanto, estamos descobrindo como lidar com migrações complexas, e as pequenas, para que a carga e o trabalho mundano saiam automatizados das mãos dos desenvolvedores. Isso é algo que também estamos pensando em potencialmente externalizar e disponibilizar ao público”.

À medida que o Spotify se expandiu, o número de componentes em produção cresceu para milhares, escreveu Niklas Gustavsson, vice-presidente de engenharia do Spotify, em uma postagem no blog de abril de 2023 sobre gerenciamento de frota.

“Essa é a ideia por trás do gerenciamento de frota: ao construir ferramentas de automação que possam fazer alterações com segurança em milhares de repositórios de uma só vez, podemos manter a integridade de nossa infraestrutura tecnológica continuamente (em vez de lenta e laboriosamente)”, afirmou Gustavsson. “Mais importante, removendo esse trabalho de baixo nível das listas de tarefas de nossos desenvolvedores permite que as equipes de produto se concentrem na solução de problemas muito mais interessantes do que migrar do Java 17.0.4 para o 17.0.5. Uma base de código mais saudável e segura, além de engenheiros mais felizes e produtivos. O que há para não gostar?

Portais de desenvolvedores como ‘principais facilitadores de uma transformação maior’

O Spotify também continua contribuindo com o Backstage, disse Greul. Recentemente, contribuiu com um novo sistema frontend que permite a integração declarativa de plugins daqui para frente, explicou ela. Isso facilita a instalação e o uso de novos plug-ins e “deve realmente agilizar o funcionamento do processador com o portal do desenvolvedor”, disse ela.

Também houve mudanças nos sistemas de back-end e na forma como ele realiza a autenticação da instância do Backstage, disse ela.

O Backstage foi uma ferramenta interna que nasceu por necessidade há quase nove anos, acrescentou ela.

“Descobrimos que à medida que crescíamos, a nossa infra-estrutura ia-se tornando mais fragmentada. Nossos engenheiros (eram) menos produtivos, daí o Backstage”, disse ela. “Não estávamos tentando inventar (um) portal para desenvolvedores, por si só; estávamos tentando encontrar uma solução para um problema e o Backstage era uma solução para um problema.”

Não pertence a uma equipe, mas é mais como um esforço orientado para pesquisa e desenvolvimento, onde mais de 80% de todas as contribuições para o Backstage vêm de equipes fora da equipe principal do Backstage, disse ela.

Backstage é agora um dos projetos CNCF mais quentes que existe, disse Mishra. Isso está levando à próxima era, “o que chamaríamos de engenharia de plataforma”.

Os portais internos para desenvolvedores, como o Backstage, são um “facilitador chave para uma transformação maior”, porque os portais para desenvolvedores servem como um centro operacional central para P&D, desenvolvedores e gerentes de produto, disse Greul. É como um repositório para toda a infraestrutura e ferramentas, desde a documentação da API até a colaboração, acrescentou ela.

“(Ele) serve basicamente como um hub central onde os desenvolvedores podem se reunir e gravitar para executar seus fluxos de trabalho diários, acessar documentação, APIs, ferramentas, recursos”, disse ela. “O melhor termo seria dizer que os portais de desenvolvedores (são) um meio de chegar a uma organização de plataforma altamente eficiente.”

A experiência do desenvolvedor é importante

O Spotify se concentra em criar uma experiência positiva para o desenvolvedor de outras maneiras, disse Gruel.

Essencialmente, há três elementos a serem considerados ao avaliar a felicidade do desenvolvedor, além da sempre presente questão do equilíbrio entre vida pessoal e profissional:

1. Colaboração eficaz;
2. Estado de fluxo, onde os desenvolvedores podem obter um foco profundo porque as distrações são minimizadas; e
3. Ferramentas e processos, que ela disse serem “apenas apostas” neste momento.

“Quando falamos de experiência de desenvolvedor, (…) também gosto muito de ressaltar que não se trata apenas de ferramentas e processos”, disse ela. “O meio ambiente desempenha um papel realmente fundamental aqui, e o empoderamento individual dos desenvolvedores, o fato de que eles estão por trás de seus objetivos e prioridades, eles sentem que têm uma compreensão clara dos objetivos do projeto, eles também têm uma palavra a dizer sobre isso, também é realmente fundamental (para) um ambiente saudável.”

Mas, perguntou o anfitrião e gerente sênior de produtos da Harness, Himanshu Mishra, por que os líderes deveriam se preocupar com a felicidade e a produtividade dos desenvolvedores nesta economia? É uma pergunta que Greul disse que recebe diariamente.

“Porque é uma vantagem competitiva. Isso simplesmente economiza dinheiro”, respondeu ela. “Melhorou os tempos de entrada no mercado, aumentou a visibilidade do desempenho da sua organização (e, como resultado, aumentou a resiliência), você pode mudar rapidamente de uma direção para outra sem realmente sacrificar sua produtividade, software de maior qualidade e, claro, (a) força de trabalho mais feliz.”

O post O Spotify abrirá o código-fonte de sua estrutura de microsserviços? apareceu primeiro em The New Stack.