Apache Kafka é uma solução flexível de streaming de dados em tempo real usada para desenvolver e implantar aplicativos e pipelines de dados altamente responsivos, mas pode se tornar uma fonte de atrito para desenvolvedores à medida que seus projetos crescem em escopo e aumentam em número.
Os requisitos de recursos, acesso a dados e necessidades de segurança dos projetos Kafka em estágio inicial são geralmente simples e podem ser gerenciados internamente pela equipe de desenvolvimento. Mas, ao passar para a produção e escalar para várias equipes, é comum que uma equipe de engenharia de confiabilidade de site (SRE), uma equipe de plataforma de dados ou uma equipe de operações assuma a manutenção da infraestrutura Kafka, bem como atenda às solicitações da equipe de desenvolvimento para acesso a dados.
A introdução de processos adicionais frequentemente causa atrasos e trabalho adicional (como o preenchimento de tickets de solicitação) de uma forma que retarda a adoção do Kafka e torna os desenvolvedores que já usam o Kafka menos produtivos.
Não precisa ser assim, entretanto. O atrito não é função do processo, mas sim de como ele é implementado. É possível fornecer aos desenvolvedores as ferramentas necessárias para desenvolver aplicativos Kafka com eficiência, bem como os processos para trabalhar com equipes de plataforma para provisionar recursos e solicitações de dados de autoatendimento, sem introduzir gargalos.
Existem alguns fatores principais que dificultam os processos de desenvolvimento ao dimensionar implantações do Kafka:
Além dessas preocupações principais, políticas de segurança inflexíveis que adicionam camadas de complexidade às implantações de produção (por exemplo, criptografia, que não é fornecida imediatamente no Kafka) e seus próprios dados e requisitos regulatórios específicos do caso de uso podem adicionar ainda mais obstáculos ao desenvolvimento.
Resolver esses problemas para os desenvolvedores — sem colocar expectativas nas equipes de plataforma que elas não possam atender ou devolver-lhes as tarefas de manutenção e governança do Kafka — representa um desafio.
Cada aplicação tem suas próprias especificações, fluxos de trabalho e infraestrutura de suporte que determinarão quais ferramentas serão apropriadas para uso. Mas existem alguns componentes principais que você deve considerar introduzir em seus ambientes Kafka que aumentarão a capacidade de resposta do desenvolvedor.
Os desenvolvedores devem compreender os dados que estão manipulando para que possam identificar rapidamente a origem de bugs ou resultados inesperados em seu código. Eles devem adotar ferramentas adequadas aos seus fluxos de trabalho que possibilitem isso:
A disponibilidade da infraestrutura e o desempenho e os impactos operacionais das atualizações de código precisam ser avaliados regularmente para que o desenvolvimento contínuo não afete a confiabilidade da produção. Prometheus, Burrow e Datadog fornecem componentes robustos para monitorar implantações Kafka.
Atlan e OpenMetadata são catálogos de dados que ajudam os desenvolvedores a descobrir e navegar pelos dados para detectar padrões e responder perguntas. Para organizações maiores, a Alation e a Collibra fornecem plataformas de inteligência de dados de nível empresarial que podem classificar e proteger extensos ativos de dados.
As melhores práticas de propriedade de dados podem ser refletidas em seus processos GitOps. Registre metadados sobre recursos, incluindo seu proprietário, assim que forem criados, para que não haja barreiras para descobrir o que é um recurso e quem é responsável por ele.
Integrar dados de múltiplas fontes ou mover seus dados para um local onde outras equipes ou organizações possam integrá-los é uma função de muitos casos de uso do Kafka. Os desenvolvedores precisam de propriedade dos processos Kafka Connect (como Debezium) para muitos aplicativos de negócios e casos de uso de compartilhamento de dados para que os aplicativos possam ouvir mudanças de estado e eventos. É importante garantir que a configuração e os conectores dêem às equipes de desenvolvimento acesso a tudo o que precisam para operar de forma independente, sem conceder-lhes acesso muito amplo.
A alternativa para isso é uma equipe central que gerencia os conectores. Mas sem o contexto completo e a compreensão de cada aplicação e caso de uso específicos, isso pode ter o efeito oposto ao pretendido, reduzindo a eficiência ao exigir comunicação adicional entre as equipes até que o acesso necessário e o entendimento compartilhado sejam obtidos.
As ferramentas de autoatendimento não são uma panaceia e não podem resolver problemas organizacionais que atrapalham os fluxos de trabalho de desenvolvimento. A configuração como código (GitOps) e CI/CD para infraestrutura devem ser implementadas para ajudar a garantir ambientes de desenvolvimento e teste confiáveis e reproduzíveis – mas isso é verdade tanto com Kafka quanto sem.
Os membros da sua equipe também devem ter uma compreensão funcional das configurações do seu cliente para evitar configurações incorretas: o comportamento do produtor e do consumidor do Kafka (tamanhos de lote, tamanhos de buffer, tempos limite) afeta o desempenho do Kafka e, se configurado incorretamente, pode levar ao uso excessivo de recursos, aumento da latência e rendimento reduzido.
Ao planejar seu aplicativo, nem é preciso dizer que você deve identificar cuidadosamente o caso de uso e os requisitos e escolher padrões de design apropriados (por exemplo, arquiteturas de orquestração, coreografia, orientadas a eventos, processamento de fluxo ou compactação/retenção). Uma infraestrutura resiliente e escalável capaz de atender aos requisitos da sua aplicação (especialmente em arquiteturas orientadas a eventos que usam Kafka para fornecimento de eventos) também deve ser planejada com antecedência.
Quanto menos dívida técnica seus projetos acumularem nos estágios iniciais, mais tempo os desenvolvedores poderão gastar verificando se os pipelines de dados estão implementados corretamente e se as pessoas certas podem acessar os dados de que precisam sem atrasos técnicos ou de processo.
Aprender as ferramentas e estabelecer as práticas descritas acima é tarefa difícil para qualquer desenvolvedor ou equipe. A maioria dos produtos não está totalmente integrada e a sua falta de funcionalidade de governação abrangente pode levar a uma má compreensão e apropriação e resultar no tratamento incorreto dos dados.
É possível que você adote apenas algumas das ferramentas no início, ou ferramentas diferentes. Mas existem alguns princípios que você pode usar para proporcionar uma experiência sem atrito para seus desenvolvedores, independentemente das peças específicas de software e das práticas de engenharia que você escolher:
E, a um nível ainda mais elevado: ao conceber as suas aplicações e a infraestrutura que as alimenta, o objetivo deve ser facilitar o autoatendimento e a colaboração, e não transferir a responsabilidade das equipas de operações. Os desenvolvedores precisam de liberdade e as equipes de operações precisam saber que suas implantações do Kafka estão sendo usadas corretamente, sem microgerenciar cada solicitação de acesso.
Se você quiser saber mais sobre como identificar desafios de escalonamento no ecossistema Kafka, confira nosso webinar do Conductor 2.0 para descobrir como o Conductor resolve os problemas de autoatendimento que equipes e organizações enfrentam ao trabalhar com dados em tempo real em escala, resultando em prazos de entrega mais rápidos e maior valor obtido com investimentos em dados.
YOUTUBE.COM/THENEWSTACK
A tecnologia avança rápido, não perca um episódio. Inscreva-se em nosso canal no YouTube para transmitir todos os nossos podcasts, entrevistas, demonstrações e muito mais.
SE INSCREVER
