O Apache Flink emergiu como um pilar do processamento de stream, usado por muitas organizações, grandes e pequenas, para orquestrar a entrega de insights em tempo real a partir de dados de streaming.
Na verdade, a importância do Flink repercute na indústria da ciência de dados, não apenas como um software poderoso capaz de processamento em lote e em fluxo em escala, mas também como um catalisador para a mudança. Flink está inaugurando uma era há muito imaginada em que os dados podem finalmente ser aproveitados para obter insights precisos e tomadas de decisão informadas e instantâneas.
Ao darmos as boas-vindas a 2024, vamos dar uma breve olhada nos marcos alcançados pela comunidade e ecossistema Apache Flink no ano passado.
Os números costumam contar a história, e as estatísticas de Flink não são exceção. A comunidade testemunhou um aumento na vitalidade, com novos committers e membros do PMC juntando-se às fileiras. A jornada de observação das estrelas no GitHub atingiu um grande marco, ultrapassando a marca de 20.000 em abril.
Digno de nota é o anúncio de que o Apache Flink recebeu o SIGMOD Systems Award 2023 por seu impacto significativo, afirmando que “o Apache Flink expandiu enormemente o uso de processamento de dados de fluxo”. (SIGMOD é a maior conferência de pesquisa de banco de dados do mundo.)
O Prêmio SIGMOD Systems serve como destaque, reconhecendo as contribuições da Flink e o trabalho dos mais de 1.400 colaboradores, solidificando seu status como líder na área de processamento de dados.
A comunidade Flink tem sido um foco de atividade no último ano, produzindo um fluxo contínuo de lançamentos.
O Flink 1.17, lançado em março, viu a conclusão de 7 FLIPs (Flink Improvement Proposals) e mais de 600 edições. O igualmente impressionante Flink 1.18, lançado em outubro, completou 18 FLIPs e mais de 700 edições.
Juntos, esses dois lançamentos trouxeram muitos novos recursos e melhorias interessantes para a comunidade, incluindo melhorias no recurso de checkpoint incremental do Flink, uma ampla gama de novos recursos e melhorias nas melhorias SQL do Flink (por exemplo, consultas pontuais e consultas em nível de operador). configurabilidade de estado TTL), melhor elasticidade nativa da nuvem, aprimorando o agendador adaptativo do Flink, suporte para Java 17 e muito mais.
A comunidade Flink também entregou quatro versões do Operador Kubernetes (1.4, 1.5, 1.6, 1.7), gerando melhorias significativas, incluindo suporte para escalonamento automático, a capacidade de escalar o pipeline com base na carga de dados recebida e na utilização do fluxo de dados, gerenciamento de reversão mais robusto em caso de cenários de falha, manuseio mais flexível de pontos de salvamento e muito mais.
Além disso, os subprojetos ML 2.2.0 e StateFun 3.3.0 do Flink registraram progresso significativo. A API Table Store foi elevada para seu próprio projeto de nível superior, Apache Paimon, e vários conectores foram extraídos em projetos separados com controle de versão separado.
À medida que a Flink solidifica a sua posição como vencedora nas guerras contínuas, o panorama da indústria está a passar por uma transformação subtil.
Os principais intervenientes reconhecem que o streaming de dados está a tornar-se uma mercadoria e o processamento de fluxos é onde a diferenciação acontecerá.
Como resultado, está a emergir um ecossistema competitivo de entidades que oferecem o Flink como serviço. Essas plataformas gerenciadas – incluindo aquelas oferecidas pela Confluent (que adquiriu a Immerok), Decodable, DeltaStream e Ververica, entre outras – oferecem ajuda às organizações a operacionalizar o Flink para escalabilidade, segurança e experiência do desenvolvedor. É claro que os serviços de nuvem em hiperescala foram rápidos em jogar seu chapéu no ringue: AWS, Microsoft Azure e Google Cloud Platform agora também oferecem serviços Flink.
Os principais eventos do setor são um ótimo lugar para testemunhar a evolução do mercado. A lista de palestrantes no Current 2023 e no Flink Forward 2023 mostra um retrato do sucesso do Flink e da ampla adoção por gigantes da indústria como Alibaba, Apple, Bloomberg, BMW, Cisco, Deliveroo, DoorDash, IBM, Even, LinkedIn, Lyft, NASA, Netflix, Stripe, Uber e Warner Bros. Descoberta. Essas organizações e muitas outras estão se aproximando do microfone, ansiosas para compartilhar como o Flink não é apenas uma ferramenta, mas uma parte integrante das operações comerciais.
Vamos concluir com uma espiada na bola de cristal, pois tenho certeza de que 2024 terá muitos desenvolvimentos interessantes reservados para Flink. Os eventos previstos que mais me entusiasmam são estes:
Alguns podem dizer que o Flink, depois de ter sido criado há quase uma década, teve um início lento. Mas poucos diriam que Flink está agora atingindo o seu ritmo. 2023 foi repleto de progresso e um inegável impulso.
Com desenvolvimentos emocionantes em torno do Flink, mas também do processamento de fluxo em geral, temos pela frente um ótimo momento para se juntar à comunidade e contribuir com seus talentos especiais para as inovações, colaborações e triunfos que revolucionarão o cenário do processamento de dados.
YOUTUBE.COM/THENEWSTACK
A tecnologia avança rápido, não perca um episódio. Inscreva-se em nosso canal no YouTube para transmitir todos os nossos podcasts, entrevistas, demonstrações e muito mais.
SE INSCREVER
