No mundo do aprendizado de máquina, a mudança é a única constante. A dependência tradicional de grandes conjuntos de dados processados em lote está dando lugar a uma abordagem mais dinâmica e em tempo real dos dados. Esta evolução está sendo impulsionada pela compreensão de que ser capaz de processar e analisar dados em tempo real não é apenas uma vantagem – é uma necessidade.
Isto é particularmente verdadeiro em setores como o ecossistema de entrega de alimentos, onde as expectativas dos clientes e as necessidades empresariais podem mudar num piscar de olhos. Aqui, os mecanismos de streaming de dados surgem como atores-chave que transformam o cenário do processamento de dados e do aprendizado de máquina.
A previsão do tempo de entrega de alimentos tradicionalmente se baseia em dados processados em lote. Este método, embora um tanto eficaz, muitas vezes leva a insights obsoletos devido à latência entre a coleta e o processamento de dados. As variáveis de dados normalmente incluem o meio de transporte do parceiro de entrega, idade, classificações e a métrica crucial de distância entre o restaurante e o local de entrega.
Nos últimos anos, a indústria de entrega de alimentos experimentou um tremendo aumento na demanda. Este aumento, parcialmente impulsionado pela pandemia, destacou as dolorosas limitações dos modelos de dados processados em lote e sublinhou a necessidade de processamento de dados em tempo real. O processamento de dados em tempo real permite insights imediatos e adaptabilidade – componentes essenciais em um setor impulsionado pelas expectativas dos clientes urgentes.
Tecnologias de streaming como o Apache Kafka surgiram para resolver os desafios criados pelo fluxo de dados em tempo real. Kafka, conhecido por sua capacidade de lidar com fluxos de dados de alto rendimento, fornece a base para ingestão e processamento de dados em tempo real. No entanto, a arquitetura do Kafka, embora robusta, muitas vezes requer componentes adicionais para transformação e processamento de dados.
Redpanda é uma implementação moderna da API Kafka posicionada como uma alternativa mais simplificada ao Kafka. Ele aborda algumas das complexidades do Kafka, fornecendo uma configuração e experiência operacional mais simples para os desenvolvedores.
Por exemplo, Redpanda Data Transforms é desenvolvido com WebAssembly (Wasm) e permite o processamento de dados no local. Isso significa que os dados podem ser limpos, transformados e preparados para modelos de aprendizado de máquina diretamente no corretor Redpanda, eliminando a necessidade de camadas adicionais de processamento de dados.
Para ilustrar o papel do Redpanda em aplicativos de aprendizado de máquina (ML) que lidam com grandes volumes de dados em tempo real, continuarei com o exemplo de um serviço de entrega de comida.
Arquitetura de como o Redpanda se encaixa em um serviço de entrega em tempo real alimentado por aprendizado de máquina (Fonte: Redpanda)
No modelo de previsão do “tempo de entrega de comida”, a arquitetura do Redpanda envolve estes componentes principais:
O diagrama a seguir ilustra o processo de configuração, que envolve várias etapas importantes.
Componentes da infra-estrutura proposta do serviço de entrega de alimentos. (Fonte: Redpanda)
Um script Python simula o fluxo contínuo de dados, imitando cenários do mundo real de atualizações frequentes de pedidos.
Um cluster Redpanda é configurado para lidar com os fluxos de dados. Isso envolve configurar o número de corretores e configurar o Console Redpanda para monitoramento.
O script Golang para transformação de dados é implantado usando o Redpanda rpk transform deploy comando. Isso garante que a lógica de transformação de dados seja aplicada uniformemente em todos os nós do intermediário.
Os dados são processados no broker da partição para a qual são enviados e o resultado é gravado diretamente na memória. (Fonte: Redpanda)
Inicie o projeto Redpanda Transforms:
Construa a transformação em um módulo WebAssembly (Wasm) e implante-a no cluster Redpanda para execução:
Implante o módulo no cluster Redpanda. Redpanda distribui o módulo implantado por todos os corretores do cluster. Essa distribuição é vital para balanceamento de carga e tolerância a falhas. Independentemente de qual corretor esteja gerenciando uma partição ou tópico específico, a lógica de transformação estará disponível para processar os dados para reduzir a latência e aumentar a eficiência, já que não há necessidade de mover dados pela rede para processamento.
O modelo de E/S do TensorFlow é treinado usando dados históricos em lote e fluxos de dados em tempo real. Essa abordagem híbrida ajuda a garantir que o modelo se beneficie da profundidade dos dados históricos e, ao mesmo tempo, permaneça ágil com atualizações em tempo real.
Wasm auxilia no pré-processamento de dados no formato desejado e os prepara para o treinamento do modelo de ML. (Fonte: Redpanda)
Para transmitir dados diretamente de tópicos Redpanda para um conjunto de dados do TensorFlow, configure o conjunto de dados para ingerir dados do tópico “dados de modelo” em um cluster Redpanda. O loop de processamento principal lida com dados em lotes: ele acumula mensagens e depois as embaralha e decodifica antes de usá-las para treinamento. Posteriormente, o modelo é treinado para uma época com cada lote e depois salvo e exportado.
A integração do Redpanda na modelagem preditiva oferece várias vantagens:
Esta abordagem, embora demonstrada através do exemplo da previsão do tempo de entrega de alimentos, tem implicações de longo alcance. Pode ser aplicado a muitos setores onde a análise de dados em tempo real é crucial, tais como mercados financeiros, monitorização de cuidados de saúde e gestão de cidades inteligentes.
Mecanismos modernos de streaming de dados, como o Redpanda, não estão apenas transformando a maneira como lidamos com os dados – eles estão remodelando o futuro dos aplicativos de ML em tempo real. À medida que continuamos a explorar e a inovar, as possibilidades são tão vastas e excitantes quanto os fluxos de dados que procuramos aproveitar.
YOUTUBE.COM/THENEWSTACK
A tecnologia avança rápido, não perca um episódio. Inscreva-se em nosso canal no YouTube para transmitir todos os nossos podcasts, entrevistas, demonstrações e muito mais.
SE INSCREVER
