Plataformas internas para desenvolvedores: ajudando as equipes a limitar o escopo
31 de janeiro de 2024Habilitando IA em aplicativos IoT com um banco de dados Cloud-to-Edge
31 de janeiro de 2024O cenário manufatureiro evoluiu irreconhecível desde a Revolução Industrial. Antigamente, aqueles com mais mão de obra ou a maior frota de máquinas detinham a maior parte do mercado. Avançando até hoje, as máquinas não são mais o centro das atenções na fabricação – mas sim os dados que elas produzem.
O surgimento da Internet das Coisas (IoT), da análise de Big Data e da computação em nuvem mudou o paradigma de produção de processos intensivos em mão-de-obra para fábricas automatizadas orientadas por dados. As empresas que aproveitam os dados para compreender, operacionalizar e controlar máquinas ganham uma forte vantagem competitiva no mercado com inovação contínua, eficiência e redução de custos.
Como um empurrãozinho útil nessa direção, vejamos uma arquitetura de referência para cargas de trabalho da Internet das Coisas Industrial (IIoT) que pode ser implementada com eficiência em fábricas. Mas primeiro, vamos entrar na mesma página sobre o que a IIoT envolve.
Indústria 4.0 e IIoT
Embora o termo IoT abranja uma ampla gama de aplicações em vários setores, a IIoT concentra-se especificamente na integração de dispositivos inteligentes e análises avançadas no setor industrial para melhorar a eficiência, a produtividade e as operações gerais. Por exemplo, na indústria de manufatura, os sensores IIoT são comumente usados para capturar dados sobre o desempenho da máquina para prever falhas de equipamentos e automatizar o controle de qualidade em tempo real.
O impacto da IIoT não pode ser subestimado e as evidências continuam a fortalecer-se a seu favor. Um estudo da McKinsey, por exemplo, revelou que a manutenção preditiva baseada na IoT pode reduzir o tempo de inatividade em 45% e reduzir os custos em até 30%. Posteriormente, a IIoT continua a transformar rapidamente a produção de uma indústria focada em máquinas para uma indústria focada em dados. Esta mudança deve-se em grande parte à introdução de três pilares:
- Conectividade: IIoT envolve conectar dispositivos, equipamentos e sistemas industriais a uma infraestrutura de rede, permitindo que eles se comuniquem entre si. Essa conectividade permite a coleta e compartilhamento de dados em tempo real.
- Coleta e análise de dados: Os dispositivos IIoT geram e coletam grandes quantidades de dados. Esses dados podem ser analisados usando ferramentas analíticas avançadas para extrair insights valiosos, otimizar processos e tomar decisões baseadas em dados.
- Automação e controle: A IIoT permite a automação conectando sensores, atuadores e outros dispositivos a sistemas de controle. Isso pode levar a um controle mais eficiente e preciso dos processos industriais.
Uma arquitetura de referência para IoT industrial
A IIoT é um domínio generoso que compreende várias subseções, portanto, os fabricantes que implementam uma arquitetura de IIoT devem ter uma visão clara do cenário para ajudar a controlar o custo e a complexidade de longo prazo de seus projetos de IIoT.
Para esse fim, apresentamos a seguinte arquitetura de referência para aplicações IIoT que usam streaming de dados para tomadas de decisão rápidas e orientadas por dados.
A tabela a seguir resume os principais componentes desta solução e suas responsabilidades.
Componente | Rolar |
Dispositivos controladores lógicos programáveis (PLC) e sensores IoT em máquinas | Emitir dados de telemetria |
Aglomerado Redpanda | Ingestão de dados de telemetria e fluxos de trabalho orientados a eventos |
Cluster Apache Flink | Para processamento de fluxo com estado e streaming ETL (extrair, transformar, carregar) |
Modelos de aprendizado de máquina | Para análise preditiva de dados de telemetria |
Banco de dados de série temporal | Monitoramento de equipamentos e execução de diagnósticos |
Mecanismos de fluxo de trabalho | Acione fluxos de trabalho de negócios automatizados implantados |
Lagos de dados e armazéns | Mantém dados industriais frios que podem ser usados para experimentação e otimização de processos |
Aplicativos de linha de negócios | Sistemas de negócios internos, como estoque, cadeia de suprimentos, etc. |
Antes de explorar cada componente em detalhes, permita-me apresentar o Redpanda, que serve como um hub que conecta o fluxo de dados entre diferentes componentes.
Redpanda como hub central de dados
Redpanda é uma plataforma de streaming de dados simples, poderosa e econômica que é totalmente compatível com APIs Apache Kafka, eliminando a complexidade usual do Kafka. Projetado para ser um “botão fácil para streaming de dados”, o Redpanda é livre de dependências externas (como JVM ou KRaft) e vem com uma interface de linha de comando (CLI) amigável e uma interface de usuário da web (UI) rica que simplifica muito trabalhando com dados em tempo real.
Então, por que usar o Redpanda em uma arquitetura IIoT? A coleta de dados de fluxos de alto volume em um local central permite que aplicativos downstream os consumam com eficiência em um único local, sem canais de integração ponto a ponto.
Como um hub de dados central para esses fluxos de dados, o Redpanda permite a ingestão escalonável de dados em tempo real de máquinas e fornece retenção durável de dados até que os aplicativos downstream os consumam. Também dissocia os produtores de dados dos consumidores, permitindo-lhes escalar e evoluir de forma independente.
O design enxuto e econômico do Redpanda consome um terço dos recursos de alternativas baseadas em JVM, como Kafka. Essa infraestrutura enxuta é particularmente útil para fábricas que precisam implantar soluções de streaming de dados em tempo real em ambientes com recursos limitados, como dispositivos de borda. Além disso, o Tiered Storage da Redpanda descarrega dados mais antigos em armazenamentos de objetos em nuvem simplificados, como o Amazon S3, reduzindo significativamente os custos de retenção de dados de telemetria.
Agora que entendemos o cerne da nossa arquitetura, vamos ver como os componentes circundantes contribuem para os três pilares da IIoT.
Conectividade e Comunicação
O primeiro passo em um ambiente habilitado para IIoT é estabelecer interfaces de comunicação com as máquinas. Nesta etapa, existem dois objetivos principais: ler dados de máquinas (telemetria) e gravar dados em máquinas (controle e automação)
As máquinas em uma fábrica podem ter interfaces de comunicação legadas/proprietárias e sensores IoT modernos. A maioria das máquinas industriais hoje são operadas por controladores lógicos programáveis (CLP). Um PLC é um computador industrial robusto e adaptado para controlar processos de fabricação – como linhas de montagem, máquinas e dispositivos robóticos – ou qualquer atividade que exija alta confiabilidade, facilidade de programação e diagnóstico de falhas de processo.
No entanto, os PLCs fornecem interfaces de conectividade limitadas com o mundo externo através de protocolos como HTTP e MQTT, restringindo leituras de dados externos (para telemetria) e escritas (para controle e automação). O Apache PLC4X preenche essa lacuna fornecendo um conjunto de abstrações de API sobre protocolos PLC proprietários e legados.
PLC4X é um adaptador de protocolo universal de código aberto para dispositivos IIoT que permite a comunicação através de protocolos incluindo, entre outros, Siemens S7, Modbus, Allen Bradley, Beckhoff ADS, OPC-UA, Emerson, Profinet, BACnet e Ethernet. A maior vantagem do PLC4X é que ele fornece um conector Kafka Connect. Isso permite que os aplicativos leiam e gravem em dispositivos PLC como se estivessem usando bancos de dados sobre JDBC.
Além dos CLPs, as máquinas modernas também são equipadas com sensores IoT que se comunicam através do protocolo MQTT, possibilitando o uso de coletores MQTT e conectores de origem para troca de dados.
Coleta e análise de dados
Independentemente do mecanismo de comunicação utilizado acima, os dados coletados das máquinas são ingeridos no Redpanda em tempo real para consumo downstream. Esses dados de telemetria carregam um rico conjunto de informações, como:
- Métricas operacionais – Duração do tempo de funcionamento (o tempo total que a máquina esteve em operação), tempos de início e parada
- Métricas de desempenho – Velocidade e rotações por minuto (RPM), rendimento e eficiência
- Métricas de saúde – Níveis de temperatura, pressão, vibração e ruído
- Utilização de recursos – Consumo de energia, uso de materiais
- Falhas e alarmes – Códigos de erro e mensagens de aviso
Após a ingestão no Redpanda, os feeds de dados de telemetria devem ser limpos e normalizados para produzir os formatos de saída esperados pelos aplicativos downstream. Isto envolve filtragem de eventos, transformação de protocolo, enriquecimento e agregação para análise. Um processador de fluxo com estado, como o Flink, pode ser empregado para essa finalidade, pois fornece integração nativa com o Redpanda como fonte de dados.
Os dados processados podem então ser ingeridos em um banco de dados de série temporal, como InfluxDB ou Prometheus, para processamento de série temporal, visualização e análise interativa. Isso inclui casos de uso de análise em tempo real como:
- Monitoramento remoto de equipamentos: Monitoramento de dados de telemetria para detectar e responder a falhas ou anormalidades em tempo real. Isto minimiza o impacto das falhas, acionando alertas e permitindo uma intervenção rápida.
- Manutenção preditiva: Análise de dados de telemetria em tempo real para detectar anomalias ou padrões que indiquem possíveis falhas no equipamento. Isto permite a manutenção proativa, reduz o tempo de inatividade e prolonga a vida útil das máquinas.
- Otimização energética: Monitoramento contínuo do consumo de energia com base em dados de telemetria em tempo real para identificar oportunidades de economia de energia e otimizar a utilização de recursos.
Ao mesmo tempo, os feeds de dados de telemetria podem ser roteados para destinos como data warehouses e data lakes para casos de uso off-line, como relatórios regulatórios, exploração ad hoc e cargas de trabalho de aprendizado de máquina. Esses casos de uso incluem, mas não estão limitados ao uso de dados históricos de telemetria para:
- Treinamento de modelos de aprendizado de máquina (ML) para manutenção preditiva ou detecção de anomalias.
- Análise de causa raiz para determinar as causas raízes da falha.
- Análise histórica de desempenho para identificar tendências, padrões e benchmarks de desempenho.
- Relatórios regulatórios para gerar relatórios para conformidade com as regulamentações do setor.
Conectores de coletor apropriados implantados no Kafka Connect podem rotear a ingestão de dados de telemetria para o Redpanda Cloud, que fornece conectores de coletor integrados para destinos como Amazon Web Services (AWS) S3, Google Cloud Storage, Google BigQuery, Snowflake e muitos mais.
Automação e Controle
A automação e o controle remoto das operações das máquinas aumentam a eficiência do chão de fábrica, eliminando operações que exigem intervenção humana manual.
Dispositivos IIoT podem publicar eventos em tópicos Redpanda, acionando respostas automatizadas e ações de controle em tempo real. Os eventos publicados em um tópico de controle no Redpanda podem acionar processos de negócios implantados em mecanismos de fluxo de trabalho com estado, como Camunda, jBPM e Activiti.
Isso permite um fluxo contínuo de dados entre dispositivos IIoT e aplicativos de linha de negócios para implementar casos de uso, como:
- Controle remoto de máquinas: As máquinas implantadas em ambientes de trabalho perigosos podem ser controladas e monitoradas remotamente por meio de dispositivos IIoT conectados. Dessa forma, os humanos podem ser totalmente poupados de danos potenciais.
- Automação de chão de fábrica: Os processos de produção podem ser programados, controlados e monitorados para reduzir a intervenção manual. Por exemplo, quando o uso de matéria-prima atinge um determinado limite, os pedidos de compra podem ser enviados automaticamente para reposição de estoque.
Da Arquitetura de Referência ao Sistema Industrial Robusto
Os fabricantes com sistemas IIoT implementados ou que planeiam adotar a IIoT podem utilizar esta arquitetura de referência como um modelo para impulsionar a inovação, a adaptabilidade e a melhoria contínua no cenário industrial. No entanto, levá-los do papel à prática depende da configuração dos dados de streaming e dos recursos disponíveis para executá-los.
Redpanda fornece uma plataforma poderosa e facilmente escalonável para lidar com dados de telemetria em tempo real gerados por dispositivos IIoT – e está disponível como um serviço de nuvem totalmente gerenciado ou uma plataforma auto-hospedada.
Para movimentar seus dados IIoT, experimente o Redpanda gratuitamente ou obtenha o Community Edition no GitHub.
A postagem Arquitetura para cargas de trabalho de IoT industrial: um plano apareceu pela primeira vez em The New Stack.