Logotipo da Datarios
Se algo der errado em um sistema de streaming de dados, as correções deverão ser feitas o mais rápido possível. Afinal, os dados continuarão fluindo até que o problema seja resolvido.
Para esse fim, uma start-up com sede em Tel Aviv lançou uma plataforma de observabilidade para Apache Flink – uma plataforma de streaming de dados que está ganhando adoção graças à sua capacidade de realizar processamento em tempo real e em lote.
A plataforma de observabilidade de dados Datorios para Apache Flink fornece uma visão dos dados à medida que são transformados dentro do próprio Flink, facilitando o processo de desenvolvimento, solução de problemas e auditoria.
Disponível como serviço em nuvem, a plataforma agora pode ser testada gratuitamente.
O Apache Flink pode processar centenas de milhares de pontos de dados em um segundo, mas permanece uma espécie de caixa preta quando se trata de observabilidade.
“O Flink é uma solução incrível para processamento de dados, mas não tem a capacidade de dar ao usuário uma boa observabilidade do que está acontecendo nos bastidores”, disse Ronen Korman, CEO e cofundador da Datorios, em entrevista ao TNS. .
Isso se aplica tanto à forma como o Flink processa os dados quanto à forma como a infraestrutura oferece suporte à ingestão de dados.
O Flink processa fluxos de dados por meio de operadores, e o Datorios pode mostrar como os dados estão sendo executados por meio do operador, oferecendo ao desenvolvedor uma visão sobre o estado atual da instância do operador. Essas informações também estão correlacionadas com o uso de CPU e memória do host.
Os Datorios podem registrar dados recebidos, para que possam ser reproduzidos para inspeção passo a passo. Ele também fornece uma camada de depuração para verificar seu código de processamento de dados.
De acordo com os materiais de imprensa do Datorios, o serviço pode fazer tudo isso:
Como muitas start-ups de TI em Israel, a Datorois, com sede em Tel Aviv, nasceu da experiência militar. Korman e os outros cofundadores Asaf (Pizzer) Cohen, Idan Shchori e Avi Hadad tiveram a ideia da tecnologia enquanto cumpriam pena no exército.
Israel tem “o desafio de recrutar jovens de 18 anos para o serviço militar”. Você deseja que eles sejam produtivos muito rapidamente, disse Korman. As ferramentas de observabilidade eram uma forma de dar aos recrutas “a capacidade de aprender o trabalho tecnológico de uma forma que o tornasse muito, muito eficiente”.
O streaming de dados em tempo real tem um futuro brilhante, disse Korman. Por um lado, os aplicativos interativos de IA generativos exigem processamento de dados em tempo real. Não é de surpreender que o Datorois tenha suporte para Python, uma linguagem favorita dos cientistas de dados que escrevem pipelines de dados.
O Flink é particularmente valioso para essas cargas de trabalho devido à sua natureza de uso duplo de suporte à programação em lote e streaming em tempo real, para que os cientistas de dados possam testar cada abordagem, procurando maneiras de passar do lote para um streaming mais rápido, disse Korman.
Datorois é executado como um serviço de software. A cópia do Flink do usuário são coletores de dados instrumentados que enviam as informações necessárias de volta ao serviço. Os usuários podem então usar a interface gráfica como uma “segunda tela”, além de seu ambiente primário de edição de código.
Por enquanto, os usuários podem utilizar o serviço gratuitamente, para que a empresa tenha uma ideia melhor de como o serviço seria utilizado de forma mais produtiva. Com o tempo, os preços comerciais serão introduzidos.
Além de Tel Aviv, a Datarios possui um escritório em Palo Alto, CA. A empresa é financiada pela Grove Ventures e Eclipse Ventures.
YOUTUBE.COM/THENEWSTACK
A tecnologia avança rápido, não perca um episódio. Inscreva-se em nosso canal no YouTube para transmitir todos os nossos podcasts, entrevistas, demonstrações e muito mais.
SE INSCREVER
