Democratizando Stateful Analytics por meio de programação visual

Os principais resultados de negócios em muitos domínios implicam análise com estado — analisar cuidadosamente a sequência, a ordem e o tempo entre eventos em fluxos de eventos operacionais. Escrevendo assim consultas de análise com estado tem sido um desafio aberto de longa data. Para resolver isso, a Conviva desenvolveu uma nova plataforma sem código que democratiza a criação de análises complexas com estado usadas em vários setores.

Recentemente demonstramos nossa plataforma, SEAM-EZ, em um artigo intitulado “SEAM-EZ: Simplificando Stateful Analytics through Visual Programming”, apresentado na principal conferência internacional sobre interação humano-computador, ACM CHI 2024. SEAM-EZ significa Stateful Event Analytics Made Easy, uma ferramenta que faz com que o que costumava ser um problema complexo pareça fácil.

O que é análise com estado? Por que isso é importante?

A análise stateful sobre fluxos de eventos envolve modelar cuidadosamente a sequência, o tempo e as correlações contextuais de eventos com atributos dinâmicos. Considere estes exemplos:

Exemplo de análise de estado do domínio de fitness que requer sequência de modelagem cuidadosa, tempo e contexto do sistema ao processar fluxos de eventos.

Neste exemplo, os dados do rastreador de condicionamento físico mostram o estresse e o tipo de atividade do usuário ao longo do tempo (por exemplo, horários de início de descanso, trabalho, corrida). Queremos medir a duração do “alto estresse” quando o usuário está “trabalhando” para ajudá-lo a evitar exposição prolongada ao estresse (por exemplo, sugerindo intervalos entre reuniões).

Exemplo de análise com estado de dados de monitoramento de aplicativos.

Os desenvolvedores de aplicativos podem estar interessados ​​na experiência do usuário, como tempo de login ou tempo de carregamento, e podem querer correlacionar a experiência com a carga de back-end (por exemplo, o tempo de carregamento é alto devido à carga do servidor?).

Um exemplo simplificado de análise com estado de qualidade de vídeo de monitoramento de experiência.

Este exemplo mostra eventos de uma sessão de vídeo, como inicialização, reprodução, buffer e status da rede. Nesse caso, o provedor pode estar interessado em medir o tempo de buffer induzido pela conexão, uma métrica chave de qualidade de experiência. Essa métrica requer uma modelagem cuidadosa da sequência de eventos do usuário, ignorando o buffer durante a inicialização ou buscas do usuário e correlacionando-o com a conexão de rede (por exemplo, celular).

Um quarto exemplo: os operadores de Internet das Coisas (IoTs) estão interessados ​​em saber se os dispositivos estão em um estado de “risco prolongado”, por exemplo, alta temperatura da bateria acima de 60 Celsius e alto uso de memória, para que possam realizar manutenção proativa/preditiva.

Para entender a análise com estado, pode ser útil compará-la com a análise sem estado. Suponha que você esteja interessado no número total de eventos “vermelhos” no gráfico que mostra o buffer induzido pela conexão ao usar dados de celular. Esta medição será a mesma independentemente da sequência entre os eventos vermelhos e verdes, da diferença de tempo entre as ocorrências dos eventos e do valor atual da carga do servidor.

Na análise sem estado, você pode visualizar logicamente os dados como um “saco de eventos”, já que cálculos simples como total e média são “sem estado”. Em contraste, a análise de estado envolve modelar cuidadosamente o tempo, a sequência e a ordem para calcular métricas, como o tempo entre eventos, quanto tempo durou algo ou o que aconteceu “quando” ou “antes” de um evento acontecer.

Apátrida vs. eventos com estado

Por que a análise com estado é difícil?

No entanto, criar métricas com estado em ambientes reais é um desafio, em parte devido à complexidade dos processos de modelagem que evoluem ao longo do tempo. Cientistas e engenheiros de dados geralmente precisam escrever e depurar consultas SQL complicadas para métricas com estado, como mostrado na figura abaixo. Ninguém espera que os leitores leiam este código. Esse é o principal desafio: a análise com estado geralmente envolve desenvolvimento significativo e complexidade de depuração.

Exemplo de código SQL para análise de estado do exemplo de aptidão acima

Democratizando a análise de eventos com estado por meio de programação visual

Nosso objetivo geral é simplificar o processo complexo e demorado de criação de métricas com estado. Para fazer isso, combinamos a estrutura TimeState da Conviva com programação visual para democratizar o problema de análise com estado.

A estrutura TimeState introduz uma abstração geométrica intuitiva de “linha do tempo” para manipular fluxos de eventos complexos para criar métricas com estado em escala. Essa estrutura é uma mudança de paradigma que permite análises com estado em escala. Um benefício igualmente importante do TimeState é que ele permite uma interface de programação visual simples e fácil de usar para análises com estado.

O que é programação visual?

A programação visual (VP), ou o uso direto de elementos visuais (por exemplo, blocos, linhas) para a construção de programas de computador, foi proposta por William Robert Sutherland na década de 1960. Desde então, tem havido uma ampla gama de aplicações VP para vários domínios.

VP foi uma ideia poderosa para diminuir a barreira da programação de computadores. Uma ferramenta VP amplamente utilizada é o Scratch, que permite às crianças “escrever” programas de computador usando elementos visuais como blocos. Também vemos o uso emergente do VP no domínio de aplicativos de aprendizado de máquina, como o sistema Google Visual Blocks.

Interface de usuário Scratch, criada pelo MIT

Fomos inspirados por esses sucessos anteriores do VP em diferentes domínios e decidimos aproveitar o VP para democratizar a criação de análises com estado usando uma abordagem sem código, em vez da típica abordagem SQL complexa.

Qual é o próximo?

A recepção positiva que o SEAM-EZ recebeu na CHI 2024 representa mais um passo em nossa jornada de inovação. Continuamos a aperfeiçoar as nossas ferramentas para satisfazer as necessidades sofisticadas dos utilizadores, adaptar-nos a novos desafios e manter a nossa liderança na democratização da análise com estado para casos de utilização operacionais.

Prevemos que as bases por trás do SEAM-EZ remodelarão o cenário da análise de dados operacionais, simplificando processos complexos e tornando ferramentas de alto nível acessíveis a um público mais amplo.

Para obter mais informações sobre SEAM-EZ e sua interface de usuário (IU) simples de arrastar e soltar, assista ao vídeo a seguir.

A postagem Democratizando Stateful Analytics por meio de programação visual apareceu pela primeira vez em The New Stack.