O segredo para tornar a análise de dados tão transformadora quanto a IA generativa

Apresentado por SQream

Os desafios da IA ​​aumentam à medida que ela avança: demandas de preparação de dados, grandes conjuntos de dados e qualidade de dados, perda de tempo de consultas de longa duração, processos em lote e muito mais. Neste VB Spotlight, William Benton, principal arquiteto de produtos da NVIDIA, e outros explicam como sua organização pode descomplicar o que é complicado hoje.

Assista gratuitamente sob demanda!

O crescente poder transformador da IA ​​é prejudicado por um desafio muito terreno: não apenas a complexidade dos processos analíticos, mas o tempo interminável que leva desde a execução de uma consulta até o acesso ao insight que você procura.

“Todo mundo trabalhou com painéis que possuem um pouco de latência integrada”, diz Deborah Leff, diretora de receita da SQream. “Mas você chega a alguns processos realmente complexos onde agora você espera horas, às vezes dias ou semanas, para que algo termine e chegue a um insight específico.”

Neste recente evento VB Spotlight, Leff foi acompanhado por William Benton, principal arquiteto de produtos da NVIDIA, e pelo cientista de dados e jornalista Tianhui “Michael” Li, para falar sobre as maneiras pelas quais organizações de qualquer tamanho podem superar os obstáculos comuns para aproveitar o poder do análise de dados em nível empresarial — e por que um investimento nas poderosas GPUs atuais é crucial para aumentar a velocidade, a eficiência e os recursos dos processos analíticos e levará a uma mudança de paradigma na forma como as empresas abordam a tomada de decisões baseada em dados.

A aceleração da análise empresarial

Embora haja um enorme entusiasmo em torno da IA ​​generativa e ela já esteja tendo um impacto poderoso nas organizações, a análise de nível empresarial não evoluiu tanto no mesmo período.

“Muitas pessoas ainda enfrentam problemas de análise com as mesmas arquiteturas”, diz Benton. “Os bancos de dados tiveram muitas melhorias incrementais, mas não vimos essa melhoria revolucionária que afeta os profissionais comuns, analistas e cientistas de dados na mesma medida que vemos com alguns desses problemas de percepção na IA, ou pelo menos eles têm. não capturou a imaginação popular da mesma maneira.”

Parte do desafio é a incrível perda de tempo, diz Leff, e as soluções para esses problemas têm sido proibitivas até agora.

Adicionar mais recursos de hardware e computação na nuvem é caro e acrescenta complexidade, diz ela. Uma combinação de inteligência (CPU) e força (GPUs) é o que é necessário.

“A GPU que você pode comprar hoje seria inacreditável do ponto de vista da supercomputação há 10 ou 20 anos”, diz Benton. “Se você pensar em supercomputadores, eles são usados ​​para modelagem climática, simulações físicas – grandes problemas científicos. Nem todo mundo tem grandes problemas científicos. Mas essa mesma enorme quantidade de capacidade computacional pode ser disponibilizada para outros casos de uso.”

Em vez de apenas ajustar as consultas para economizar alguns minutos, as organizações podem reduzir o tempo que leva todo o processo analítico, do início ao fim, aumentando a velocidade da rede, de ingestão, consulta e apresentação de dados.

“O que está acontecendo agora com tecnologias como SQream, que estão aproveitando GPUs junto com CPUs para transformar a maneira como as análises são processadas, é que elas podem aproveitar a mesma imensa força bruta e poder que as GPUs trazem para a mesa e aplicá-las às análises tradicionais. O impacto é uma ordem de grandeza.”

Acelerando o ecossistema da ciência de dados

Os data lakes não estruturados e não governados, muitas vezes construídos em torno do ecossistema Hadoop, tornaram-se a alternativa aos data warehouses tradicionais. Eles são flexíveis e podem armazenar grandes quantidades de dados semiestruturados e não estruturados, mas exigem uma preparação extraordinária antes da execução do modelo. Para enfrentar o desafio, a SQream recorreu à potência e aos recursos de alto rendimento da GPU para acelerar os processos de dados em toda a carga de trabalho, desde a preparação dos dados até os insights.

“O poder das GPUs permite analisar quantos dados quiserem”, diz Leff. “Sinto que estamos tão condicionados – sabemos que o nosso sistema não consegue lidar com dados ilimitados. Não posso simplesmente pegar um bilhão de linhas se quiser e olhar mil colunas. Eu sei que tenho que limitar isso. Eu tenho que provar e resumir. Tenho que fazer todo tipo de coisa para chegar a um tamanho que seja viável. Você desbloqueia isso completamente por causa das GPUs.”

RAPIDS, o conjunto de código aberto de ciência de dados acelerada por GPU e bibliotecas de IA da Nvidia também acelera o desempenho em ordens de magnitude em escala em pipelines de dados, aproveitando o paralelismo massivo que agora é possível e permitindo que as organizações o apliquem para acelerar a ciência de dados Python e SQL ecossistemas, adicionando enorme poder às interfaces familiares.

Desbloqueando novos níveis de insights

Mas não se trata apenas de tornar essas etapas individuais do processo mais rápidas, acrescenta Benton.

“O que torna um processo lento? É a comunicação através das fronteiras organizacionais. É até comunicação entre as mesas das pessoas. É a latência e a velocidade dos ciclos de feedback”, diz ele. “Esse é o benefício interessante de acelerar a análise. Se observarmos como as pessoas interagem com um mainframe, podemos melhorar drasticamente o desempenho reduzindo a latência quando o computador fornece respostas ao ser humano e a latência quando o ser humano fornece instruções ao computador. Obtemos um benefício super linear ao otimizar ambos os lados.”

Atingir velocidades de resposta inferiores a um segundo significa que as respostas são retornadas imediatamente e os cientistas de dados permanecem no estado de fluxo, permanecendo tão criativos e produtivos quanto possível. E se pegarmos nesse mesmo conceito e aplicá-lo ao resto da organização, na qual uma vasta gama de líderes empresariais tomam decisões todos os dias, que geram receitas, reduzem custos e evitam riscos, o impacto é profundo.

Com as CPUs como o cérebro e as GPUs como a força bruta, as organizações são capazes de aproveitar todo o poder de seus dados – consultas que antes eram muito complexas e que consumiam muito tempo tornam-se subitamente possíveis e, a partir daí, tudo é possível. Leff diz.

“Para mim, esta é a democratização da aceleração que muda o jogo”, diz ela. “As pessoas são limitadas pelo que sabem. Mesmo do lado comercial, um líder empresarial que está tentando tomar uma decisão — se a equipe de arquitetura disser, sim, você levará oito horas para obter essas informações, nós aceitamos isso. Mesmo que isso possa levar oito minutos.”

“Estamos presos a esse padrão com muitas análises de negócios, dizendo: sei o que é possível porque tenho o mesmo banco de dados que uso há 15 ou 20 anos”, diz Benton. “Projetamos nossos aplicativos em torno dessas suposições que não são mais verdadeiras devido à aceleração à qual tecnologias como SQream estão democratizando o acesso. Precisamos colocar a fasquia um pouco mais alta. Precisamos dizer: ei, eu costumava pensar que isso não era possível porque essa consulta não era concluída depois de duas semanas. Agora termina em meia hora. O que devo fazer com meu negócio? Que decisões eu deveria tomar e que não pude tomar antes?”

Para saber mais sobre o poder transformador da análise de dados, incluindo uma análise da economia de custos, um mergulho no poder e no insight que são possíveis para as organizações agora e muito mais, não perca este VB Spotlight.

Assista sob demanda agora!

Agenda

• Tecnologias para reduzir drasticamente o tempo de lançamento no mercado para inovação de produtos
• Aumentando a eficiência dos sistemas de IA e ML e reduzindo custos, sem comprometer o desempenho
• Aprimorando a integridade dos dados, simplificando fluxos de trabalho e extraindo o máximo valor dos ativos de dados
• Soluções estratégicas para transformar a análise de dados e inovações que impulsionam os resultados dos negócios

Caixas de som:

• Willian Bentonarquiteto principal de produto, NVIDIA
• Débora LeffDiretor de Receita, SQream
• Tianhui “Michael” Licontribuidor de tecnologia, VentureBeat (moderador)