Ocient dimensiona data warehouse em hiperescala para aprendizado de máquina

Existe o big data, e existe realmente o big data, onde pode haver trilhões de linhas de dados. Esse é o espaço onde a Ocient, sediada em Chicago, está com sua tecnologia de data warehouse em hiperescala.

Hoje, a empresa anunciou uma série de novos recursos que expandem a plataforma de dados em hiperescala para análise de dados geoespaciais, bem como aprendizado de máquina (ML) e inteligência artificial (IA). Incorporado ao produto Hyperscale Data Warehouse da Ocient, o novo recurso OcientGeo fornece uma extensa biblioteca de funções geoespaciais e um índice espacial globalmente otimizado. Com o OcientGeo, as empresas agora podem ingerir e processar grandes volumes de dados geoespaciais históricos e em tempo real para gerar insights acionáveis. As ferramentas integradas de ML permitem que as empresas acelerem ainda mais as iniciativas de IA geoespacial.

A Ocient promete o uso de armazenamento e processamento altamente otimizados para poder lidar com requisitos de dados em hiperescala, sem a necessidade de usar GPUs.

“Nosso foco são cargas de trabalho em hiperescala e eu diria que o número médio de elementos que são analisados ​​em uma consulta Ocient média, seja SQL, aprendizado de máquina ou geoespacial, é da ordem de provavelmente uma média de um trilhão de coisas”, disse CEO da Ocient. Chris Gladwin disse ao VentureBeat.

A análise de dados em hiperescala trata de fluxo, não de GPUs

Para muitas formas de casos de uso de computação acelerada hoje, as organizações irão recorrer ao uso de GPUs para ajudar a melhorar o desempenho. No entanto, esse não é o caminho que a Ocient está seguindo para habilitar seu data warehouse.

“Todo o tipo de ingrediente secreto para fazer isso realmente funcionar é um nível de paralelização que é simplesmente extremo”, disse Gladwin. “Não é nada incomum que em cada camada da pilha haja um milhão de tarefas paralelas em andamento ou mais.”

Para permitir a paralelização massiva do data warehouse, Gladwin disse que tudo se resume a fluxo. Ele explicou que com algoritmos de aprendizado de máquina para clustering, regressão e classificação, as operações computacionais reais em uma CPU não são o gargalo. Em vez disso, o gargalo geralmente é a densidade de computação, pois é necessário ter mais poder de computação para cada terabyte de dados.

Gladwin disse que o desafio é obter rendimento suficiente em toda a pilha de computação, incluindo armazenamento e memória. Esse desafio está na base da diferenciação técnica da Ocient, já que a empresa desenvolveu tecnologia para otimizar memória e sistemas rápidos de armazenamento de dados baseados em unidades de estado sólido (SSD).

“Nossos engenheiros adorariam trabalhar em GPUs, elas são muito legais, mas simplesmente não encontramos uma necessidade”, disse Gladwin.

Crédito da imagem: Ocient/OcientML

Aprendizado de máquina em hiperescala com OcientML

O data warehouse da Ocient começou com consultas de dados SQL. A mesma arquitetura que permite consultas analíticas rápidas em conjuntos de dados massivos também está na base do OcientML e dos recursos do OcientGeo.

Gladwin disse que as mesmas vantagens de desempenho em hiperescala, análise em tempo real e carregamento de dados que a Ocient oferece para cargas de trabalho SQL estão agora disponíveis para ML. Ele disse que o OcientML permite que os clientes façam aprendizado de máquina em conjuntos de dados com bilhões, centenas de bilhões ou trilhões de pontos de dados em um nível de desempenho de preço melhor do que as alternativas. Também inclui recursos como gerenciamento de carga de trabalho para garantir acesso justo aos recursos em diferentes consultas e análises executadas em hiperescala. O OcientML integra a pilha de ML diretamente no Ocient Hyperscale Data Warehouse, eliminando a necessidade de extrair, transformar e carregar dados em uma plataforma separada.

Os benefícios do OcientML incluem maior precisão do modelo, permitindo interação total com dados históricos e atuais, iteração mais rápida, removendo etapas de movimentação de dados, e operações simplificadas, gerenciando SQL e ML em um sistema.

O recurso OcientGeo segue um padrão semelhante ao OcientML, pois faz parte do núcleo do Ocient Hyperscale Data Warehouse e se beneficia da paralelização massiva da plataforma. Gladwin observou que com o OcientGEO, os clientes podem realizar consultas, análises e funções geoespaciais em enormes conjuntos de dados diretamente na plataforma Ocient, sem precisar primeiro extrair grandes quantidades de dados. Isso permite que consultas e análises envolvendo trilhões de pontos de dados com componentes geoespaciais sejam executadas em segundos e em grande escala.

“Ainda estamos começando a jornada para possibilitar todos esses novos usos que só podem ser possibilitados tornando o preço e o desempenho da análise em hiperescala 10 vezes ou mais melhores”, disse Gladwin.