Alluxio lança plataforma empresarial para aplicativos generativos de IA

Alluxio, uma empresa cujas raízes remontam ao projeto de código aberto Tachyon de 2014 no AMPLab da UC Berkeley, lançou sua plataforma Alluxio Enterprise AI (AEAI), voltada especificamente para aprendizagem profunda e aplicações de IA generativas. A nova plataforma é executada sobre a já estabelecida Alluxio Data Platform, adicionando otimizações para recursos de GPU e bibliotecas específicas de aprendizado de máquina (ML) e aprendizado profundo.

Começos sérios chegam ao destino da IA

Embora a Alluxio Data Platform original sempre parecesse uma plataforma de virtualização de dados, ela é, na verdade, bastante diferente da maioria das plataformas com esse rótulo. Como Adit Madan, diretor de gerenciamento de produtos da Alluxio, disse ao The New Stack em um briefing: “Temos capacidades diferentes… incluindo um cache distribuído e acesso global aos dados, não importa de onde os dados venham.” Ele continuou: “Isso é relevante (…) para pessoas que começaram a adotar uma nuvem híbrida e vários armazenamentos de objetos (…) para pessoas com uma estratégia multicloud.”

Mais informações: Alluxio fornece armazenamento distribuído em velocidades in-memory

Madan explicou que o Alluxio Enterprise AI segue o exemplo nesse aspecto, mas com foco especial no aprendizado profundo e no treinamento de modelos em larga escala. Ele fornece otimizações para ML e bibliotecas de aprendizagem profunda, como Spark, PyTorch e TensorFlow, e oferece E/S de alto desempenho em armazenamento comum, usando a nova Arquitetura de Repositório de Objetos Descentralizados (DORA) da Alluxio. A DORA funciona no armazenamento de objetos em nuvem (ajudando os clientes a evitar cobranças de saída no processo) e em plataformas de armazenamento local de código aberto e comerciais, como o Hadoop Distributed File System (HDFS) e o Minio. DORA também oferece otimizações específicas de carga de trabalho para treinamento e análise de ML. Outros recursos incluem um operador Kubernetes e pré-carregamento de dados para implantação rápida de modelo, que, segundo Alluxio, pode reduzir o tempo de implantação de produção em 2 a 3x.

Fluxo de processo do Alluxio Enterprise AI para treinamento e inferência de modelos de IA.

Ao fazer tudo isso, o Alluxio Enterprise AI tem o poder de acelerar pipelines de IA ponta a ponta, incluindo aqueles para grandes modelos de linguagem (LLMs), processamento de linguagem natural e visão computacional. O Alluxio pode lidar com pipelines complexos nesse sentido, que podem incluir, por exemplo, trabalhos combinados de treinamento em nuvem e no local, usando dados em armazenamento de objetos em nuvem e HDFS, bem como a implantação de modelos novos e atualizados na nuvem, para atender solicitações de inferência ( chamadas para modelos treinados em produção) de aplicativos downstream.

Otimização de GPU

Por extensão, porém, a AEAI faz mais do que acelerar o desempenho; também otimiza o uso de GPUs (unidades de processamento gráfico, os chips especializados que alimentam cargas de trabalho exigentes de IA). O segredo para isso é o conhecimento não apenas das múltiplas plataformas de fontes de dados, mas também das bibliotecas de ML e Deep Learning que acessam os dados. Como disse Madan: “Estamos totalmente integrados com as aplicações de computação no topo, por isso temos conhecimento, por exemplo, dos programas PyTorch e, dentro disso, existe o conceito de DataLoader, que é responsável pelo I/O acesso. Com base nisso, somos capazes de detectar de forma inteligente o que será acessado e quando será acessado, para nos conectarmos perfeitamente a essa infraestrutura para fornecer esse benefício.”

Confira:

• O guia definitivo para estruturas de aprendizado de máquina
• PyTorch leva IA/ML de volta à sua pesquisa, raízes de código aberto

Alluxio afirma que sua plataforma AEAI pode reduzir a porcentagem de tempo de execução de treinamento gasto no DataLoader do PyTorch de mais de 80% para menos de 2%, resultando em taxas de utilização de GPU saltando de 20% ou menos para até 90% ou mais. Alluxio Enterprise AI pode até treinar em GPUs baseadas em nuvem usando dados de treinamento locais. Como as GPUs são caras e podem ser escassas dentro de uma determinada organização, esta acaba sendo uma abordagem muito estratégica. A otimização do uso da GPU pode reduzir custos para inferência de modelos de IA, além de treinamento, mas Madan diz que o principal benefício da otimização de GPU é a maior capacidade que ela oferece, permitindo mais experimentação e treinamento de mais modelos.

Dividendo LLM

Isso já é muito, mas há mais um benefício, específico para o contexto de IA generativa: a plataforma Alluxio Enterprise AI, segundo a empresa, também pode acelerar o ajuste fino de modelos básicos pré-treinados. O processo de ajuste fino é o que permite que um LLM generalizado seja adaptado aos dados e contexto específicos de uma organização específica. É, na verdade, um passe de treinamento personalizado que é fundamental para tornar os LLMs úteis em ambientes empresariais.

Com esses novos recursos implementados, a Alluxio se deparou com um caso de uso para a arquitetura e abordagem de IA de sua plataforma de dados que, para alguns, será mais crítico do que os benefícios de acesso a dados que ela oferece. Agora, em vez de uma camada de cache e aceleração de consulta e análise que alguns confundem com uma plataforma de virtualização de dados, o Alluxio Enterprise AI é uma camada de processamento que torna o aprendizado de máquina, o aprendizado profundo e o treinamento, inferência e ajuste LLM muito mais pragmáticos e econômicos para ambos. organizações empresariais e organizações menores e sensíveis aos custos.

Levando a IA à escala empresarial

É difícil prever se a AEAI dará ao Alluxio maior tração no mercado. Mas mesmo que isso não aconteça, a abordagem é louvável e poderá criar um novo paradigma nas plataformas de IA. As empresas não podem simplesmente seguir em frente combinando serviços de nuvem de IA e camadas de análise de dados para todos os fins. Em vez disso, necessitam de plataformas que eliminem as camadas supérfluas de processamento, cálculo e utilização de recursos que podem surgir destas abordagens confusas. Essa é a única maneira de aumentar a escala da IA, e a IA não pode se tornar onipresente e pragmática sem essa escala.

A nuvem pode ser um local econômico para armazenar as massas de dados necessárias para treinar os modelos de IA atuais, mas pode ser um local ineficiente para acesso esses dados e realizar o treinamento. Ao otimizar altamente o acesso a arquivos em vez do armazenamento de objetos em nuvem e ao permitir que os clientes aproveitem as GPUs disponíveis para dados onde quer que estejam, a AEAI utiliza eficiências que podem ter parecido meramente elegantes na Alluxio Data Platform e as aproveita para obter benefícios econômicos concretos e de tempo de colocação no mercado em o crescente mundo da IA ​​aplicada.

O posto Alluxio lança plataforma empresarial para aplicativos generativos de IA apareceu pela primeira vez em The New Stack.