O provedor de plataforma como serviço (PaaS), Rafay, estendeu sua plataforma de gerenciamento Kubernetes para oferecer melhor suporte às cargas de trabalho corporativas de IA e ML, com foco no gerenciamento de recursos de GPU, democratizando o acesso a pipelines de ML e auxiliando no teste e seleção de modelos.
Os novos recursos tornam os recursos de computação para IA instantaneamente consumíveis por desenvolvedores e cientistas de dados com proteções de nível empresarial, disse Haseeb Budhani, cofundador e CEO da Rafay Systems.
Rafay é uma empresa Kubernetes que ajuda os clientes a gerenciar seus ambientes, incluindo Kubernetes, pipelines de CI/CD e plataformas de implantação.
A empresa percebeu clientes implantando cargas de trabalho de IA no Kubernetes usando o produto Rafay e identificou três lacunas que poderiam resolver, disse Budhani ao The New Stack. A primeira lacuna é consumir e compartilhar com eficiência recursos caros de GPU. Rafay estendeu seu PaaS existente para fornecer recursos de GPU a clientes internos, com recursos como limites de tempo e gerenciamento de custos.
“O que vimos acontecer foi que nossos clientes estavam implantando cargas de trabalho de IA no Kubernetes e usando nosso produto para fazer isso, sem nosso conhecimento”, disse Budhani.
A segunda lacuna é democratizar o acesso a pipelines de aprendizado de máquina (ML) que vão além dos cientistas de dados. Rafay introduziu um ambiente de trabalho de IA/ML em sua plataforma para facilitar o consumo desses pipelines para todos em uma empresa.
A terceira lacuna é testar e selecionar os melhores modelos de ML. Rafay adicionou uma camada de “playground LLM” entre o ambiente de trabalho PaaS e ML para permitir que os usuários testem e selecionem rapidamente os melhores modelos para suas necessidades, disse Budhani.
O suporte recém-adicionado de Rafay para cargas de trabalho de GPU ajuda empresas e provedores de serviços gerenciados a potencializar uma nova experiência de GPU como serviço para desenvolvedores internos e clientes.
O novo AI Suite da Rafay fornece pipelines baseados em padrões para operações de aprendizado de máquina (MLOps) e operações de grandes modelos de linguagem (LLMOps) para acelerar o desenvolvimento e a implantação de aplicativos de IA.
Além disso, como se espera que o mercado global de GPU como serviço atinja os 17,2 mil milhões de dólares até 2030, as organizações procuram soluções escaláveis para ligar os seus cientistas e programadores de dados a infraestruturas de computação aceleradas.
O PaaS da Rafay agora aborda questões como padronização de ambiente, consumo de computação por autoatendimento, uso seguro de ambientes multilocatários, otimização de custos e auditabilidade para cargas de trabalho baseadas em GPU.
“As cargas de trabalho aceleradas por GPU são uma parte crescente dos portfólios empresariais e as organizações precisam de ferramentas escalonáveis para gerenciá-las”, disse Justin Warren, fundador e analista principal da PivotNine. Os clientes também desejam manter um controle rígido sobre a soberania dos dados confidenciais, um desafio que só cresce em complexidade. É bom ver Rafay oferecendo às empresas opções que vão além da visão limitada de alguns dos principais provedores de nuvem.”
Os novos recursos para cargas de trabalho de GPU incluem autoatendimento para desenvolvedores e cientistas de dados, espaços de trabalho de usuário otimizados para IA, combinação de GPU e virtualização de GPU.
“Além dos recursos de matchmaking multicluster e outros recursos poderosos de PaaS que oferecem uma experiência de consumo de computação de autoatendimento para desenvolvedores e cientistas de dados, as equipes da plataforma também podem tornar os usuários mais produtivos com recursos MLOps e LLMOps prontos para uso disponíveis na plataforma Rafay”, disse Budhani em uma afirmação. “Este anúncio torna Rafay um parceiro indispensável para empresas, bem como para GPU e operadores de nuvem soberana, que buscam acelerar a entrega de aplicativos modernos.”
A NTT DATA foi uma das primeiras usuárias dos novos recursos de IA da Rafay e colaborou com a equipe da Rafay para ajudar a fornecer seu novo suporte de GPU e AI Suite ao mercado.
“A abordagem de Rafay satisfaz os usuários responsáveis pelo desenvolvimento e gerenciamento de aplicativos, facilitando a colaboração cruzada dentro dos limites de segurança e orçamento das empresas”, disse Mike Jones, vice-presidente de parceiros e alianças da NTT DATA, em comunicado.
YOUTUBE.COM/THENEWSTACK
A tecnologia avança rápido, não perca um episódio. Inscreva-se em nosso canal no YouTube para transmitir todos os nossos podcasts, entrevistas, demonstrações e muito mais.
SE INSCREVER
