Desenvolvedores: preparem-se para a App Store de IA baseada em NIM da NVIDIA

As GPUs NVIDIA agora estão sendo recebidas com o mesmo entusiasmo que os iPhones da Apple. E assim como o iPhone levou ao surgimento do desenvolvimento de aplicativos móveis, a NVIDIA está fornecendo cada vez mais ferramentas de desenvolvimento para acessar aplicativos de IA em suas GPUs.

Também como a Apple, a NVIDIA está procurando consolidar seu domínio inicial de hardware de IA com uma série de movimentos de software – incluindo a criação de uma loja de aplicativos de IA.

O caminho para um mercado de aplicativos de IA passa pelo NIM (NVIDIA Inference Microservices) da NVIDIA, que se tornou amplamente disponível este mês.

As GPUs da NVIDIA estão por toda parte e, como os iPhones, não irão desaparecer tão cedo. A NVIDIA vendeu 98% das GPUs para data centers em 2023, a maioria delas para IA, de acordo com uma pesquisa da TechInsights.

A visão do CEO da NVIDIA, Jensen Huang, é criar um mercado de IA onde os criadores possam configurar seus próprios modelos de vídeo, imagem, voz e texto, que então se misturam a outros modelos. Os criadores podem baixar LLMs ou outros modelos de IA e, em seguida, usar Python ou outras linguagens de script para criar aplicativos de IA – que podem então vender aos clientes.

O caminho para esse mercado passa pelo NIM (NVIDIA Inference Microservices) da NVIDIA, que a empresa apresentou em março na GPU Technology Conference da empresa e se tornou amplamente disponível este mês.

O que é um NIM?

Um NIM é um contêiner virtualizado que atende serviços de IA utilizando uma parte da capacidade de hardware das GPUs da NVIDIA.

NIM é um ato de abertura no plano da NVIDIA de criar uma loja de aplicativos de IA, com tudo rodando em chips da NVIDIA. É um contêiner virtualizado – muito parecido com máquinas virtuais baseadas em CPU para aplicativos de uso geral – que atende serviços de IA utilizando uma parte da capacidade de hardware das GPUs da NVIDIA.

Os contêineres baixados podem hospedar grandes modelos de linguagem proprietários e de código aberto pré-treinados. Também pode usar RAG (Retrieval Augmented Generation) para aumentar os serviços de IA baixados com conhecimento hospedado em documentos locais, o que permite que as empresas criem seus próprios serviços exclusivos.

Um NIM pode ser tão simples quanto um chatbot que fornece respostas sobre os serviços de uma empresa, ou tão complexo quanto a implementação de planos de segurança abrangentes para proteger os dados de IA contra roubo ou envenenamento.

O que Será que será parecido com um mercado de IA?

O objetivo final da NVIDIA é criar uma economia de IA com lojas vendendo seus produtos de inteligência digital; neste caso, com base em NIMs. Os ativos de IA serão protegidos em contêineres, com a NVIDIA fornecendo os ganchos para colaborações e conexões confiáveis ​​entre compradores e vendedores.

Os contêineres poderão ser baixados – mas é claro, você precisará de hardware NVIDIA.

Os contêineres poderão ser baixados – mas é claro, você precisará de hardware NVIDIA. A NVIDIA está seguindo o plano da Apple. Ela usará estratégias de software como o NIM para vender mais hardware e para restringir os clientes ao seu hardware proprietário.

Os executivos da NVIDIA comunicaram sua intenção de criar um mercado de IA proprietário e rigidamente controlado.

As empresas poderão criar ativos proprietários de IA menores, em vez de modelos multimodais completos que suportam texto, vídeo, voz e imagens. Esses contêineres podem ser vinculados a outros ativos NIM por meio de APIs e plug-ins.

A Trend Micro anunciou recentemente que está portando seu software de segurança baseado em IA para NIMs, que será disponibilizado aos clientes. Eles podem enviar uma solicitação de API aos serviços de IA da Trend Micro — que incluem análise de segurança em tempo real e mitigação de ameaças — e recuperar as informações necessárias ou solicitar ações.

A NVIDIA oferece uma câmera NIM de rastreamento de sua loja para a Pegatron, que a utilizará para segurança dos trabalhadores. A empresa também está convidando os clientes a adicionar seus próprios NIMs à vitrine.

O que os desenvolvedores precisam saber sobre NIMs

Os desenvolvedores podem selecionar seus próprios contêineres NIM, que podem incluir modelos de linguagem grandes proprietários e de código aberto pré-treinados, armazenados em um contêiner construído sobre Kubernetes.

Os desenvolvedores podem selecionar as ferramentas de programação de sua preferência.

Por exemplo, a NVIDIA oferece um contêiner com o modelo Llama-3 da Meta com 70 bilhões de parâmetros. Os desenvolvedores podem aprimorar o NIM adicionando seu próprio corpus de conhecimento de bancos de dados ao modelo básico e melhorando o contêiner de IA para atender a necessidades específicas. Os desenvolvedores podem criar fluxos de trabalho que interconectam NIMs para dados, imagens, vídeo e som.

Os desenvolvedores podem selecionar as ferramentas de programação de sua preferência. O contêiner – mais como uma caixa preta – inclui software proprietário e estrutura de IA da NVIDIA, NeMo Retriever e o Triton Inference Server.

Mas não se preocupe, você pode usar código aberto ao trabalhar com NIMs. A pilha NVIDIA também usa APIs padrão da indústria para fala, texto, imagens e vídeo. Cada NIM tem dependências, drivers e tempos de execução, com dependências em estruturas de aprendizagem profunda, como TensorFlow e PyTorch, verificadas quando o contêiner Docker é criado.

Por exemplo, a NIM poderia compreender as linguagens utilizadas para SAP e ServiceNow e recuperar algumas informações de suas plataformas. O objetivo da NVIDIA com o NIM é que você obterá resultados mais rápidos com IA e GPUs, em comparação com as CPUs e os sistemas de consulta regulares usados ​​atualmente.

Os NIMs podem trabalhar juntos para compreender dados estruturados e não estruturados de todos os tipos de dados para gerar e entregar resultados finais. A pilha de software NVIDIA recupera informações do banco de dados e as converte em dados de conversação.

“Depois de criá-lo, você pode conversar com ele.”
– CEO da Nvidia, Jensen Huang

“Essencialmente, pegue dados estruturados ou não estruturados, você aprende seu significado, você codifica seu significado. Então agora isso se torna um banco de dados de IA”, disse Huang no GTC. “Depois de criá-lo, você pode conversar com ele.”

Os embeddings vetoriais ajudam um NIM a usar informações de dados locais para responder perguntas ou recuperar documentos, vídeos, arquivos de imagem ou áudio relevantes nos sistemas. O RAG usa um LLM básico para navegar por documentos locais e aumentar o conhecimento, o que o ajuda a fornecer respostas mais precisas ou a recuperar documentos relevantes.

A NVIDIA já possui um aplicativo de desktop chamado RTX que executa funções semelhantes – o modelo Mistral indexa documentos de texto e documentos relevantes de um PC com base nas consultas do usuário.

Habilidades adicionais que os desenvolvedores devem aprender

A NVIDIA está tentando encontrar maneiras de transferir cargas de trabalho normalmente feitas em CPUs para GPUs, disse-me Bob O’Donnell, analista da Technalysis.

Trabalhar com NIMs requer compreensão de como trabalhar com hardware NVIDIA.

Os NIMs facilitam essa mudança, mas as pessoas ainda estão descobrindo o que fazer com eles e encontrar as GPUs em si pode ser um problema, disse O’Donnell.

Trabalhar com NIMs requer compreensão de como trabalhar com hardware NVIDIA. Compreender o CUDA ajuda, mas não é uma necessidade; Os NIMs são compatíveis com outras estruturas, APIs e ferramentas de código aberto.

Os desenvolvedores também precisam compreender a escala de um modelo de IA. Por exemplo, um Llama-3 70B completo não funcionará em uma GPU NVIDIA com memória insuficiente.

A NVIDIA torna mais fácil não se preocupar com GPUs com ferramentas de gerenciamento de hardware em CUDA, mas ajuda a aprender sobre os recursos de hardware. Um script permite que os desenvolvedores selecionem uma GPU e gerenciem a capacidade de memória e outros recursos.

A IA acabará por se tornar multimodal e os NIMs baseiam-se na interpretação de diferentes tipos de dados.

A IA acabará por se tornar multimodal e os NIMs serão construídos com base na interpretação de diferentes tipos de dados – como imagens, texto, vídeos e fala. Os NIMs solicitarão diferentes documentos, incorporações e metadados via linha de comando, com os dados enviados de volta no formato JSON. Trabalhar com APIs – fazer as solicitações corretas, solucionar problemas e integrar as informações recebidas em um modelo de IA local – é uma habilidade crucial que os desenvolvedores devem dominar.

Como começar com NIMs

A NVIDIA está oferecendo 1.000 créditos gratuitos em seu site de IA para começar.

Primeiro, configure uma conta de desenvolvedor da Nvidia, que você pode usar para fazer login no serviço de nuvem da NVIDIA. A partir daí, obtenha uma chave API da NVIDIA.

Os desenvolvedores também devem instalar o NVIDIA Container Toolkit em seus sistemas.

Você pode selecionar um NIM do catálogo. Por exemplo, você pode selecionar um contêiner Stable Diffusion XL NIM ou um contêiner Llama-3 70B. A lista completa da NVIDIA conta atualmente com cerca de 24 NIMs, que crescerão com o tempo.

A linha de comando normalmente funciona melhor para baixar e executar NIMs. Por exemplo, o script para baixar o Llama-3 70B e executá-lo localmente em um contêiner Docker está disponível aqui. Certifique-se de inserir sua chave de API.

Os usuários também podem usar Python e uma API OpenAI para configurar uma instalação NIM local. O script estabelece tokens, hardware e outros detalhes para executar o ambiente.

Os NIMs locais podem se conectar a outros NIMs que sejam remotamente ou auto-hospedados, mas você precisa das chaves de API relevantes.

A postagem Desenvolvedores: preparem-se para a App Store de IA baseada em NIM da NVIDIA apareceu pela primeira vez em The New Stack.