Red Hat Podman ‘Lab’ dá início aos desenvolvedores no GenAI

Podman, a ferramenta de desktop da Red Hat para gerenciar pods de contêiner, recebeu uma função estendida, a de fornecer aos desenvolvedores um espaço de trabalho para construir aplicativos generativos baseados em IA.

Ao contrário de muitas ferramentas para construir ferramentas generativas de IA, esta foi construída especificamente para desenvolvedores, e não para cientistas de dados, afirma a Red Hat. Não há muito suporte para modelos de treinamento aqui. Em vez disso, espera-se que o usuário construa código em torno de modelos de código aberto já disponíveis via API e empacotados como microsserviços.

O Podman AI Lab oferece a capacidade para um desenvolvedor construir um aplicativo generativo de IA em sua máquina local e, quando estiver pronto, enviá-lo para implantações OpenShift/Kubernetes em um conjunto de contêineres.

Ser capaz de construir e testar um aplicativo em seu próprio laptop “dá a você velocidade, liberdade e segurança como desenvolvedor para começar a hackear algo imediatamente”, disse Michael Clifford, cientista de dados da Red Hat no escritório do CTO, falando em uma sessão no Red Hat Summit, realizada na semana passada em Denver. O AI Lab “torna as coisas realmente fáceis de encaixar no paradigma de desenvolvimento existente com o qual as pessoas já estão familiarizadas. E torna ainda mais fácil colocar as coisas na nuvem.”

Assim como o Docker Desktop, o próprio Podman fornece uma maneira de mover facilmente o código de um ambiente de desenvolvimento local (como o VS Code) para um ambiente operacional Kubernetes/OpenShift. E assim, para a Red Hat, era uma plataforma natural para lançar aplicações de IA.

Para facilitar ainda mais as coisas para o desenvolvedor, o AI Lab possui um catálogo de receitas de aplicativos de amostra, incluindo:

• Bot de bate-papo
• Resumidor de texto
• Gerador de código
• Detecção de objetos
• Transcrição de áudio para texto

Estes são modelos altamente funcionais, embora não tenham sido projetados para serem usados ​​como estão. O código-fonte está disponível para inspeção e personalização. Cada receita é construída a partir de um modelo existente e possui uma API para interagir. A Red Hat espera que uma comunidade cresça em torno dessas receitas e que mais sejam criadas com o passar do tempo.

O projeto surgiu a partir de uma solicitação de um cliente para encontrar uma forma de rodar LLMs em máquinas desktop, para fins de desenvolvimento.

Um bom avanço da IA ​​​​nos últimos anos é que você não precisa mais treinar seu próprio modelo para algum uso específico. Em vez disso, você pode construir um aplicativo em torno de um modelo de uso geral, explicou Clifford.

É claro que existem modelos comerciais populares, como o OpenAI, mas também há um número crescente de modelos de código aberto (Clifford contou mais de 90.000 modelos de linguagem disponíveis abertamente em uma contagem recente).

Stevan Le Meur explicou o fluxo de trabalho de desenvolvimento de IA e como ele se encaixa no Podman.

Primeiros passos com Podman AI Lab

A interface do Podman AI Lab fornece um catálogo de modelos de código aberto para download e inclui a maioria dos modelos de código aberto, como GGUF, Pytorch ou Tensorflow. Os usuários também podem importar seus próprios modelos.

Baixando modelos no Podman.

Os modelos não estão incluídos em containers. Em vez disso, eles são adicionados por meio de uma montagem separada de volumes de armazenamento durante o tempo de execução. Isso permite trocar modelos durante o tempo de execução.

Isso pode exigir algum trabalho, toda essa idealização e prototipagem, onde “preciso encontrar o modelo certo para completar minha aplicação”, explicou Stevan Le Meur, gerente principal de produtos da Red Hat, em sua própria apresentação no Summit. “Qual é o modelo mais apropriado para o meu caso de uso?”

Uma vez escolhido um modelo, o usuário pode iniciar um servidor de inferência em seu próprio computador. Todos os servidores modelo são construídos em uma base Linux Universal Base Image (UBI) para máxima compatibilidade. Suporte para aceleradores de hardware, como Llama.cpp, Nvidia e AMD, estão incluídos para muitos dos servidores.

Inicie um servidor de inferência.

A extensão também oferece um playground para testar diferentes modelos, permitindo que os desenvolvedores experimentem diferentes modelos em diferentes tarefas.

Parque infantil Podman AI

As receitas mostram que tipo de recursos podem ser obtidos a partir desses modelos. “Tentamos fornecer exemplos que possam inspirar você sobre o que você pode fazer dentro de seus próprios aplicativos”, disse Le Meur.

O futuro da IA

O AI Lab é uma das várias extensões do Podman Desktop, que é baseado no mecanismo de contêiner Podman compatível com OCI. Há também uma cópia do minikube para executar K8s localmente, um host local do OpenShift e uma extensão para criar contêineres inicializáveis, entre outros.

A Podman AI, no entanto, se encaixa perfeitamente na estratégia geral de IA da Red Hat, que é oferecer suporte a uma ampla variedade de abordagens na construção de aplicações de IA.

O futuro da IA ​​não será construído por um único fornecedor, utilizando um único modelo. Será de código aberto”, disse CEO da Red Hat, Matt Hicks, durante sua palestra no Summit.

Divulgação: A Red Hat pagou as despesas de viagem do redator desta postagem para participar do Red Hat Summit.

A postagem Red Hat Podman ‘Lab’ inicia os desenvolvedores no GenAI apareceu pela primeira vez em The New Stack.