Introdução ao Gleam, uma nova linguagem de programação funcional
22 de junho de 2024
Produtividade versus segurança: como CIOs e CISOs podem concordar
22 de junho de 2024
A IA está em toda parte. Você pode atirar uma pedra em qualquer grupo de empresas e acertará aquela que atualmente emprega IA de alguma forma ou função.
A maior parte da IA é experimentada por empresas como Google, Open AI e Microsoft. Para alguns, tudo bem. Para outros, a ideia de trabalhar com terceiros em uma tecnologia tão polêmica é impossível.
Felizmente, você sempre pode optar por executar um LLM (Large Language Model) localmente. Essas ferramentas “AI in a box” são uma ótima maneira de se familiarizar com o uso da IA ou ter um LLM disponível para sua equipe.
Um método para fazer isso é com o Podman e o Podman AI Lab. Esta opção não é apenas muito fácil de implantar, mas também oferece a opção de selecionar qual LLM deseja usar e funciona muito, muito bem.
Implantei o Podman AI Lab em uma máquina virtual AlmaLinux e fiquei surpreso com o quão bem ele funcionou. Em comparação com outras soluções AI-in-a-box que experimentei, o Podman AI Lab funcionou muito melhor, mesmo com recursos mínimos. Falando nisso, você precisará dos seguintes mínimos:
- 4 GB de memória disponível
- 4 núcleos vCPU
Depois de ter isso (e uma versão em execução de qualquer distribuição Linux que suporte Podman), você estará pronto para colocá-lo em funcionamento. Uma coisa a ter em mente é que sua versão do AlmaLinux precisará ter um ambiente desktop instalado, caso contrário você não conseguirá rodar o Podman Desktop (o que é essencial).
Deixa-me mostrar-te como.
Instalando o Podman Desktop
A primeira coisa que você deve fazer é instalar o Podman Desktop. O método mais fácil de fazer isso é com a ajuda do Flatpak. AlmaLinux vem com Flatpak pré-instalado e pronto para uso, então instalar o Podman Desktop é tão simples quanto emitir o comando:
sudo flatpak install flathub io.podman_desktop.PodmanDesktop
Assim que a instalação for concluída, você deverá encontrar o Podman Desktop listado no menu da sua área de trabalho. Clique naquele bad boy e vamos instalar o AI Lab.
Instalando o Podman AI Lab
Com o Podman Desktop instalado e funcionando, é hora de instalar a extensão Podman AI Lab. Para fazer isso, clique no ícone de extensão na barra lateral (o ícone da peça do quebra-cabeça). Na janela resultante (Figura 1), digite Podman AI Lab na barra de pesquisa e pressione Enter.
-
Figura 1: A janela Podman Desktop Extensions.
Quando a lista do Podman AI Lab aparecer, clique no botão de download associado (seta apontando para baixo) para instalar a extensão. Você saberá que a extensão foi instalada com sucesso quando aparecer com um indicador verde. Você também verá um novo ícone aparecer na barra lateral que se parece com o topo da cabeça de um Android.
Baixando um LLM
Agora é hora de baixar seu primeiro modelo de linguagem grande. Para fazer isso, clique no ícone Podman AI Lab na barra lateral e clique em Catálogo. Aqui, você verá uma lista dos LLMs disponíveis. Selecione um e clique no botão de download associado (Figura 2).
-
Figura 2: Você encontrará vários LLMs para escolher.
Dependendo de qual LLM você escolheu, o download pode demorar algum tempo. Quando terminar, você estará pronto para passar para a próxima etapa.
Crie um serviço
Agora que você baixou um LLM, clique no botão Serviços. Na janela resultante, clique em Novo modelo de serviço e depois clique em Criar serviço (Figura 3).
-
Figura 3: Criando seu primeiro serviço com Podman AI Lab.
Duas coisas:
- Se você tiver baixado mais de um LLM, poderá selecionar qual deseja associar a este serviço clicando no menu suspenso LLM.
- A menos que você tenha um bom motivo para não fazê-lo, sugiro usar a porta padrão para o serviço.
O serviço não deve demorar muito para ser implantado. Depois de concluído, você poderá iniciar um playground, onde poderá começar a interagir com seu LLM.
Crie um parque infantil
Clique em Playground (em Modelos). Na janela resultante, você pode dar um nome específico ao playground ou deixar o campo Nome do Playground em branco e o Podman atribuirá um nome aleatório. Certifique-se de que o modelo correto foi escolhido e clique em Criar Playground. O novo Playground deverá estar disponível quase imediatamente.
Use seu novo playground
Quando o Playground estiver pronto, você verá um aviso na parte inferior da janela (Figura 4).
-
Figura 4: Seu novo AI Lab Playground está pronto para aceitar suas dúvidas.
Fiz um teste rápido no Podman AI Lab e digitei O que é Linux?. Quase imediatamente, o AI Lab respondeu com uma resposta válida (Figura 5).
-
Figura 5: Fiquei surpreso com a rapidez com que o Playground respondeu.
Decidi então tentar algo um pouco mais complicado, pedindo ao laboratório que explicasse a mecânica quântica. Mais uma vez, fiquei agradavelmente surpreso com a rapidez com que produziu uma resposta. Dado que estava rodando em uma máquina virtual, o desempenho foi notável.
E aí está, outra IA em uma caixa que você pode implantar e usar. Com energia suficiente, você pode implantar uma ferramenta de IA bastante poderosa para seu uso pessoal (ou até mesmo para sua pequena empresa).
O posto AI-in-a-Box com Podman AI Lab apareceu pela primeira vez em The New Stack.
