A abordagem silenciosa da IBM para IA, Wasm e Serverless

Já se passaram 12 anos desde que o Watson da IBM enfrentou os campeões do Jeopardy e venceu com folga. Desde então, a celebridade do Watson foi usurpada pelo ChatGPT, mas não porque a IBM tenha abandonado o Watson ou a inteligência artificial. Na verdade, a abordagem da empresa à inteligência artificial evoluiu ao longo dos anos e reflecte agora um caminho diferente e mais direccionado para a IA – além de produzir modelos genéricos de grandes linguagens.

Conversei com o IBM Fellow e CTO da IBM Cloud, Jason McGee, durante a KubeCon + CloudNativeCon EU, para discutir como a Big Blue está abordando desafios modernos, como serverless, WebAssembly na empresa e, claro, inteligência artificial. A conversa foi editada para maior clareza e brevidade.

Usando IA para automação de código

O que a IBM está fazendo com automação?

Existem (existem) muitas dimensões para a automação. No nível de tecnologia básica, obviamente trabalhamos muito com o Ansible e o lado do Red Hat, e então usamos o TerraForm extensivamente como um tipo de infraestrutura como linguagem de código para provisionar recursos de nuvem e gerenciar muitas dessas arquiteturas de referência – sob as capas são essencialmente coleções de automação TerraForm que (são) configuradas (na) nuvem. Também há trabalho de nível superior em automação, e isso é mais parecido com automação de processos de negócios e automação de processos robóticos e coisas assim. Com produtos como o Watson Automate, estamos aplicando IA e automação a clientes, processos de negócios e automatizando coisas manuais. Então isso está no topo da pilha.

Temos ferramentas (como automação de processos robóticos e gerenciamento de processos de negócios) em nosso espaço e estamos aplicando IA a isso e, em seguida, diminuindo a pilha de tecnologia. Temos ferramentas de automação de software como TerraForm e Ansible que estamos usando. Estamos fazendo um trabalho interessante no Ansible ou na equipe de pesquisa, aplicando modelos básicos para ajudar o código no Ansible e ajudando as pessoas a escrever automação usando IA, para ajudar a preencher o código de práticas recomendadas com base em descrições de linguagem natural e outras coisas.

O que a IA faz nesse contexto?

Pense se você estiver escrevendo um manual do Ansible, você pode ter um bloco que diz “Quero implantar um aplicativo da web em Node.js” ou algo assim. Você poderia simplesmente escrever um comentário, “Crie um servidor Node.js. rodando na porta 80” em linguagem natural, e leria esse comentário e preencheria automaticamente todo o código e todos os comandos Ansible, para provisionar e configurar isso usando as melhores práticas. Ele foi treinado em todos os manuais do Ansible Galaxy e no código GitHub Ansible. Então é como ajudá-los a escrever todo o Ansible e a escrever um bom Ansible (…) com base em descrições naturais do que estão tentando alcançar.

A IA é baseada em grandes modelos de linguagem. Eles alucinam? Continuo ouvindo eles terem alucinações e me lembro da história “Os andróides sonham com ovelhas elétricas?”

Uma ótima pergunta e faz parte do exemplo que dei desse modelo (que) foi treinado para um propósito mais restrito de fazer assistência de código Ansible, versus algo como GPT, que foi treinado em tudo e, portanto, pode ser mais preciso em o escopo menor, certo? Ele entende a linguagem natural, mas também entende o Ansible com muita precisão e, portanto, pode ter uma precisão maior do que um modelo de linguagem grande de uso geral, que também poderia cuspir Ansible ou TerraForm, ou Java ou o que diabos você quisesse, mas talvez tenha menos consciência de quão boa ou precisa é a linguagem.

Estamos usando-o em operações de IA, bem como para gerenciamento de incidentes, gerenciamento de disponibilidade e rescisão de propriedade. Esse é outro tipo de grande espaço no qual a IBM está investindo muito: Instana, que é uma de nossas principais ferramentas de observabilidade.

Como ajudamos os clientes a adotar e alavancar fundações em larga escala com grandes modelos de linguagem? Na IBM Cloud, temos algo chamado cluster Vela, que é um cluster de treinamento de modelo básico de alto desempenho que está em nossa nuvem em Washington, DC. Ele foi originalmente construído para nossa equipe de pesquisa para que o Grupo de Pesquisa IBM pudesse usá-lo para fazer todas as suas pesquisas e treinamentos em modelos e construir coisas como o Project Wisdom nele.

Agora estamos começando a expor isso para os clientes. Acreditamos que as empresas construirão alguns de seus próprios modelos de linguagem grandes ou usarão modelos básicos — porque também estamos construindo vários modelos básicos — e depois os personalizarão, treinando-os em dados exclusivos adicionais. Estamos trabalhando no OpenShift para permitir que você use o OpenShift como plataforma para isso. Estamos trabalhando em código aberto em torno dessa pilha de software para construir modelos. E então, é claro, estamos construindo um monte de modelos.

Além do tradicional sem servidor

TNS: O que mais você está promovendo hoje na KubeCon?

McGee: Há muita atividade neste espaço em que estamos trabalhando há muito tempo, então há mais progressão. Um deles é sem servidor e temos um recurso chamado IBM Cloud Code Engine e é baseado em dados K, que é como uma camada sobre o Kubernetes, projetada para ajudar os desenvolvedores a consumir a nuvem nativamente. Temos trabalhado muito recentemente para expandir essa noção sem servidor para um conjunto mais variado de cargas de trabalho.

O serverless tradicional era como aplicativos e funções executando tipos de cargas de trabalho orientadas a eventos – muitas limitações sobre os tipos de aplicativos que você poderia executar lá. O que estamos fazendo é estender isso e abrir os tipos de cargas de trabalho que você pode executar, então estamos adicionando coisas como processamento em lote, computação paralela em grande escala, cargas de trabalho do tipo simulação com uso intensivo de computação. Estamos começando a trabalhar em HPC (computação de alto desempenho) para que as pessoas possam fazer modelagem financeira ou EDA (análise exploratória de dados), design industrial e cargas de trabalho de design de silício, aproveitando um paradigma sem servidor. Temos muita atividade acontecendo naquele espaço.

Também estamos trabalhando com um projeto chamado Ray, que é uma estrutura de computação distribuída que está sendo usada para muitas cargas de trabalho de IA e análise de dados. Habilitamos Ray para trabalhar com o Code Engine para que você possa fazer rajadas de computação em grande escala na nuvem e usá-lo para fazer processamento de análise de dados. Também construímos um recurso Spark sem servidor, que é outra estrutura de análise de dados. Todas essas coisas são expostas em um único serviço no Code Engine. Então, em vez de ter sete ou oito serviços de nuvem diferentes que executam todos esses tipos diferentes de cargas de trabalho, temos um modelo onde podemos fazer tudo isso em um serviço lógico.

Que tipos de casos de uso você está vendo de seus clientes sem servidor?

Um dos desafios do serverless é que, quando começou há alguns anos, com funções de nuvem e Lambda, ele estava posicionado de uma forma muito restrita – como se fosse bom para orientado a eventos, era bom para tipo de front-ends da web.

Isso é interessante, mas os clientes na verdade obtêm muito mais valor com essas cargas de trabalho de maior escala e uso intensivo de computação. Especialmente na nuvem, você teria esse enorme conjunto de recursos. Como você usa rapidamente esse enorme conjunto de recursos para executar uma simulação de Monte Carlo, um trabalho em lote ou uma iteração de verificação de projeto para um dispositivo de silício que você está construindo? Quando você tem essas cargas de trabalho em grande escala, a maneira tradicional de fazer isso é construir uma grande grade de computação e, então, você terá muitos custos investidos em toda essa infraestrutura.

Estamos começando a vê-los usar o serverless como paradigma de como eles executam essas cargas de trabalho de grande escala e com uso intensivo de computação, porque isso combina um bom conjunto de atributos, como o pool de recursos da nuvem, com (a) pagamento conforme Modelo de precificação pronto para uso, sem gerenciamento de infraestrutura. Você simplesmente gira para cima e para baixo enquanto executa seu trabalho. Então esse é o ângulo do serverless que estamos vendo muito mais adoção.

Potencial de Wasm

As pessoas estão usando serverless no limite?

Eles fazem. É mais um nicho, claro. Mas você vê, por exemplo, na CDN (rede de distribuição de conteúdo), onde as pessoas querem levar a computação em pequena escala até a borda da rede, perto dos usuários finais – então acho que existem casos de uso como esse. Na IBM Cloud, usamos Cloudflare como nosso serviço principal de Internet, (com) balanceador de carga global e CDN de borda, e eles suportam nossas funções de nuvem. Você vê tecnologia como o Wasm – muitas pessoas aqui falando sobre o Wasm. Wasm tem um papel a desempenhar nesses cenários.

A IBM está fazendo alguma coisa com o Wasm? É útil na empresa?

Estamos possibilitando parte disso, estamos olhando para isso no limite. Oferecemos suporte ao Wasm Code Engine, ele oferece um tempo de inicialização agradável e super rápido, como implicação de carga de trabalho em 10 milissegundos ou algo assim, porque posso injetá-lo diretamente com o Wasm, o que é útil se você estiver fazendo coisas com rajadas em grande escala, mas você não quer pagar a pena de esperar que as coisas piorem.

Mas ainda acho que todo o espaço é mais exploratório. Não é como se houvesse pilhas enormes de cargas de trabalho corporativas esperando para serem executadas no Wasm, certo? Portanto, são mais dispositivos de última geração. É útil – existem alguns casos de uso interessantes em torno desse espaço HPC (computação de alto desempenho) potencialmente… porque posso injetar pequenos fragmentos de código em uma grade existente, mas também acho que é um pouco mais específico, cargas de trabalho especializadas.

CNCF pagou viagens e acomodações para The New Stack participar da conferência KubeCon+CloudNativeConEurope 2023.

A postagem A abordagem silenciosa da IBM para IA, Wasm e Serverless apareceu pela primeira vez em The New Stack.