Copilot+ PCs: Compreendendo a evolução da pilha de PCs com IA da Microsoft

Os data centers estão lotados com cargas de trabalho de IA, mas os PCs agora estão prontos para aliviar um pouco o estresse das mega instalações de GPU.

“AI PC” pode ser uma palavra da moda, mas também descreve habilmente os novos tipos de PCs que chegarão ao mercado nos próximos anos.

“Até a pilha de computação do PC será revolucionada.”
– CEO da Nvidia, Jensen Huang

Os PCs – anteriormente relegados à execução de executáveis ​​para tarefas lógicas – agora possuem um pequeno cérebro de IA que pode raciocinar e tomar decisões, responder perguntas, criar programas ou melhorar a experiência do usuário. Os desenvolvedores escreverão software para que esses cérebros produzam as melhores respostas.

O software está cada vez maior e melhor para os usuários carregarem grandes modelos de linguagem em PCs e executarem IA sem conexão com a Internet.

“Até mesmo a pilha de computação de PC será revolucionada”, disse o CEO da Nvidia, Jensen Huang, em uma teleconferência de resultados financeiros este mês.

Os PCs já possuem chips de IA, mas são, em sua maioria, peso morto, pois não atendem aos requisitos mínimos estabelecidos pelas qualificações da Microsoft para PCs de IA. Os LLMs não foram ajustados para aproveitar o baixo consumo de energia dos PCs com IA, mas isso está mudando.

“IA não é um problema de chip… mas é um problema de sistema”, disse Jensen.

Conceito de PCs com IA da Microsoft

A Microsoft anunciou o conceito de PCs Copilot+ em sua conferência Build.

Esses PCs – em teoria – são um dos primeiros exemplos de co-design de hardware e software para executar IA nos bastidores dos PCs com Windows.

A empresa de software está dando o tom do hardware que deseja ver nos PCs com IA, que inclui chips especializados que fornecem um mínimo de 45 TOPS (trilhões de operações por segundo).

“O que o Win32 foi para a interface gráfica do usuário, acreditamos que o Windows Copilot Runtime será para a IA.”
– Satya Nadella, CEO da Microsoft

Os primeiros PCs AI qualificados são PCs Copilot+ com chips Qualcomm, que foram anunciados à margem da Build Developer Conference.

“Estamos apresentando o Windows Copilot Runtime para tornar o Windows a melhor plataforma para você poder criar seus aplicativos de IA. O que o Win32 foi para a interface gráfica do usuário, acreditamos que o Windows Copilot Runtime será para a IA”, disse Nadella.

A Microsoft já possui IA no Windows com o recurso Copilot – as consultas inseridas nos PCs são redirecionadas para os data centers, que enviam a resposta para os desktops.

A empresa vê uma oportunidade de transferir tarefas de baixa prioridade como essa para os PCs, o que pode economizar largura de banda e liberar GPUs em seus data centers. O recurso Copilot no Bing depende muito de uma versão personalizada do GPT-4 para responder a perguntas.

Os PCs incluem uma biblioteca Windows Copilot, que possui APIs localizadas que ajudam a conectar aplicativos à pilha do Copilot. A Microsoft desenvolveu o tempo de execução ONNX, um tempo de execução de inferência popular entre os principais fabricantes de chips.

Para ser claro, os PCs Windows com GPUs RTX da Nvidia também podem executar IA local – principalmente para chatbots e geração de imagens – carregando manualmente o ambiente de rede neural cuDNN da Nvidia, carregando o PyTorch e instalando o Python. Mas esse é um processo doloroso porque a pilha precisa ser recarregada a cada reinicialização – o que pode levar 10 minutos ou mais.

A Microsoft está automatizando todo esse processo com bibliotecas e drivers de sistema, que conteinerizam as cargas de trabalho de IA. A Microsoft já possui um driver de aprendizado de máquina chamado DirectML, que é mais parecido com um DirectX para aprendizado de máquina integrado.

Copiloto Local

A Microsoft também entende que a IA evoluiu para se expandir para uma gama de grandes modelos de linguagem, com pontuações diferentes em matemática, codificação e raciocínio. Alguns podem querer usar outros modelos de código aberto e não confiar na pilha da Microsoft.

A Microsoft introduziu uma biblioteca de grandes modelos de linguagem que os desenvolvedores podem instalar e carregar em PCs com Windows 11.

“Temos mais de 40 modelos disponíveis prontos para uso… que projetamos especificamente para serem executados localmente em suas entradas em PCs Copilot +, trazendo aquela inferência local extremamente rápida para o dispositivo”, disse Nadella.

O Copilot+ da Microsoft integra a técnica RAG (geração aumentada de recuperação) para fornecer respostas mais precisas.

O modelo de autoatendimento inclui Phi Silica, uma versão de 3,8 bilhões de parâmetros do Phi-3-mini LLM de código aberto da Microsoft, que “projetamos especificamente para rodar localmente em suas entradas em PCs Copilot +”, disse Nadella. O Phi Silica LLM no PC permite que a Microsoft descarregue alguns dos prompts do Copilot de GPUs na nuvem.

O Copilot+ da Microsoft integra a técnica RAG (geração aumentada de recuperação) para fornecer respostas mais precisas. Neste caso, as respostas também se baseiam em outros dados provenientes de fontes externas, como informações sobre PCs. Isso ajuda a fornecer respostas mais precisas e a não confiar totalmente em LLMs baseados em informações extraídas da Internet meses atrás.

A Microsoft disse que forneceria ferramentas para alimentar várias entradas em sua pilha de IA, garantindo que os desenvolvedores possam trabalhar com imagens, voz, vídeo e texto ao escrever aplicativos de IA que possam ser processados ​​em PCs integrados. A Microsoft tomou providências para incorporações de vetores para garantir que diferentes tipos de dados possam ser facilmente correlacionados e integrados aos recursos de IA.

O Windows App SDK 1.6 Experimental 2 tem muitas APIs para executar chatbots, fazer cálculos ou resolver problemas. Eles podem ser conectados a aplicativos e integrados à interface do usuário.

No Build, a Microsoft também anunciou suporte nativo do Windows para PyTorch – uma necessidade para executar LLMs feitos usando essa estrutura. Agora os usuários não precisam passar pelo cansativo processo de instalação do PyTorch sempre que quiserem carregar um LLM em PCs.

O suporte nativo ao PyTorch significa que milhares de modelos OSS funcionarão imediatamente no Windows, facilitando o início. Na verdade, com o WebNN, os desenvolvedores web finalmente têm uma estrutura de aprendizado de máquina nativa da web que lhes dá acesso direto a GPUs e NPUs”, disse Nadella.

Fabricantes de dispositivos e chips

A IA nos dispositivos só pode ser tão rápida quanto o hardware, e esses LLMs são projetados para os NPUs no dispositivo. O Google, em sua feira IO, compartilhou detalhes sobre como os desenvolvedores podem escrever aplicativos de IA que rodam localmente em smartphones.

A Qualcomm é a primeira a comercializar o CoPilot+ com chips Snapdragon Elite.

No ano passado, a Intel lançou seu chip x86 de última geração chamado Meteor Lake, que possui um NPU com pico de 10 TOPS. Infelizmente, ele não se qualifica para que o mínimo de 45 TOPS do Windows seja chamado de PC AI para Windows, também chamado de PCs CoPilot +.

A Qualcomm é a primeira a comercializar o CoPilot+ com chips Snapdragon Elite, que possuem NPUs com mais de 45 TOPS. Todos os principais fabricantes de PCs – incluindo Dell, HP, Asus e Lenovo – anunciaram PCs com chips de IA.

A Qualcomm também introduziu seu próprio AI Hub como um recurso para ferramentas de desenvolvedor. Ele fornece um IDE que pode ser instalado por meio de alguns prompts típicos de linha de comando e também fornece um token de API para integração de aplicativos.

A Intel está lançando seu chip para PC de próxima geração, chamado Lunar Lake.

Os desenvolvedores poderão baixar LLMs para testar. O token API normalmente significa que os desenvolvedores serão capazes de integrar LLMs em aplicativos de terceiros, conforme descrito pela Microsoft em seus planos para trazer o Copilot para aplicativos.

A Intel está lançando seu chip de PC de próxima geração chamado Lunar Lake, que, segundo a empresa, atenderá aos requisitos mínimos de PCs de IA com NPU de 45 TOPS e possivelmente ultrapassará 100 TOPS com GPUs. Espera-se que os chips Lunar Lake cheguem em alguns meses.

A Intel também possui seu próprio ambiente de desenvolvimento chamado OneAPI, que é complicado de usar. A Intel forneceu um exemplo de carregamento do Stability Diffusion AI para geração de imagens no GIMP, mas é um processo complicado que envolve a instalação do OpenVino, a execução de instalações de linha de comando e ajustes adicionais.

A Intel também fornece notebooks Jupyter para testar IA em seus vários chips por meio do serviço Tiber Developer Cloud, o que poderia ser uma aposta mais segura. Mas as versões em nuvem dos chips AI PC ainda não estão disponíveis.

A postagem Copilot + PCs: Compreendendo a evolução da pilha de PCs de IA da Microsoft apareceu pela primeira vez em The New Stack.