Fabricantes de chips colocam foco no Edge AI

As cargas de trabalho de IA estão fluindo rapidamente para a borda da rede, acelerando a demanda por ainda mais poder de computação que fabricantes de chips estabelecidos e startups estão correndo para atender.

Os fornecedores de silício lançaram no mês passado novas CPUs, aceleradores e plataformas projetadas para atender às demandas de potência, processos analíticos e segurança em um ambiente de computação que, por sua natureza, é restrito em muitas dessas áreas. Dito isto, a necessidade primordial é trazer todas essas capacidades o mais próximo possível de onde as enormes quantidades de dados estão sendo geradas, de modo que, para os fabricantes de chips, a corrida começou.

O resultado será uma série de novas opções de silício para cargas de trabalho de IA no limite à medida que o ano avança. No mesmo dia desta semana em que a Arm revelou sua unidade de processamento neural (NPU) Ethos-U85 e a plataforma de design de referência Corstone-320 Internet of Things (IoT) para aplicações de IA de ponta na feira Embedded World 2024, a rival Intel exibiu seus aceleradores Gaudi 3 e CPUs Xeon 6 para IA no evento Intel Vision 2024 da empresa, com o CEO Pat Gelsinger chamando a IA de “o próximo aplicativo matador para borda”.

“À medida que a borda se torna cada vez mais importante, ela se tornará o recurso dominante de carga de trabalho de IA”, disse Gelsinger. “A pesquisa indica que, até 2026, 50% das implantações de edge computing envolverão aprendizado de máquina e IA, em comparação com apenas 5% hoje. Um caso de uso matador.”

Por sua vez, a Qualcomm na Embedded World anunciou sua plataforma RB3 Gen 2, uma oferta de hardware e software voltada para usos incorporados e IoT, incluindo caixas de ponta de IA. Tudo isso acontece menos de um mês depois que a NVIDIA retirou a tampa de sua próxima família de GPUs Blackwell, mantendo sua posição de liderança em aceleradores de carga de trabalho de IA.

Startups estão na mistura

Não são apenas os players estabelecidos, mas também as startups que buscam se firmar no espaço da IA ​​de ponta. A startup israelense Hailo levantou este mês US$ 120 milhões em financiamento da Série C – elevando para mais de US$ 340 milhões o valor total arrecadado – e lançou os aceleradores Hailo-10, projetados para executar aplicativos generativos de IA localmente, sem a necessidade de serviços baseados em nuvem. Outra startup, SiMa.ai, que fabrica sistemas em um chip (SoCs) de sistemas de IA de ponta, arrecadou este mês US$ 70 milhões em financiamento – inclusive do braço de investimento da Dell Technologies – aumentando o valor arrecadado para US$ 270 milhões.

Será uma bênção para os fabricantes de chips, com os pesquisadores da Omdia esperando que o mercado de processadores de IA no limite cresça de US$ 31 bilhões em 2022 para US$ 60 bilhões em 2028.

A indústria de tecnologia promove há vários anos o casamento entre edge e IA, mas isso se acelerou nos últimos 16 meses desde que a OpenAI lançou o ChatGPT. A explosão de adoção e inovação da IA ​​generativa está rapidamente a chegar ao limite.

O Gartner previu que até o próximo ano, 75% dos dados serão criados e processados ​​na borda. Levar a IA ao limite acelerará o processamento de dados. Ele fornecerá recursos de computação robustos até onde estão os vários IoT e sensores e eliminará a necessidade de mover dados para a nuvem para processamento, o que pode levar segundos. Processá-lo na borda pode reduzir isso para milissegundos, uma diferença crucial quando se pensa em casos de uso como veículos autônomos.

Ele também elimina os custos de largura de banda decorrentes da movimentação dos dados para a nuvem, bem como o custo de processá-los na nuvem. Existem benefícios de segurança e conformidade de dados: não ter que enviar dados para outro lugar torna-os menos vulneráveis ​​a erros ou ataques.

Um aceno para os desenvolvedores

Nem todo o foco da Intel, Arm e NVIDIA estava na capacidade computacional, no desempenho e na eficiência energética de seus chips. Os executivos das empresas também falaram sobre atender às necessidades dos desenvolvedores que criam aplicativos e algoritmos que serão executados nesses dispositivos de ponta habilitados para IA.

A tendência em IA e na borda é para abordagens mais abertas e padrão do setor, de acordo com Intel e Arm, com Paul Williamson, vice-presidente sênior e gerente geral da linha de negócios IoT da Arm, apontando para o desenvolvimento de o tempo de execução do ExecuTorch para dispositivos de borda de IA como exemplo. Será importante que a infraestrutura e os componentes na borda suportem as ferramentas que os desenvolvedores usam agora à medida que constroem aplicações de IA para a borda.

“O novo Ethos U85 baseia-se nas gerações anteriores e oferece o mesmo conjunto de ferramentas consistente para que os parceiros possam alavancar seus investimentos em Arm-based (aprendizado de máquina) para uma experiência de desenvolvedor perfeita”, disse Williamson a jornalistas e analistas em uma coletiva de imprensa.

Ele acrescentou que, ao usar um design de chip otimizado para modelos de transformadores, “os desenvolvedores podem permitir novas possibilidades para IA nas aplicações de ponta que exigem inferência mais rápida, modelos otimizados para melhor desempenho e… melhor escalabilidade”.

Durante sua palestra, Gelsinger apontou diversas vezes a adoção de sistemas abertos pela Intel como uma vantagem competitiva sobre a rival NVIDIA.

“Quase todos os desenvolvimentos implantados do GenAI hoje estão migrando para ambientes de nível superior, estruturas PyTorch e outros modelos de comunidade do Hugging Face”, disse ele. “A indústria está se afastando rapidamente dos modelos CUDA proprietários. Literalmente, algumas linhas de código e você estará pronto para usar estruturas padrão do setor em uma infraestrutura de nuvem eficiente e de alto desempenho.”

Durante sua palestra no NVIDIA GTC, o cofundador e CEO da NVIDIA, Jensen Huang, disse que a empresa está desenvolvendo seu próprio ciclo de desenvolvimento de software focado em IA, que inclui recursos generativos de IA, como chatbots e copilotos, e deseja expandir as linguagens de programação que seus A programação CUDA suporta além de C++, Fortran e PyTorch.

Os casos de uso de Edge AI estão crescendo

Tais capacidades serão importantes à medida que os casos de utilização da IA ​​de ponta se expandem para além de uma miríade de exemplos iniciais, incluindo análise de imagens, sistemas de segurança doméstica, serviços bancários seguros, motores de recomendação e logística. “Tudo isso requer software”, disse Bob O’Donnell, analista principal da TECHnalysis Research, ao The New Stack. Isso exige que os desenvolvedores os criem. “A borda é um terreno fértil para aplicativos.”

“A edge computing desempenhará um papel fundamental na implantação de aplicações de IA”, disse Dave McCarthy, vice-presidente de pesquisa de serviços de nuvem e edge da IDC, no mês passado, quando a empresa de pesquisa previu que os gastos mundiais em edge computing saltarão para US$ 232 bilhões este ano. , um aumento de 15% em relação a 2023. “Para atender aos requisitos de escalabilidade e desempenho, as organizações precisarão adotar a abordagem distribuída à arquitetura que a computação de ponta oferece. OEMs, ISVs e provedores de serviços estão aproveitando esta oportunidade de mercado, ampliando conjuntos de recursos para permitir IA em locais periféricos.”

A postagem Fabricantes de chips colocando foco no laser na IA de borda apareceu pela primeira vez em The New Stack.