Celestial AI levanta US$ 100 milhões para expandir a plataforma de tecnologia Photonic Fabric

Celestial AI, desenvolvedora de tecnologia de interconexão óptica, anunciou uma rodada de financiamento da série B bem-sucedida, arrecadando US$ 100 milhões para sua plataforma de tecnologia Photonic Fabric. IAG Capital Partners, Koch Disruptive Technologies (KDT) e o fundo Xora Innovation da Temasek lideraram o investimento.

Outros participantes incluíram Samsung Catalyst, Smart Global Holdings (SGH), Porsche Automobil Holding SE, The Engine Fund, ImecXpand, M Ventures e Tyche Partners.

De acordo com a Celestial AI, sua plataforma Photonic Fabric representa um avanço significativo no desempenho da conectividade óptica, superando as tecnologias existentes. A empresa arrecadou US$ 165 milhões no total com financiamento inicial até a série B.

Enfrentando o desafio do “muro da memória”

Modelos avançados de inteligência artificial (IA), como o amplamente utilizado GPT-4 para ChatGPT e mecanismos de recomendação, exigem aumento exponencial da capacidade de memória e largura de banda. No entanto, os provedores de serviços em nuvem (CSPs) e os data centers em hiperescala enfrentam desafios devido à interdependência do dimensionamento da memória e da computação, comumente chamado de desafio do “muro de memória”.

As limitações da interconexão elétrica, como largura de banda restrita, alta latência e alto consumo de energia, dificultam o crescimento dos modelos de negócios de IA e os avanços na IA.

Para enfrentar esses desafios, a Celestial AI colaborou com hiperescaladores, computação de IA e fornecedores de memória para desenvolver o Photonic Fabric. A interconexão óptica foi projetada para computação desagregada em exaescala e clusters de memória.

A empresa afirma que sua tecnologia proprietária Optical Compute Interconnect (OCI) permite a desagregação da memória escalonável do data center e permite a computação acelerada.

Capacidade de memória é um problema chave

O CEO da Celestial AI, Dave Lazovsky, disse ao VentureBeat: “O principal problema daqui para frente é a capacidade de memória, largura de banda e movimentação de dados (interconectividade chip a chip) para grandes modelos de linguagem (LLMs) e cargas de trabalho de mecanismo de recomendação. Nossa tecnologia Photonic Fabric permite integrar a fotônica diretamente em sua matriz de silício. Uma vantagem importante é que nossa solução permite entregar dados em qualquer ponto da matriz de silício até o ponto de computação. Soluções competitivas como Co-Packaged Optics (CPO) não podem fazer isso, pois apenas entregam dados até a borda da matriz.”

Lazovsky afirma que o Photonic Fabric resolveu com sucesso o desafiador problema à beira-mar, fornecendo largura de banda significativamente maior (1,8 Tbps/mm²) com latências de nanossegundos. Como resultado, a plataforma oferece links totalmente fotônicos de computação para computação e de computação para memória. A plataforma também suporta protocolos padrão da indústria, incluindo CXL e JEDEC (HBM), e também é compatível com interfaces como PCIe, UCIe e outras interconexões proprietárias.

A recente rodada de financiamento também atraiu a atenção da Broadcom, que está colaborando no desenvolvimento de protótipos de Photonic Fabric baseados nos designs da Celestial AI. A empresa espera que esses protótipos estejam prontos para envio aos clientes nos próximos 18 meses.

Habilitando computação acelerada por meio de interconexão óptica

Lazovsky afirmou que as taxas de dados também devem aumentar com o aumento do volume de dados transferidos dentro dos data centers. Ele explicou que à medida que essas taxas aumentam, as interconexões elétricas enfrentam problemas como perda de fidelidade do sinal e largura de banda limitada que não consegue escalar com o crescimento dos dados, restringindo assim o rendimento geral do sistema.

De acordo com a Celestial AI, a transmissão de dados de baixa latência do Photonic Fabric facilita a conexão e desagregação de um número significativamente maior de servidores do que as interconexões elétricas tradicionais. Essa baixa latência também permite que aplicações sensíveis à latência utilizem memória remota, uma possibilidade que antes era inatingível com interconexões elétricas tradicionais.

“Permitimos que hiperscaladores e data centers desagregem sua memória e recursos de computação sem comprometer a potência, a latência e o desempenho”, disse Lazovsky ao VentureBeat. “O uso ineficiente da memória DRAM do servidor se traduz em US$ 100 milhões (se não bilhões) de desperdício em hiperscaladores e empresas. Ao permitir a desagregação e o pool de memória, não apenas ajudamos a reduzir a quantidade de gasto de memória, mas também comprovamos a utilização da memória.”

Armazenar e processar conjuntos maiores de dados

A empresa afirma que sua nova oferta pode entregar dados de qualquer ponto do silício diretamente ao ponto de computação. A Celestial AI afirma que o Photonic Fabric supera as limitações da conectividade de borda de silício, fornecendo uma largura de banda de pacote de 1,8 Tbps/mm², que é 25 vezes maior que a oferecida pelo CPO. Além disso, ao entregar dados diretamente ao ponto de computação, em vez de na borda, a empresa afirma que o Photonic Fabric atinge uma latência 10 vezes menor.

A Celestial AI visa simplificar a computação empresarial para LLMs como GPT-4, PaLM e modelos de recomendação de aprendizagem profunda (DLRMs) que podem variar em tamanho de 100 bilhões a mais de 1 trilhão de parâmetros.

Lazovsky explicou que como os processadores AI (GPU, ASIC) têm uma quantidade limitada de memória de alta largura de banda (32 GB a 128 GB), as empresas hoje precisam conectar centenas a milhares desses processadores para lidar com esses modelos. No entanto, esta abordagem diminui a eficiência do sistema e aumenta os custos.

“Ao aumentar a capacidade de memória endereçável de cada processador em alta largura de banda, o Photonic Fabric permite que cada processador armazene e processe pedaços maiores de dados, reduzindo o número de processadores necessários”, acrescentou. “Fornecer links rápidos chip a chip permite que o processador conectado processe o modelo mais rapidamente, aumentando o rendimento e reduzindo custos.”

O que vem por aí para a IA Celestial?

Lazovsky disse que o dinheiro arrecadado nesta rodada será usado para acelerar a produção e comercialização da plataforma de tecnologia Photonic Fabric, expandindo as equipes de engenharia, vendas e marketing técnico da Celestial AI.

“Dado o crescimento nas cargas de trabalho generativas de IA devido aos LLMs e as pressões que isso coloca nas atuais arquiteturas de data center, a demanda está aumentando rapidamente por conectividade óptica para apoiar a transição da infraestrutura geral de computação de data center para a computação acelerada”, disse Lazovsky ao VentureBeat. “Esperamos aumentar o número de funcionários em cerca de 30% até o final de 2023, para 130 funcionários.”

Ele disse que à medida que a utilização de LLMs se expande em várias aplicações, os custos de infra-estrutura também aumentarão proporcionalmente, levando a margens negativas para muitas aplicações de software à escala da Internet. Além disso, os data centers estão atingindo limitações de energia, restringindo a quantidade de computação que pode ser adicionada.

Para enfrentar esses desafios, Lazovsky pretende minimizar a dependência de processadores caros, fornecendo soluções de interconexão chip a chip e chip a memória de alta largura de banda e baixa latência. Ele disse que esta abordagem visa reduzir as despesas de capital das empresas e aumentar a eficiência das suas infra-estruturas existentes.

“Ao destruir a barreira da memória e ajudar a melhorar a eficiência do sistema, pretendemos ajudar a moldar a direção futura do progresso e adoção do modelo de IA através de nossas novas ofertas”, disse ele. “Se a capacidade de memória e a largura de banda não forem mais um fator limitante, isso permitirá que os cientistas de dados experimentem arquiteturas de modelos maiores ou diferentes para desbloquear novos aplicativos e casos de uso. Acreditamos que, ao reduzir o custo da adoção de grandes modelos, mais empresas e aplicações seriam capazes de adotar LLMs com mais rapidez.”