CTO da Pixar em OpenUSD, Vision Pro Future e USD Web Tools

A Pixar abriu o código-fonte de sua tecnologia gráfica 3D Universal Scene Description (USD) em 2016, alguns anos depois de ter sido criada para seus próprios fins de produção de filmes. Desde então, o USD foi adotado por pesos pesados ​​da indústria como Apple, Meta e Nvidia. Alguns compararam o USD ao formato Photoshop, PSD. A esperança é que eventualmente se torne a linguagem padrão para uma Internet 3D – talvez semelhante ao que o HTML é para a World Wide Web.

Para descobrir como o USD está sendo usado hoje e como ele pode evoluir ainda mais em uma era em que “metaverso” e “computação espacial” são palavras da moda, conversei com Steve May, diretor de tecnologia da Pixar e também presidente da organização sem fins lucrativos Alliance para OpenUSD (AOUSD).

O que é USD e como é usado?

Em uma postagem no blog a ser divulgada hoje pela AOUSD, o USD é definido como “uma linguagem universal para todos os elementos em uma cena digital – personagens, ambientes, iluminação e movimentos de câmera”.

Quando perguntei a May sobre como o dólar americano é usado na Pixar, ele reconheceu que é uma tecnologia complexa – mas também muito poderosa e flexível.

“Não colocamos todos os dados em uma única entidade, um único ativo”, explicou. “Na verdade, tem toda uma rede de ativos. Então você pode ter um recurso que representa toda a cena de um de nossos filmes, mas ele tem essas gavinhas – esses indicadores para outros recursos, como um recurso para cada personagem, e um recurso para os cenários, e um recurso para cada adereço que está no set.”

Assim, quando um artista ou desenvolvedor digital está trabalhando com USD, ele pode trabalhar em uma peça específica de conteúdo 3D e depois conectá-la a outros ativos.

Processo de produção da Pixar; imagem da Pixar.

“E então um personagem tem bens em si”, continuou May, “porque o personagem pode ter o corpo (…) mas então eles podem ter arquivos USD separados para roupas, para cabelos, para descrever a maneira como a pele reflete a luz. Todas as diferentes partes dele são, na verdade, compostas por centenas (de arquivos em USD).

Isso significa que uma única cena de um filme da Pixar pode ter milhares, até milhões, de arquivos separados em dólares americanos.

“Portanto, um dos verdadeiros poderes do USD”, disse May, “não é apenas descrever, digamos, a forma geométrica de um objeto ou as propriedades materiais dele que determinam sua aparência, mas que ele pode realmente montar e conectar todos esses ativos de maneira coerente e permite editar facilmente partes individuais deles.”

De acordo com May, o USD também é adequado para a construção de grandes mundos virtuais ou aplicações industriais 3D complexas, porque nesses tipos de produtos “muitas coisas estão acontecendo e mudando ao mesmo tempo” e exigem muita colaboração.

“É muito mais do que apenas descrever coisas”, disse ele sobre o formato do dólar americano. “É também a capacidade de editar, montar e gerenciar essas redes de ativos realmente complexas, de maneira eficiente”.

USD além da produção de filmes: Apple, Meta e outros

Então, como o USD evoluiu desde que foi aberto em 2016, e a Pixar ainda lidera o desenvolvimento?

“Ele evoluiu tecnologicamente desde que abrimos o código”, disse May (e confirmou que a Pixar ainda lidera o esforço de desenvolvimento). “Não é uma tecnologia acabada. Portanto, embora esteja bastante maduro e já o utilizemos há muito tempo – é baseado literalmente em décadas de coisas que fizemos na Pixar – ele ainda está evoluindo.”

May observou que o dólar americano “também está mudando em termos de quem o usa e quem está interessado nele”. A ideia inicial quando o USD era de código aberto era permitir que outras empresas da indústria cinematográfica se conectassem ao pipeline da Pixar. Ou, como disse May, o USD era de código aberto “para que pudéssemos acessar novas ferramentas e eles falariam USD e então trabalhariam com todo o resto – todas as nossas ferramentas proprietárias que temos na Pixar”.

No entanto, o que acabou acontecendo foi que outras indústrias também queriam adotar o USD – tudo, desde os produtos industriais 3D da Nvidia aos produtos de realidade mista da Apple, até a grande visão da Meta de construir um “metaverso” 3D.

“Uma pequena surpresa foi a rapidez com que algumas empresas fora do cinema se interessaram”, disse May. “E dois dos primeiros, e maiores proponentes que também são membros fundadores da Alliance for OpenUSD, são Apple e Nvidia. E eles apoiaram isso muito cedo, para resolver problemas completamente diferentes.”

Essas diferentes empresas se uniram na AOUSD, uma organização sem fins lucrativos afiliada à The Linux Foundation. Adobe e AutoDesk foram os outros membros fundadores, mas a organização agora também inclui Meta, Epic Games, Ikea e muitas outras empresas interessadas em construir a Internet 3D.

Vision Pro e potencialmente usando conteúdo 3D da Pixar

A maior novidade no mundo do conteúdo 3D este ano foi, obviamente, o lançamento do fone de ouvido Vision Pro da Apple. Perguntei se May já havia experimentado. Ele respondeu que só brincou um pouco com ele, mas já está impressionado com seu potencial.

“Acho que tem aspectos que são realmente alucinantes”, disse ele. “E acho que todo mundo sabe, é apenas o começo também. E então, para mim, mais do que qualquer outra coisa, isso lhe dá uma janela para o futuro. Isso meio que abala seu cérebro pensar em como você realmente trabalharia de maneira diferente e pensaria sobre computação de maneira diferente.”

Ele acrescentou que o Vision Pro oferece potencialmente mais do que os dispositivos VR anteriores que adotavam uma abordagem de “entretenimento como um tipo de dispositivo de jogo”.

Perguntei se a Pixar está planejando fazer algum aplicativo para o Vision Pro, e talvez até mesmo para a plataforma de internet 3D da Meta no futuro.

“Portanto, somos um estúdio (e) estamos muito, muito focados em fazer filmes – tipo, é isso que fazemos”, respondeu ele. “Fazemos filmes e depois fazemos parte de uma empresa muito maior, a Disney, que nos ajuda a distribuí-los e a descobrir como aproveitar esses filmes para criar atrações atraentes em parques temáticos, produtos de consumo atraentes e coisas assim. Portanto, ainda não temos a tarefa específica de criar conteúdo interativo de AR ou VR, mas usamos essas ferramentas para fazer nossos filmes – então, por exemplo, usaremos VR para fazer explorações de localização.”

No entanto, ele reconheceu que a Disney, empresa controladora da Pixar, está bem posicionada para produzir conteúdo 3D para dispositivos como o Vision Pro. Ele destacou que o CEO da Disney, Bob Iger, esteve no evento de lançamento do Vision Pro, apresentando conteúdo interativo da Disney.

“Há muito potencial, eu acho, para encontrar novas maneiras de contar histórias e permitir que o público experimente os personagens e os filmes da Pixar de novas maneiras”, disse May.

USD e a Web

Em dezembro, o AOUSD apresentou seu roteiro para finalizar a especificação. Grande parte do foco está na definição das especificações principais, mas há outras áreas que também estão sendo exploradas. Um que perguntei especificamente é o suporte web.

“Um dos esforços contínuos é torná-lo (USD) realmente adequado para uso na web”, disse May. “Existem exemplos, existem protótipos. Na verdade, se você acessar o site do produto da Apple e olhar o Apple Watch, eles têm algo onde você pode vê-lo em AR, no seu site. Na verdade, esse é um ativo em dólares americanos que você pode visualizar em seu telefone. Portanto, existem recursos disponíveis, mas há muito mais trabalho a ser feito para realmente habilitá-los para a web. Mas é isso que muitos de nós na Aliança estamos interessados ​​em apoiar.”

Relacionado, há também um esforço contínuo para tornar a criação de USD uma experiência mais simples – assim como os editores de HTML surgiram na década de 1990 para tornar a escrita de HTML mais fácil.

“Você pode digitar USD em um editor de texto, mas não recomendamos isso, porque é bastante complexo”, disse May. “Portanto, isso geralmente é feito por meio de APIs de programação. E não tenho motivos para pensar que não teremos boas ferramentas para criar esses ativos e disponibilizá-los na web. Nosso objetivo (é) que o mesmo ativo ou ativos em dólares americanos – seja na web, ou em um dispositivo como o Vision Pro da Apple, ou em um computador desktop ou estação de trabalho – o mesmo ativo seja ingerível em qualquer uma dessas diferentes plataformas. ”

A postagem CTO da Pixar em OpenUSD, Vision Pro Future e USD Web Tools apareceu pela primeira vez em The New Stack.