Na semana passada, no canal do PyTorch no YouTube, o documentário oficial do PyTorch, “Powering the AI ​​Revolution” fez sua estreia. O que o vídeo de 35 minutos revelou sobre nossa biblioteca favorita de aprendizagem profunda?

“Obviamente, estamos no meio de uma explosão em todo o espaço da IA”, começa o documentário. É Brian Granger falando – um tecnólogo principal sênior da Amazon Web Services (e líder do projeto Python e cofundador do Projeto Jupyter). E no final do documentário, notou-se que, nos bastidores, tanto o ChatGPT quanto o Stable A difusão está usando a estrutura PyTorch.

“O estado da IA ​​hoje seria muito menos desenvolvido se o PyTorch não tivesse sido lançado”, diz Jeremy Howard, cofundador da organização sem fins lucrativos Fast.ai…

O documentário termina com algumas estatísticas convincentes…

• 60% das implementações de pesquisa de IA agora usam PyTorch.
• PyTorch é usado em mais de 600.000 repositórios no GitHub.
• PyTorch é usado em todos os lugares, desde a NASA até as principais empresas de entretenimento como Disney e Pixar, e até mesmo na Astra Zeneca para descoberta de medicamentos.

Em 2022, a Linux Foundation colocou isso de forma sucinta. “Se você retirar a capa de qualquer aplicativo de IA, há uma grande chance de que o PyTorch esteja envolvido de alguma forma…”

Mas o documentário traça a história do PyTorch desde o seu desenvolvimento original por uma pequena equipe da Meta, passando pela explosão de popularidade após seu lançamento inicial em 2016 – e depois até o lançamento de sua própria fundação como parte do Linux. Fundação.

E em algum momento ao longo do caminho, também fornece algumas perspectivas valiosas sobre as ferramentas usadas atualmente pelos pesquisadores de IA. O documentário oferece um vislumbre não apenas do quão longe chegamos – mas também para onde poderemos ir a seguir…

Os dias da fragmentação

O documentário tem alguns patrocinadores importantes – AWS, AMD, Google Cloud, Meta e Microsoft Azure. Mas começa olhando para uma época em que o número de ferramentas de IA proliferava descontroladamente. Relembrando 2015, o co-criador do PyTorch, Soumith Chintala, diz: “Havia cerca de 15 ou 20 ferramentas que, naquela época, tentavam possibilitar a pesquisa”. (As escolhas na época incluíam Torch, Theano, Caffee…)

“Muita inovação estava acontecendo, mas foi embolsada…” acrescenta a principal líder de PM da Microsoft para AI Frameworks, Parinita Rahi. “Os grandes players estavam desenvolvendo modelos individuais, e muito disso estava isolado dentro de organizações individuais ou instituições de pesquisa”.

Yangqing Jia – que foi diretor da IA ​​do Facebook por três anos, começando em 2016 – diz no documentário que os produtos disponíveis na época oscilavam entre serem úteis e “ser uma ferramenta fofa…”.

Talvez seja por isso que Chintala também se lembra do lançamento do TensorFlow em 2015 – junto com sua credibilidade e polimento. “Foi do Google, alto orçamento, alto marketing…” Em comparação, todas as outras ferramentas foram iniciadas por o que ele chama de “entusiastas… Iniciadas por pesquisadores, como uma forma de eles fazerem seu trabalho… O TensorFlow foi construído do zero, com a engenharia do Google.”

Mas outro jogador estava prestes a chegar…

A seção “2016” do documentário começa com uma vista aérea da sede do Facebook em Mountain View, Califórnia

2016

O laboratório fundamental de pesquisa de IA do Facebook estava tentando “fazer progresso” na visão computacional, lembra Chintala no documentário – e eles precisavam de aplicativos de IA para o feed de notícias, resultados de pesquisa e recomendações do Facebook. Portanto, uma de suas primeiras tarefas ao ingressar no Facebook foi construir uma estrutura de IA que seria “testada em batalha” – fazendo centenas de trilhões de previsões por dia. (E em uma ampla variedade de ambientes de implantação.)

Chintala lembrou como um dos cocriadores do PyTorch era estudante do primeiro ano da Universidade de Varsóvia em busca de estágio. Adam Paszke participou ativamente da construção da comunidade Lua Torch — e no documentário compartilha suas próprias lembranças de 2016. “Fiquei entusiasmado com o aprendizado de máquina. Achei que era uma área muito legal e queria aprender mais sobre ela.”

De dezembro de 2015 a abril de 2016, sua pequena equipe trabalhou na separação das funções matemáticas C e C++ das ligações de Lua — então percebeu que elas poderiam ser vinculadas a qualquer outra linguagem. “Todas as outras bibliotecas já estavam em Python, e as pessoas estavam felizes com isso e gostando”, lembrou Paszke – então tentar vinculá-lo ao Python foi “um próximo passo bastante natural”.

O PyTorch foi lançado em janeiro de 2017 – e Chintala lembrou-se de ter recebido o mesmo feedback de várias pessoas: “Estávamos permitindo que eles fizessem um ótimo trabalho”. O CEO da Lightning AI, Will Falcon – que na época estava usando o TensorFlow para pesquisas de IA em Stanford – diz no documentário que depois de experimentar o PyTorch, “foi como noite e dia”.

Chintala lembrou ainda que “Em 2017, acho que trabalhávamos mais de 16 horas por dia”.

Desempenho e Popular

Depois de um esforço de dois anos para tornar o PyTorch com melhor desempenho, sua popularidade cresceu. “Começamos a ver bibliotecas explodindo em cima do PyTorch”, diz Joe Spisak (que na época era chefe de parcerias de IA da AWS). Havia bibliotecas para PNL, visão computacional, aprendizado por reforço… “O mundo inteiro começou a construir sobre isso, como uma base estável.”

A AMD ouviu dizer que PyTorch era a estrutura de aprendizado de máquina preferida para “vários clientes diferentes, de tamanhos diferentes, em diferentes setores”, lembrou o diretor de arquitetura de soluções da AMD, Niles Burbank. E ficou claro: “Isso era algo que seria importante… Começamos a trabalhar para pegar o PyTorch e adaptá-lo de forma que pudesse aproveitar as vantagens dos recursos de aceleração de hardware – principalmente de nossos produtos de GPU.” Eles testaram melhorias em uma bifurcação interna e depois as contribuíram de volta para o projeto, ao longo de vários anos.

Chintala viu o PyTorch sendo usado por grandes empresas de automóveis autônomos – incluindo Tesla, Uber e Cruise – e disse que a equipe do PyTorch achou isso “muito legal – quase intimidante para nós”, disse que os fez se sentir “muito responsáveis” por garantir o o código estava livre de erros. A Microsoft tinha desenvolvedores usando PyTorch – e nos principais projetos da Microsoft, como Bing e Office.

Spisak lembra que eventualmente o Google começou a pensar em oferecer suporte ao PyTorch em suas TPUs. E isso foi uma espécie de marco, disse Dwarak Rajagopal, que liderou a equipe PyTorch Core Frameworks na Meta e agora é diretor sênior de engenharia de IA do Google. Rajagopal descreve isso como uma prova de que você pode levar o PyTorch para outras plataformas de hardware além das GPUs – e chama isso de “um grande momento”.

Agradecendo os colaboradores

O documentário também inclui a decisão de 2022 de mover o projeto PyTorch de código aberto para sua própria fundação. Na época, a Linux Foundation brincou: “Somos gratos pela confiança da Meta em ‘passar-nos a tocha’ (trocadilho intencional)…”

O anúncio deles enfatizou que “as comunidades de código aberto estão desempenhando e desempenharão um papel de liderança no desenvolvimento de ferramentas e soluções que tornam a IA e o ML possíveis – e os tornam melhores ao longo do tempo”. E eles observaram que de agosto de 2021 a agosto de 2022, “o PyTorch contou mais de 65.000 commits”. Mais de 2.400 colaboradores participaram do esforço…”

A estreia no tapete vermelho do documentário PyTorch em Paris foi um sucesso 🤩 Obrigado a todos que puderam comparecer.

Faremos uma estreia virtual no dia 25 de junho às 10h PT – não perca!https://t.co/EelfozzKMd pic.twitter.com/H6nACO42Dv

-PyTorch (@PyTorch) 19 de junho de 2024

Olhando para o futuro

Perto do final do documentário, Spisak reflete sobre seu legado. “Todos os dias, olhamos em volta e dizemos: ‘Sim, somos nós aí. Somos nós lá dentro. É muito divertido ver.”

E Rajagopal diz: “Ainda acho que ainda estamos começando”.

Brian Granger, da AWS, diz que camadas mais profundas de inovação são construídas sobre projetos básicos de código aberto como PyTorch, levando indivíduos e organizações “capazes de fazer coisas que nunca poderiam fazer sem essas camadas de inovação em cima desses projetos de código aberto”. E Spisak prevê que o PyTorch estará no centro de um conjunto ainda mais diversificado de plataformas, “seja no dispositivo, na computação ambiente ou no wearable…”

Parinita Rahi, da Microsoft, prevê que mais e mais aplicações serão construídas usando LLMs poderosos – com pessoas libertadas dos limites do seu hardware para construir soluções enriquecedoras. “O céu é o limite.” E Niles Burbank, da AMD, também previu um futuro brilhante resultante dessa tecnologia melhor. “Quando você aplica mais hardware ou mais iterações ao problema, as mesmas técnicas básicas continuam a produzir resultados cada vez melhores.”

E, em última análise, ele vê um mundo onde pesquisadores e clientes industriais adotam LLMs e “ampliam-nos de maneiras que – mesmo para os padrões da indústria da computação – são algo sem precedentes”.

WebReduce

• A startup do empreendedor de Nova York usa IA para colocar chapéus nos clientes com sucesso.
• Lex Fridman entrevista um pesquisador de segurança sobre os perigos da IA ​​superinteligente.
• Os apresentadores de podcast do Stack Overflow comemoram sua edição de 5º aniversário relembrando a última meia década.
• A “Semana de 1994” da Fast Company pergunta o que podemos aprender com sites de 30 anos.
• Arquitetos dos padrões 802 e WiFi discutem sua criação na década de 1990 e sua importância.
• Na GopherCon EU, o podcast Go Time apresenta um show ao vivo Feudo familiargame show estilo “Gophers Say”.

A postagem Documentário oficial do PyTorch revisita seu passado e seu futuro apareceu pela primeira vez em The New Stack.