Lançamento do Gemini AI do Google marcado por questões sobre capacidades

O Google revelou seu tão aguardado sistema de inteligência artificial Gemini na quarta-feira, divulgando benchmarks sugerindo que ele poderia competir com o modelo GPT-4 líder do setor da OpenAI em habilidades de raciocínio. Mas o lançamento foi rapidamente ofuscado por acusações de que a gigante da tecnologia exagerou as capacidades da Gemini.

Em uma demonstração em vídeo bem coreografada, o Google mostrou Gemini interagindo com dados visuais por meio de uma câmera montada acima de uma mesa, respondendo a perguntas e raciocinando sobre problemas enquanto um assistente humano manipulava objetos. A apresentação elegante implicava que o Gemini poderia servir como um assistente digital inteligente, capaz de conversas sofisticadas e assistência nas tarefas diárias.

No entanto, especialistas em tecnologia que analisam a tecnologia subjacente nos bastidores dizem que a Gemini pode não conseguir corresponder às elevadas aspirações do Google. A empresa está lançando o Gemini em três versões – Gemini Pro, Gemini Light e Gemini Ultra. Mas as primeiras análises da versão Pro intermediária divulgadas na quarta-feira indicam que ela ainda enfrenta tarefas que deveriam ser rotineiras para um sistema de IA de última geração.

“Estou extremamente decepcionado com Gemini Pro on Bard” disse Victor de Lucca, um dos primeiros testadores da atualização Bard, em uma postagem do X.com mostrando que o sistema de IA não foi capaz de listar corretamente os vencedores do Oscar de 2023. “Ainda dá resultados muito, muito ruins para questões que não deveriam mais ser difíceis com o RAG.”

Outros apontaram discrepâncias entre as capacidades que o Google reivindicou em seus testes de benchmark e o que parece possível com a versão Pro disponível publicamente.

“O Google Gemini Ultra (é) apenas 4% melhor… usando prompts diferentes em comparação ao GPT-4-0613?” perguntou o desenvolvedor Nick Dobos em uma postagem amplamente compartilhada no X.com, sugerindo que a comparação era enganosa.

O vídeo engenhoso do Gemini também foi criticado depois que um porta-voz do Google confirmou à Bloomberg que a filmagem foi pré-gravada e narrada após o fato, em vez de representar uma demonstração de conversação ao vivo.

A controvérsia ilustra os desafios que o Google enfrenta na comercialização de sistemas de IA para os consumidores. Enquanto os técnicos dissecam avidamente números de referência e trabalhos académicos, o público em geral responde mais a vídeos inspiradores que prometem um futuro revolucionário.

Essa desconexão já atrapalhou grandes empresas de tecnologia antes, talvez de forma mais infame em 2016, quando o chatbot Tay da Microsoft foi retirado do ar depois de aprender discurso de ódio de usuários do Twitter. Esta também é a segunda vez que o Google Bard é acusado pela comunidade tecnológica de não cumprir a promessa da empresa. Em setembro, VentureBeat relatou que o Google Bard ainda não cumpria sua promessa – mesmo após grandes atualizações.

O Google, é claro, pretende se recuperar rapidamente, prometendo tornar o Gemini mais amplamente disponível para desenvolvedores e pesquisadores que possam colocá-lo à prova. Mas o começo difícil mostra que a gigante da tecnologia ainda tem trabalho a fazer se quiser que seu assistente de IA esteja à altura do hype.