Instituto Max Planck: Medição de capacidade cognitiva GPT-3 produz resultados surpreendentes

As habilidades de tomada de decisão da IA ​​já estão no mesmo nível das dos humanos, de acordo com o resultado da medição de capacidade cognitiva GPT-3 realizada no Instituto Max Planck.

Entusiastas e céticos de grandes modelos de linguagem como o GPT-3 continuam a argumentar veementemente se as conquistas revolucionárias do bot ChatGPT, que usa a tecnologia GPT-3, provam que o bot é tão inteligente quanto os humanos. O debate é inútil, porém: a definição do termo “inteligência” é ambígua. Todos consideram a inteligência como outra coisa, e o leque de definições é enorme:

• De uma definição de Linda Gottfredson, “Inteligência é uma habilidade mental integral que inclui a capacidade de resumir, planejar, resolver problemas, pensar de forma abstrata, entender ideias complexas e aprender rapidamente com a experiência”.
• Enquanto isso, de acordo com Edward Boring, “inteligência é o que um teste de inteligência mede”.

A situação é complicada pelo fato de que, diga-se o que se diga, não há uma razão clara para o surgimento de grandes modelos linguísticos de inteligência comparáveis ​​aos de um ser humano. Afinal, a única coisa que o GPT-3 (e o ChatGPT) pode fazer é prever habilmente a próxima palavra com base em enormes estatísticas de amostras de sequências de palavras em textos escritos por pessoas.

No entanto, só esta habilidade permite ao ChatGPT uma criatividade surpreendente: para além de responder a qualquer questão que lhe seja colocada, é também capaz de escrever histórias, artigos científicos, teses e até codificar (o que é suficiente para passar em alguns exames ao nível humano).

Mas, isso é motivo suficiente para discutir o surgimento da IA ​​(baseada em GPT-3 e ChatGPT) com inteligência comparável à inteligência humana?

Para responder a essa pergunta, vamos relembrar a definição de Gregory Treverton de que “inteligência é, em última análise, contar histórias” (essa definição explica por que inteligência e razão são englobadas pela mesma palavra em inglês).

A lógica aqui é esta:

• A inteligência, em qualquer forma que seja definida, destina-se à tomada de decisões complexas em tarefas não triviais.
• Ao tomar essas decisões, além do pensamento formal, o pensamento narrativo desempenha um papel importante; por exemplo, na jurisprudência, quando as decisões do júri são tomadas, não o pensamento formal, mas a narrativa desempenha um papel decisivo em como eles avaliam as evidências e tomam as decisões do veredicto.
• Então, por que a narrativa excelentemente desenvolvida e o pensamento formal do ChatGPT não deveriam ser a base para o surgimento de uma inteligência semelhante à humana?

O Instituto Alemão Max Planck para Cibernética Biológica decidiu testar isso e conduziu um estudo para comparar as habilidades cognitivas de humanos e GPT-3. Os pesquisadores decidiram verificar isso usando testes psicológicos canônicos em pessoas para testar suas habilidades na tomada de decisões, busca de informações e relações de causa e efeito.

Os resultados do estudo, publicados na revista Proceedings of the National Academy of Sciences, são surpreendentes:

• A IA resolve o problema de tomar a decisão certa com base em descrições tão boas ou melhores que os humanos.

• Ainda mais impressionante é o fato de que essa habilidade da IA ​​não está apenas no nível das pessoas, mas também comete os mesmos erros que são comuns às pessoas.

Além disso, a capacidade de tomar decisões corretas foi testada em tarefas descritas por vinhetas: uma breve descrição de pessoas e/ou situações em resposta às quais as pessoas revelam suas ideias, valores, normas sociais ou suas próprias impressões. Parece que nada do que foi dito acima pode existir na IA. No entanto, isso não impede que a IA tome as mesmas decisões que os humanos.

Nas outras duas habilidades cognitivas, a IA fica aquém dos humanos.

• Ao buscar informações, o GPT-3 não apresenta sinais de pesquisa direcionada.
• Em problemas de causa e efeito, o GPT-3 está no nível de uma criança pequena, mas isso é por enquanto.

Os autores acreditam que, para alcançar pessoas com essas duas habilidades, a IA carece apenas de comunicação ativa conosco e com o resto do mundo, mas passará rapidamente. Afinal, milhões já se comunicam com o ChatGPT.

Leia mais sobre ChatGPT e IA: