Pesquisadores desafiam a noção de ‘habilidades emergentes’ de grandes modelos de linguagem

Em um exame recente das capacidades potenciais de grandes modelos de linguagem, os pesquisadores desafiam a noção de “habilidades emergentes” e lançam luz sobre um aspecto mais previsível de sua funcionalidade. O artigo intitulado “Revelando as realidades das habilidades emergentes de modelos de linguagem grandes” chama a atenção para a má interpretação das métricas que levou ao equívoco de que esses modelos adquirem habilidades avançadas espontaneamente.

O conceito de “habilidades emergentes” no contexto de grandes modelos de linguagem, como a série GPT, alimentou preocupações sobre o potencial desses modelos de desenvolver capacidades imprevistas semelhantes à consciência humana. Este artigo afirma que essas suposições foram baseadas em uma compreensão falha do comportamento e das capacidades reais dos modelos.

O fenômeno comumente observado, onde modelos maiores aparentemente adquirem habilidades recém-descobertas, como raciocínio abstrato, resolução de problemas e até humor, foi chamado de “habilidades emergentes de modelos de linguagem grandes”. Os autores do artigo afirmam que essas habilidades não são tão espontâneas quanto parecem, mas sim o resultado de métricas de avaliação enganosas.

Para ilustrar seu ponto, os pesquisadores consideram a tarefa de “adivinhar o enigma”, um problema em que o modelo de linguagem é obrigado a compreender um enigma de linguagem natural e responder com a resposta correta em linguagem natural. Tradicionalmente, a qualidade das respostas tem sido avaliada usando uma métrica binária: uma resposta recebe uma pontuação de 1 se corresponder exatamente à resposta correta e uma pontuação de 0 caso contrário.

O cerne da questão está na sensibilidade da métrica à complexidade da tarefa e ao número de parâmetros do modelo. Os pesquisadores revelam que essa métrica binária leva a uma percepção enganosa de “habilidades emergentes”. Modelos menores geralmente exibem precisão insignificante (eps) nessa métrica, enquanto modelos maiores, particularmente aqueles com uma contagem de parâmetros alta, parecem atingir níveis de precisão notáveis ​​(acc > 0,5).

O artigo afirma que esta aparente mudança na capacidade não é indicativa de modelos que adquirem espontaneamente competências complexas. Em vez disso, a capacidade dos modelos para compreender e gerar respostas mais matizadas decorre de uma avaliação mais meticulosa dos seus resultados. Ao focar na correspondência probabilística e na coerência semântica, em vez de correspondências exatas de strings, os pesquisadores mostram que a progressão dos modelos no desempenho segue uma trajetória mais lógica, independentemente de seu tamanho.

Investigando a evolução do desempenho do modelo com alteração de parâmetros

Numa investigação analítica, os investigadores descobrem a mecânica subtil por detrás das “habilidades emergentes” percebidas em grandes modelos de linguagem. O estudo questiona a influência das métricas superdiscretas na avaliação do desempenho do modelo e elucida uma compreensão mais preditiva de suas capacidades à medida que os parâmetros do modelo se expandem.

A noção predominante de “habilidades emergentes” em modelos de linguagem expansiva cativou discussões e levantou preocupações sobre possíveis avanços. Este estudo procura desvendar a mecânica subjacente a esse fenômeno e decifrar se esses modelos realmente exibem capacidades repentinas e sem precedentes ou se esses avanços percebidos podem ser atribuídos a uma causa diferente.

No centro do estudo está uma avaliação meticulosa das métricas empregadas para avaliar o desempenho do modelo. Os pesquisadores afirmam que o uso de métricas superdiscretas, particularmente a métrica binária convencional que determina correspondências exatas de strings, pode distorcer a interpretação de grandes habilidades de modelo de linguagem. O estudo analisa meticulosamente como a distribuição de probabilidade das respostas geradas pelo modelo evolui à medida que os parâmetros do modelo aumentam.

Contrariamente à noção de “capacidades emergentes”, o estudo revela uma tendência mais sistemática. À medida que o tamanho do modelo aumenta, melhora sua capacidade de atribuir probabilidades mais altas às respostas apropriadas e probabilidades mais baixas às incorretas. Isso reflete um aprimoramento consistente na capacidade do modelo de resolver problemas de maneira adequada em uma ampla variedade de tamanhos. Em essência, a pesquisa sugere que o processo de aprendizagem dos modelos segue uma trajetória bem definida de melhoria, em vez de um salto repentino.

Os autores introduzem uma mudança de paradigma ao propor a substituição de métricas discretas por contínuas. Essa mudança oferece uma imagem mais clara da evolução do desempenho. Por meio de sua análise, os pesquisadores constataram que aproximadamente 92% dos problemas do Big Bench exibem um crescimento suave e previsível em qualidade à medida que o tamanho do modelo se expande. Essa descoberta desafia a noção de que modelos maiores experimentam avanços repentinos e, em vez disso, destaca uma progressão mais gradual e antecipada.

O estudo amplia seus insights para validar suas afirmações. Ele demonstra que o mesmo efeito de “capacidade emergente” pode ser simulado artificialmente usando autoencoders convencionais, sugerindo que a escolha das métricas influencia significativamente os resultados percebidos. Esta revelação amplia o âmbito das implicações do estudo, demonstrando a sua relevância para além dos modelos de linguagem apenas.

Os pesquisadores enfatizam que seus resultados não negam definitivamente o potencial de “habilidades emergentes” ou consciência em grandes modelos de linguagem. No entanto, as suas descobertas encorajam os investigadores a abordar tais afirmações com uma perspectiva diferenciada. Em vez de extrapolar apressadamente e formar conclusões extremas, o estudo ressalta a importância da investigação meticulosa e da análise abrangente.

Leia mais sobre IA: