O Alibaba lançou um novo modelo de inteligência artificial (IA) na quinta-feira, que supostamente rivaliza com os modelos da série GPT-o1 da OpenAI em capacidade de raciocínio. Lançado em versão prévia, diz-se que o modelo de linguagem grande (LLM) QwQ-32B supera a visualização GPT-o1 em vários benchmarks relacionados ao raciocínio matemático e lógico. O novo modelo de IA está disponível para download no Hugging Face, mas não é totalmente de código aberto. Recentemente, outra empresa chinesa de IA lançou um modelo de IA de código aberto DeepSeek-R1, que supostamente rivalizava com os modelos básicos focados no raciocínio do fabricante do ChatGPT.
Modelo de IA Alibaba QwQ-32B
Em um postagem no blogAlibaba detalhou seu novo LLM focado no raciocínio e destacou suas capacidades e limitações. O QwQ-32B está atualmente disponível como versão prévia. Como o nome sugere, ele é baseado em 32 bilhões de parâmetros e possui uma janela de contexto de 32.000 tokens. O modelo completou os estágios de pré e pós-treinamento.
No que diz respeito à sua arquitetura, a gigante tecnológica chinesa revelou que o modelo de IA é baseado na tecnologia de transformadores. Para codificação posicional, QwQ-32B usa Rotary Position Embeddings (RoPE), juntamente com funções Switched Gated Linear Unit (SwiGLU) e Root Mean Square Normalization (RMSNorm), bem como polarização de consulta de valor-chave de atenção (Atenção QKV).
Assim como o OpenAI GPT-o1, o modelo de IA mostra seu monólogo interno ao avaliar uma consulta do usuário e tentar encontrar a resposta certa. Este processo de pensamento interno permite que o QwQ-32B teste várias teorias e verifique os fatos antes de apresentar a resposta final. Alibaba afirma que o LLM obteve 90,6% no benchmark MATH-500 e 50% no benchmark AI Mathematical Evaluation (AIME) durante testes internos e superou os modelos focados no raciocínio do OpenAI.
Notavelmente, os modelos de IA com melhor raciocínio não são prova de que os modelos se tornam mais inteligentes ou capazes. É simplesmente uma nova abordagem, também conhecida como computação em tempo de teste, que permite que os modelos gastem tempo de processamento adicional para concluir uma tarefa. Como resultado, a IA pode fornecer respostas mais precisas e resolver questões mais complexas. Vários veteranos da indústria salientaram que os LLMs mais recentes não estão a melhorar ao mesmo ritmo que as suas versões mais antigas, sugerindo que as arquitecturas existentes estão a atingir um ponto de saturação.
Como o QwQ-32B gasta tempo adicional de processamento em consultas, ele também possui diversas limitações. Alibaba afirmou que o modelo de IA às vezes pode misturar idiomas ou alternar entre eles, dando origem a problemas como mistura de idiomas e troca de código. Também tende a entrar em ciclos de raciocínio e, além das habilidades matemáticas e de raciocínio, outras áreas ainda requerem melhorias.
Notavelmente, o Alibaba disponibilizou o modelo de IA por meio de um Hugging Face listagem e tanto indivíduos quanto empresas podem baixá-lo para fins pessoais, acadêmicos e comerciais sob a licença Apache 2.0. No entanto, a empresa não disponibilizou os pesos e dados do modelo, o que significa que os usuários não podem replicar o modelo ou entender como funciona a arquitetura.
source – www.gadgets360.com
