Galactica é o primeiro passo em direção a um assistente de rede neural científica ideal
Nos últimos anos, observamos um avanço significativo em Inteligência Artificial e modelos de linguagem grandes (LLMs). Desde o GPT-3 da OpenAI, que gera textos quase precisos em poucos segundos, até sua contraparte de código aberto BLOOM, magníficos LLMs podem ser vistos um após o outro. Agora, o novo desenvolvimento em inteligência artificial é Galactica. Galactica é o primeiro passo em direção a um assistente de rede neural científica ideal.
Todo esse avanço impressionante se tornou possível devido à enorme quantidade de dados disponíveis na internet e à disponibilidade de GPUs poderosas. Por melhor que pareça, o treinamento de um LLM é um processo extremamente caro, tanto em termos de requisitos de dados quanto de hardware. Estamos falando de modelos de IA com trilhões de parâmetros, portanto não é uma tarefa fácil alimentar esses modelos de IA com dados suficientes. No entanto, depois de obtê-lo com sucesso, você obtém um desempenho fascinante deles. Galactica é o primeiro passo em direção a um assistente de rede neural científica ideal. Essa assistência científica final será a interface de como acessamos o conhecimento. A Galactica lidará com o complicado processo de sobrecarga de informações enquanto você se concentra em tomar decisões com base nas informações fornecidas.
Então, como funciona a Galactica? Basicamente, é um modelo de linguagem GRANDE per se, portanto contém bilhões de parâmetros treinados em bilhões de pontos de dados. AS Galactica é desenvolvida para ser um assistente científico, a fonte óbvia de dados de treinamento são os trabalhos de pesquisa. A esse respeito, mais de 48 milhões de trabalhos de pesquisa, 2 milhões de amostras de código, 8 milhões de notas de palestras e livros didáticos foram usados para construir os dados de treinamento da Galactica. No final, um conjunto de dados com 106 bilhões de tokens é usado. A Galactica foi usada para escrever seu próprio artigo, então isso faz da Galactica um dos primeiros modelos de IA a se apresentar. E pode ser usado para escrever muito mais artigos em um futuro próximo. Esta foi uma breve ideia sobre o Galactica, o novo modelo de IA da Meta projetado para ajudar na recuperação do conhecimento científico.
O post Galactica: AI Model for the Ultimate Scientific Assistance apareceu primeiro em Analytics Insight.
source – www.analyticsinsight.net
