O equivalente ao ChatGPT é de código aberto agora, mas parece não ter utilidade para os desenvolvedores
Parece o primeiro código aberto ChatGPT equivalente surgiu. É uma aplicação de RLHF (Reinforcement Learning with Human Feedback) construída sobre Arquitetura PaLM do Google, que tem 540 bilhões de parâmetros. PaLM + RLHF, ChatGPT Equivalent agora é de código aberto, é um modelo de geração de texto que age de forma semelhante ao ChatGPT, foi fornecido pelo desenvolvedor responsável pela engenharia reversa de sistemas AI de código fechado, como o Make-A-Video da Meta. Caracteriza-se como um trabalho em andamento. Para construir um sistema que pode executar quase todas as ações que ChatGPT pode, incluindo escrita de e-mail e sugestão de código, o sistema combina PaLM, um enorme modelo de linguagem do Google, e um método conhecido como Reinforcement Learning with Human Feedback, ou RLHF, para abreviar.
Por que esse equivalente do ChatGPT não tem utilidade para os desenvolvedores?
PaLM + RLHF, não é pré-treinado. Ou seja, o sistema não recebeu o treinamento essencial usando dados de exemplo da web para que funcione de verdade. Uma experiência semelhante ao ChatGPT não aparecerá magicamente após o download do PaLM + RLHF; isso precisaria gerar gigabytes de texto a partir do qual o modelo pode aprender e localizar hardware capaz de lidar com a demanda de treinamento. Até que um empreendimento bem financiado (ou pessoa) se dê ao trabalho de ensinar e torná-lo acessível ao público em geral, PaLM + RLHF não será capaz de substituir ChatGPT hoje.
A boa notícia é que vários projetos adicionais para copiar o ChatGPT estão se desenvolvendo rapidamente, incluindo um executado pela equipe de pesquisa CarperAI. O primeiro pronto para uso Modelo de IA semelhante ao ChatGPT treinados com feedback humano serão disponibilizados pela CarperAI em colaboração com o grupo aberto de pesquisa em IA EleutherAI, as start-ups Scale AI e Hugging Face e EleutherAI. A organização sem fins lucrativos LAION está liderando um esforço para reproduzir o ChatGPT usando os métodos de aprendizado de máquina mais recentes. O LAION forneceu o conjunto de dados inicial necessário para treinar a difusão estável. O que os aplicativos PaLM que usam RLHF poderão fazer? O desempenho nas atividades continua melhorando com a escala crescente do modelo, o que abre novas oportunidades. O PaLM pode ser dimensionado para até 540 bilhões de parâmetros. O GPT-3, em contraste, tem apenas aproximadamente 175.
ChatGPT e PaLM + RLHF:
Aprendizagem por Reforço com Feedback Humano, um método destinado a alinhar melhor os modelos de linguagem com o que os usuários desejam que eles alcancem, é um molho secreto compartilhado pelo ChatGPT e PaLM + RLHF. O RLHF envolve o ajuste fino de um modelo de linguagem usando um conjunto de dados que contém prompts (como “Explique o aprendizado de máquina para uma criança de seis anos”) combinado com o que os voluntários humanos esperam que o modelo diga (como “O aprendizado de máquina é uma forma de IA…”). PaLM é o modelo de linguagem usado em PaLM + RLHF. Depois de alimentar os prompts mencionados acima no modelo refinado, que produz várias respostas, os voluntários classificam cada resposta da melhor para a pior. As classificações são usadas para treinar um “modelo de recompensa”, que pega as respostas do modelo inicial e as classifica de acordo com a preferência enquanto filtra por
o procedimento de coleta de dados de treinamento é caro.
Além disso, o treinamento não é barato. O PaLM possui 540 bilhões de parâmetros ou componentes do modelo de linguagem que foram aprendidos no conjunto de treinamento. De acordo com um estudo de 2020, pode custar até US$ 1,6 milhão para criar um modelo de geração de texto com apenas 1,5 bilhão de parâmetros. E foram necessários 384 GPUs Nvidia A100, cada um custando milhares de dólares, três meses para treinar o modelo de código aberto Bloom, que contém 176 bilhões de parâmetros.
Executar um modelo treinado do tamanho de PaLM + RLHF também não é simples.
Um PC dedicado com aproximadamente oito GPUs A100 é necessário para o Bloom. O custo de execução do GPT-3 de geração de texto da OpenAI em uma única instância do Amazon Web Services, que contém mais de 175 bilhões de parâmetros, é estimado em cerca de US$ 87.000 por ano por meio da aritmética de fundo de envelope.
Conclusão:
A menos que um empreendimento bem financiado (ou indivíduo) se dê ao trabalho de ensinar e torná-lo acessível ao público, PaLM + RLHF não substituirá o ChatGPT hoje.
source – www.analyticsinsight.net
