A Futureverse, uma empresa de conteúdo e tecnologia de IA e metaverso, anunciou o lançamento do JEN-1, um novo modelo de IA para geração de texto para música. O JEN-1 é um avanço significativo na IA musical, pois é o primeiro modelo a alcançar desempenho de ponta em alinhamento texto-música e qualidade musical, mantendo a eficiência computacional.
“Avaliamos extensivamente o JEN-1 em relação a linhas de base de última geração em métricas objetivas e avaliações humanas. Os resultados demonstram que o JEN-1 produz música de qualidade perceptivelmente superior (85,7/100) em comparação com os melhores métodos atuais (83,8/100)”, escreveu o Futureverse.
Criar música a partir de texto é difícil devido à natureza complexa dos arranjos musicais e à necessidade de uma alta taxa de amostragem. De acordo com o artigo do Futureverse, o JEN-1 pode superar esses desafios, pois seu modelo de difusão é baseado em treinamento autorregressivo e não autorregressivo. Isso permite que o JEN-1 gere músicas realistas e criativas.
Por causa de sua eficiência computacional, é possível usar o JEN-1 para gerar música em tempo real, o que abre novas possibilidades para produção musical, performance ao vivo e realidade virtual.
O modelo AI usa um autoencoder especial e um modelo de difusão para produzir diretamente áudio estéreo detalhado a uma alta taxa de amostragem de 48kHz. Além disso, o JEN-1 evita a perda de qualidade usual ao converter recursos de áudio. O modelo é treinado em várias tarefas, incluindo gerar música, continuar sequências musicais e preencher partes que faltam, tornando-o versátil.
O JEN-1 também combina habilmente métodos autorregressivos e não autorregressivos para equilibrar a troca entre capturar dependências na música e gerá-la com eficiência. Além disso, o modelo de IA emprega técnicas de aprendizado inteligentes e é treinado para lidar com vários aspectos musicais ao mesmo tempo.
JEN-1 versus MusicLM, MusicGen e outros modelos de IA
O Futureverse compara o JEN-1 com os modelos atuais de última geração, como MusicLM do Google e MusicGen do Meta, e demonstra que sua abordagem produz melhores resultados em fidelidade e realismo.
A avaliação foi baseada no desempenho de diferentes modelos no conjunto de teste MusicCaps, que é um conjunto de dados de pares de música e texto. Futureverse usou medidas quantitativas e qualitativas para avaliar os modelos. As medidas quantitativas incluíram a pontuação FAD (Fidelity-Awareness-Disentanglement) e a pontuação CLAP (Continuity-and-Local-Anomaly-Penalties). As medidas qualitativas incluíram avaliações humanas da qualidade e alinhamento da música gerada.
Os resultados mostraram que JEN-1 superou os outros modelos em medidas quantitativas e qualitativas. JEN-1 teve as pontuações FAD e CLAP mais altas e recebeu as pontuações mais altas de avaliadores humanos. Além disso, o JEN-1 foi mais eficiente computacionalmente que os demais modelos, com apenas 22,6% dos parâmetros do MusicGen e 57,7% dos parâmetros do Noise2Music.
JEN-1 é um sinal do crescente potencial da IA na indústria da música. A IA já é usada para criar música, mas o JEN-1 é um passo significativo. É o primeiro modelo a alcançar desempenho de ponta em medidas quantitativas e qualitativas e também é mais eficiente computacionalmente do que os modelos anteriores.
Consulte Mais informação:
source – mpost.io
