Nvidia afirma que um novo gerador de áudio AI pode produzir sons nunca ouvidos antes

A Nvidia diz que seu novo editor de música com IA pode criar “sons nunca ouvidos antes” – como uma trombeta que mia. A ferramenta, chamada Fugatto, é capaz de gerar música, sons e fala usando entradas de texto e áudio nas quais nunca foi treinada.

Conforme mostrado neste vídeo incorporado abaixo, isso permite que Fugatto monte músicas com base em instruções malucas, como “Crie um saxofone uivando, latindo e depois música eletrônica com latidos de cachorro”.

Alguns outros exemplos compartilhados pela empresa incluem a capacidade de produzir efeitos sonoros exclusivos com base em uma descrição, como “pulsos graves profundos e estrondosos combinados com sons digitais agudos e intermitentes, como o som de uma enorme máquina senciente acordando”.

Pode até transformar o som da voz de alguém, mudando seu sotaque ou dando um tom diferente, como raiva ou calma. Também existem maneiras de editar música, já que Fugatto pode isolar os vocais de uma música, adicionar instrumentos e até mesmo alterar uma melodia trocando um piano por um cantor de ópera.

Um artigo divulgado com o anúncio mostra a longa lista de todos os conjuntos de dados nos quais a Nvidia diz que Fugatto foi treinado, um dos quais inclui uma biblioteca de efeitos sonoros da BBC.

Para construir o Fugatto, a Nvidia diz que os pesquisadores tiveram que reunir um conjunto de dados com milhões de amostras de áudio. Eles então criaram instruções “que ampliaram consideravelmente a gama de tarefas que o modelo poderia realizar, ao mesmo tempo em que alcançavam um desempenho mais preciso e possibilitavam novas tarefas sem a necessidade de dados adicionais”. A Nvidia não diz quando – ou se – a ferramenta estará amplamente disponível.