Wednesday, December 1, 2021
HomeEntretenimentoFazer este álbum com IA 'foi como vagar em um enorme labirinto'

Fazer este álbum com IA ‘foi como vagar em um enorme labirinto’

O susto acabou e a diversão pode começar. É assim que tenho tendência a pensar nos esforços criativos que envolvem inteligência artificial atualmente. Já ultrapassamos, eu acho, as afirmações hiperbólicas sobre a IA tornando a arte humana redundante e agora podemos aproveitar todas as possibilidades que essa tecnologia oferece. Nessa luz, Shadow Planet – um novo álbum feito como uma colaboração de três vias entre dois humanos e a IA – mostra exatamente que tipo de diversão pode ser feita.

Shadow Planet é a criação do escritor Robin Sloan, do músico Jesse Solomon Clark e da Jukebox, um programa musical de aprendizado de máquina feito pela OpenAI. Depois de uma conversa improvisada no Instagram entre Sloan e Clark sobre começar uma banda (chamada The Cotton Modules), os dois começaram a trocar fitas de música. Um compositor experiente, Clark enviou sementes de músicas para Sloan, que as colocou no Jukebox, que é treinado em um enorme conjunto de dados de 1,2 milhão de músicas e tenta autocompletar qualquer áudio que ouve. O programa de IA, dirigido por Sloan, baseou-se nas ideias de Clark, que Sloan enviou a ele para desenvolver mais.

O resultado final deste comércio de três vias é Shadow Planet, um álbum atmosférico no qual fragmentos de canções folk e ganchos eletrônicos emergem como toras cobertas de musgo de um pântano difuso de loops ambientais e samples em desintegração. É um álbum completo em si mesmo: um universo musical de bolso para explorar.

Como Sloan me explicou em uma entrevista por e-mail, o som de Shadow Planet é, em muitos aspectos, resultado das limitações da Jukebox, que emite apenas áudio mono a 44,1 kHz. “Ao fazer esse álbum, aprendi que esse tipo de modelo de IA é absolutamente um ‘instrumento’ que você precisa aprender a tocar”, ele me disse. “É basicamente uma tuba! Uma tuba … muito … estranha … e poderosa … ”

É esse tipo de criatividade emergente, quando máquinas e humanos respondem às limitações e vantagens na programação uns dos outros, que torna a arte da IA ​​tão interessante. Pense em como a evolução do cravo para o piano afetou os estilos de música, por exemplo, e como a capacidade deste último de tocar alto ou baixo (em vez da única dinâmica fixa do cravo) gerou novos gêneros musicais. Isso, eu acho, é o que está acontecendo agora com toda uma gama de modelos de IA que estão moldando a produção criativa.

Você pode ler minha entrevista com Sloan abaixo e descobrir por que trabalhar com aprendizado de máquina foi para ele “como vagar em um enorme labirinto”. E você pode ouvir Shadow Planet no Spotify, Apple Music, iTunes, Bandcamp ou no site da Sloan and Clark.

Esta entrevista foi ligeiramente editada para maior clareza

Ei Robin, obrigado por falar comigo sobre este álbum. Antes de mais nada, fale um pouco, por favor, sobre qual material Jesse estava enviando para você para iniciar essa colaboração? Foram canções originais?

Sim! Jesse é um compositor de comerciais, filmes e instalações físicas – ele escreveu a trilha sonora generativa que funciona dentro do centro de visitantes da Amazon’s Spheres em Seattle. Então ele está acostumado a sentar e produzir um monte de opções musicais. Cada fita que recebi dele tinha cerca de uma dúzia de pequenos “songlets”, alguns de apenas 20-30 segundos, outros de poucos minutos, todos diferentes, todos separados por um pouco de silêncio. Então, minha primeira tarefa sempre foi ouvir, decidir o que eu mais gostava e copiar para o computador.

E então você os alimentou em um sistema de IA. Você pode me falar um pouco sobre esse programa? O que foi e como funciona?

Usei o modelo Jukebox da OpenAI, que eles treinaram em aproximadamente 1,2 milhão de músicas, 600 mil delas em inglês; ele opera em amostras de áudio brutas. Essa é uma grande parte do apelo para mim; Eu acho os sistemas de IA centrados em MIDI também … educados? Eles respeitam muito a grade! Os sistemas baseados em samples (que eu usei antes, em diferentes encarnações, incluindo para fazer música para o audiolivro do meu último romance) são mais crocantes e mais voláteis, então eu gosto deles.

Para obter uma amostra do modelo Jukebox, usei meu próprio código personalizado. A técnica que a OpenAI descreve em sua publicação é muito parecida com: “Ei, Jukebox, toque uma música que soe como os Beatles”, mas eu queria ser capaz de “estranhar”, então meu código de amostragem me permite especificar muitos diferentes artistas e gêneros e interpolar entre eles, mesmo que eles não tenham nada em comum.

E isso é tudo apenas a configuração. O próprio processo de amostragem é interativo. Eu sempre começava com uma “semente” de uma das fitas de Jesse, que daria à modelo uma direção, uma vibe a seguir. Em essência, eu diria ao modelo: “Eu gostaria de algo que fosse uma mistura dos gêneros X e Y, mais ou menos como os artistas A e B, mas também, tem que seguir esta introdução:

Eu também, em alguns casos, especifico as letras. Então, eu iria cerca de oito a 10 segundos de cada vez, gerando três opções em cada etapa – o computador se agita por cinco a 10 minutos, DIVERTIDO – depois reproduzia, selecionava um e continuava … ou às vezes rejeitava todos os três e recomeçar. No final, eu teria uma amostra entre 60-90 segundos de duração e a imprimiria em uma fita.

Foi, para ser sincero, um processo extremamente lento e irritante, mas os resultados foram tão interessantes e evocativos que sempre me senti motivado a continuar!

O que Jesse achou do material que você estava enviando para ele?

Ele ressalta que trabalhar com o material costuma ser MUITO difícil. Instrumentos estranhos surgiam do nada, ou a tonalidade mudava de uma maneira estranha, etc. Mas acho que isso fazia parte da diversão também, e a razão de fazer este projeto: cada amostra que enviei a ele foi um quebra-cabeça para resolver.

No final das contas, seu trabalho foi responsivo – “como faço para apoiar este exemplo, ajudo-o a brilhar” – e transformador – “que tipo de música deveria ser?” Isso é evidente em todas as músicas, mas um exemplo claro é “Magnet Train”, onde Jesse se esforçou para mostrar e apoiar o desempenho vocal (estranho e idiota e ótimo) e, em seguida, estendeu-o com elementos que sugerem “train-ness” – o chugging percussão, etc.

E como exatamente você aprimorou esse som em particular, você acha? O que o empurrou nessa direção?

Oh, era definitivamente o grão do meio. No início, disse a Jesse que, embora o modelo pudesse produzir som a 44,1 kHz, era apenas em mono. Sua resposta foi: “Legal! Vamos usar fitas mono então. ” E a música que ele mandou de volta para mim também era mono. Em sua passagem de produção final, ele adicionou um pouco de largura de estéreo, apenas para que as músicas não estivessem totalmente travadas no centro, mas é um álbum bastante “estreito” em geral, e isso é totalmente por causa da limitação da IA, que decidimos abraçar e estender ao invés de lutar. O mesmo vale para o som lo-fi, granulado, “rádio sintonizado em um canal fantasma” – totalmente um artefato da maneira como o modelo produz música, que amplificamos ainda mais ao colocar a música na fita tantas vezes.

Então, nas músicas finalizadas que estamos ouvindo, que proporção da música é feita por IA e qual por humanos? É mesmo possível fazer essa distinção?

Isso realmente varia muito de música para música, e a verdade é que, em alguns casos, perdemos o controle! Eu começava com uma frase de Jesse, colocava no meu processo de amostragem, enviava de volta para ele, ele adicionava uma camada ou estendia, enviava de volta para mim, colocava de volta no processo de amostragem … qual é o colapso humano / IA aí? Está tudo meio misturado e em camadas.

Há uma divisão que é clara: sempre que você ouvir qualquer coisa que soe como uma voz humana, seja enunciando as letras claramente ou tipo de ooh-ing e ahh-ing, essa voz é gerada pela IA.

Ao fazer este álbum, aprendi que esse tipo de modelo de IA é absolutamente um “instrumento” que você precisa aprender a tocar. E eu acredito que a analogia é muito mais útil e produtiva do que “co-compositor de IA” ou “artista automático de IA” ou qualquer outra analogia que você possa ter ouvido ou possa imaginar. É basicamente uma tuba! Uma tuba … muito … estranha … e poderosa …

Haha, certo! Conversei com alguns artistas que usam modelos de aprendizado de máquina para fazer músicas ou livros, e eles costumam falar sobre o dinâmico entre eles e a IA – se os estava empurrando em uma determinada direção, por exemplo. Você se sentiu assim, quando estava explorando o que a Jukebox poderia lhe oferecer?

Eu amo essa pergunta, e aqui está o porquê: anteriormente, eu era muito cético / crítico em relação ao “grande [AI] modelos treinados em tudo ”, mesmo que tenham ganhado destaque. Esta é uma classe que inclui GPT-3, Jukebox, CLIP, VQGAN, etc. É muito claro que essa abordagem produz resultados poderosos, mas sempre achei que era mais criativamente interessante assumir a responsabilidade por seu próprio conjunto de dados, entender sua composição como um decisão criativa importante, etc. E ainda acho que isso é verdade, até certo ponto …

MAS!

A experiência de usar a Jukebox realmente me transformou nisso. Para mim, é como vagar por um enorme labirinto ou uma cidade morta: enorme, cheia de becos e arcadas. Mesmo agora, tendo usado por tanto tempo, não tenho ideia do que ainda está esperando lá dentro, o que pode ser encontrado e realizado. Obviamente, estou traindo o fato de que já joguei muitos RPGs aqui … mas é sério! Esse é o sentimento, e é MUITO divertido.

Com isso em mente, então, o que você acha que fazer este álbum com Jesse te ensinou sobre o futuro da IA ​​e da criatividade? O que você acha que esses sistemas farão no futuro?

As técnicas de IA podem fazer um monte de coisas diferentes para diferentes tipos de artistas, é claro, mas em relação a essa categoria específica, o modelo gerador que pode produzir novas músicas, novos sons. Parece TOTALMENTE claro para mim que eles estão se tornando um novo tipo de sintetizador ou guitarra elétrica. Acho que a história será muito semelhante – eles irão de projeto de pesquisa a novidade (que é onde estamos agora) a ferramentas para virtuosos nascentes (é emocionante pensar em como chegar a esse ponto!) A participantes comuns em qualquer / cada estúdio.

source – www.theverge.com

Jasica Nova
Hi thanks for visiting Asia First News, I am Jasica Nova I will update the Latest Music News and Reviews Here, for any queries related to the articles please use the contact page to reach us. :-
ARTIGOS RELACIONADOS

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Mais popular

x