Uma mulher ruiva fica na lua, seu rosto obscurecido. Seu corpo nu parece pertencer a um pôster que você encontraria na parede do quarto de uma adolescente cheia de hormônios – isto é, até chegar ao seu torso, onde três braços saem de seus ombros.
Sistemas baseados em IA, como Stable Diffusion, que traduzem mensagens de texto em imagens, têm sido usados por marcas e artistas para criar imagens conceituais, impressões premiadas (embora controversas) e campanhas de marketing completas.
Mas alguns usuários, com a intenção de explorar o lado mais obscuro dos sistemas, os testaram para um tipo diferente de caso de uso: pornografia.
A pornografia de IA é tão perturbadora e imperfeita quanto você esperaria (aquela ruiva na lua provavelmente não foi gerada por alguém com um fetiche extra por braço). Mas, à medida que a tecnologia continua a melhorar, ela evoca questões desafiadoras para especialistas em IA e profissionais do sexo.
A pornografia criada usando os mais recentes sistemas de geração de imagens chegou pela primeira vez através dos fóruns de discussão 4chan e Reddit no início deste mês, depois que um membro do 4chan vazou o sistema de difusão estável de código aberto antes de seu lançamento oficial. Então, na semana passada, foi lançado o que parece ser um dos primeiros sites dedicados à geração de pornografia de IA de alta fidelidade.
Chamado Porn Pen, o site permite que os usuários personalizem a aparência de modelos nus gerados por IA – todos mulheres – usando tags alternáveis como “babe”, “modelo de lingerie”, “gordinho”, etnias (por exemplo, “russo” e ” Latina”) e cenários (por exemplo, “quarto”, “chuveiro” e curingas como “lua”). Os botões capturam modelos de frente, de trás ou de lado e alteram a aparência da foto gerada (por exemplo, “foto de filme”, “selfie espelhada”). No entanto, deve haver um bug nas selfies do espelho, porque no feed de imagens geradas pelo usuário, alguns espelhos não refletem uma pessoa – mas é claro que esses modelos não são pessoas. Porn Pen funciona como “Esta pessoa não existe”, só que é NSFW.
No fórum Hacker News do Y Combinator, um usuário que se diz o criador descreve o Porn Pen como um “experimento” usando modelos de texto para imagem de ponta. “Removi explicitamente a capacidade de especificar texto personalizado para evitar a geração de imagens prejudiciais”, escreveram eles. “Novas tags serão adicionadas assim que o algoritmo de engenharia de prompt for ajustado ainda mais.” O criador não respondeu ao pedido de comentário do TechCrunch.
Mas o Porn Pen levanta uma série de questões éticas, como preconceitos nos sistemas de geração de imagens e as fontes dos dados dos quais elas surgiram. Além das implicações técnicas, é de se perguntar se a nova tecnologia para criar pornografia personalizada – supondo que ela se popularize – poderia prejudicar os criadores de conteúdo adulto que ganham a vida fazendo o mesmo.
“Eu acho que é um tanto inevitável que isso venha a existir quando [OpenAI’s] DALL-E fez”, disse Os Keyes, candidato a doutorado na Universidade de Seattle, ao TechCrunch por e-mail. “Mas ainda é deprimente como as opções e os padrões replicam um olhar muito heteronormativo e masculino.”
Ashley, uma trabalhadora do sexo e organizadora de pares que trabalha em casos envolvendo moderação de conteúdo, acha que o conteúdo gerado pelo Porn Pen não é uma ameaça para as trabalhadoras do sexo em seu estado atual.
“Existe uma infinidade de mídias por aí”, disse Ashley, que não queria que seu sobrenome fosse publicado por medo de ser assediada por seu trabalho. “Mas as pessoas se diferenciam não apenas por fazer a melhor mídia, mas também por serem uma pessoa acessível e interessante. Vai demorar muito até que a IA possa substituir isso.”
Em sites pornográficos monetizáveis existentes, como OnlyFans e ManyVids, os criadores adultos devem verificar sua idade e identidade para que a empresa saiba que eles são adultos consentidos. Modelos pornográficos gerados por IA não podem fazer isso, é claro, porque não são reais.
Ashley se preocupa, no entanto, que se os sites pornográficos reprimirem a pornografia de IA, isso pode levar a restrições mais duras para profissionais do sexo, que já enfrentam maior regulamentação de legislações como SESTA/FOSTA. O Congresso introduziu o Safe Sex Workers Study Act em 2019 para examinar os efeitos dessa legislação, o que dificulta o trabalho sexual online. Este estudo descobriu que “as organizações comunitárias [had] relataram aumento da falta de moradia de profissionais do sexo” depois de perder a “estabilidade econômica fornecida pelo acesso a plataformas online”.
“O SESTA foi vendido como combate ao tráfico sexual infantil, mas criou uma nova lei criminal sobre prostituição que não tinha nada sobre idade”, disse Ashley.
Atualmente, poucas leis em todo o mundo dizem respeito à pornografia deepfaked. Nos EUA, apenas a Virgínia e a Califórnia têm regulamentações que restringem certos usos de mídia pornográfica falsificada e falsificada.
Sistemas como Stable Diffusion “aprendem” a gerar imagens a partir de texto por exemplo. Alimentados com bilhões de fotos rotuladas com anotações que indicam seu conteúdo – por exemplo, uma foto de um cachorro rotulada “Dachshund, lente grande angular” – os sistemas aprendem que palavras e frases específicas se referem a estilos de arte específicos, estética, locais e assim por diante .
Isso funciona relativamente bem na prática. Um prompt como “uma pintura de pássaro no estilo de Van Gogh” previsivelmente produzirá uma imagem de Van Gogh representando um pássaro. Mas fica mais complicado quando os prompts são mais vagos, referem-se a estereótipos ou tratam de assuntos com os quais os sistemas não estão familiarizados.
Por exemplo, o Porn Pen às vezes gera imagens sem uma pessoa – presumivelmente uma falha do sistema em entender o prompt. Outras vezes, como mencionado anteriormente, mostra modelos fisicamente improváveis, tipicamente com membros extras, mamilos em lugares inusitados e carne contorcida.
“Por definição [these systems are] vai representar aqueles cujos corpos são aceitos e valorizados na sociedade dominante”, disse Keyes, observando que o Porn Pen só tem categorias para pessoas cisnormativas. “Não me surpreende que você acabe com um número desproporcionalmente alto de mulheres, por exemplo.”
Embora o Stable Diffusion, um dos sistemas que provavelmente sustentam o Porn Pen, tenha relativamente poucas imagens “NSFW” em seu conjunto de dados de treinamento, os primeiros experimentos de Redditors e usuários do 4chan mostram que ele é bastante competente em gerar deepfakes pornográficos de celebridades (Porn Pen – talvez não coincidentemente — tem uma opção de “celebridade”). E porque é de código aberto, não haveria nada para impedir o criador do Porn Pen de ajustar o sistema em imagens de nudez adicionais.
“Definitivamente não é bom gerar [porn] de uma pessoa existente”, disse Ashley. “Pode ser usado para assediá-los.”
A pornografia deepfake é frequentemente criada para ameaçar e assediar as pessoas. Essas imagens são quase sempre desenvolvidas sem o consentimento do sujeito por intenção maliciosa. Em 2019, a empresa de pesquisa Sensity AI descobriu que 96% dos vídeos deepfake online eram pornografia não consensual.
Mike Cook, pesquisador de IA que faz parte do coletivo Knives and Paintbrushes, diz que existe a possibilidade de o conjunto de dados incluir pessoas que não consentiram que sua imagem fosse usada para treinamento dessa maneira, incluindo profissionais do sexo.
“Muitos [the people in the nudes in the training data] podem obter sua renda produzindo pornografia ou conteúdo adjacente a pornografia”, disse Cook. “Assim como artistas plásticos, músicos ou jornalistas, as obras que essas pessoas produziram estão sendo usadas para criar sistemas que também prejudicam sua capacidade de ganhar a vida no futuro.”
Em teoria, um ator pornô poderia usar proteções de direitos autorais, difamação e potencialmente até mesmo leis de direitos humanos para combater o criador de uma imagem deepfaked. Mas, como observa um artigo do MIT Technology Review, reunir evidências em apoio ao argumento legal pode ser um grande desafio.
Quando ferramentas de IA mais primitivas popularizaram a pornografia deepfake há vários anos, uma investigação da Wired descobriu que vídeos deepfake não consensuais estavam acumulando milhões de visualizações em sites pornográficos convencionais como o Pornhub. Outros trabalhos deepfake encontraram um lar em sites semelhantes ao Porn Pen – de acordo com dados da Sensity, os quatro principais sites pornográficos deepfake receberam mais de 134 milhões de visualizações em 2018.
“A síntese de imagens de IA agora é uma tecnologia difundida e acessível, e não acho que alguém esteja realmente preparado para as implicações dessa onipresença”, continuou Cook. “Na minha opinião, nos precipitamos muito, muito longe no desconhecido nos últimos anos, com pouca consideração pelo impacto dessa tecnologia.”
Para Cook, um dos sites mais populares de pornografia gerada por IA se expandiu no final do ano passado por meio de acordos de parceiros, referências e uma API, permitindo que o serviço – que hospeda centenas de deepfakes não consensuais – sobreviva às proibições em sua infraestrutura de pagamentos. E em 2020, pesquisadores descobriram um bot do Telegram que gerou imagens deepfake abusivas de mais de 100.000 mulheres, incluindo meninas menores de idade.
“Acho que veremos muito mais pessoas testando os limites da tecnologia e da sociedade na próxima década”, disse Cook. “Devemos aceitar alguma responsabilidade por isso e trabalhar para educar as pessoas sobre as ramificações do que estão fazendo.”
source – techcrunch.com
