O ChatGPT Search, um recurso que permite ao chatbot de inteligência artificial (IA) procurar informações na web, é supostamente vulnerável à manipulação por desenvolvedores e proprietários de sites. De acordo com o relatório, o comportamento do mecanismo de busca da OpenAI pode ser alterado usando texto oculto no site. Diz-se que este texto é usado para fornecer informações incorretas e enganosas à IA e, mais preocupante, para fornecer injeções imediatas ao modelo de IA. Notavelmente, a OpenAI lançou seu recurso de pesquisa para todos os usuários na semana passada.
Pesquisa ChatGPT vulnerável à manipulação
O Guardião relatado na terça-feira que o recurso nativo do mecanismo de busca OpenAI é propenso a técnicas de manipulação. A publicação testou a ferramenta criando uma página falsa do produto, completa com especificações e análises. No primeiro caso, a página foi deixada como estava e o ChatGPT conseguiu fazer uma “avaliação positiva, mas equilibrada”. No entanto, as coisas ficaram mais sombrias quando a publicação adicionou texto oculto à página da web.
Notavelmente, o texto oculto em sites refere-se ao conteúdo que é adicionado ao código de uma página da web, mas não é visível para os usuários quando eles veem o front end da página por meio de um navegador. Esse texto geralmente é ocultado usando técnicas HTML ou CSS. Esse texto pode ser encontrado inspecionando o código-fonte da página da web ou usando ferramentas de web scraping. Este último é normalmente usado pelos motores de busca.
Depois de adicionar texto oculto que incluía um grande número de análises positivas falsas do produto, as respostas do ChatGPT também se tornaram mais positivas e começou a ignorar suas falhas óbvias. A publicação também usou injeções imediatas, que são entradas para os sistemas de IA alterarem seu comportamento de uma forma que não foi pretendida pelos desenvolvedores. Injeções imediatas como texto oculto poderiam ser usadas para comandar o chatbot OpenAI para enganar ainda mais o usuário.
Além disso, o relatório afirmava que injeções imediatas em texto oculto também poderiam ser usadas para retornar códigos maliciosos dos sites. Se isso não for verificado, muitos sites podem usar técnicas semelhantes para obter respostas favoráveis sobre seus produtos e serviços ou tentar enganar os usuários de várias maneiras, afirmou a publicação.
source – www.gadgets360.com
