O uso do ChatGPT no aconselhamento colocou Koko na sopa para sempre. O terapeuta de IA tem algumas dicas para a segurança do usuário
Encontrar o terapeuta certo para muitos é uma tarefa assustadora. A primeira das muitas bandeiras vermelhas é se alguém pode confiar bastante no terapeuta. É bastante irônico que as pessoas recorram a aplicativos móveis para esse fator ausente apenas para serem enganadas. A recente controvérsia de IA em torno do bot de terapia de Koko traz à tona os graves perigos que os aplicativos de IA ou os cuidados de saúde mediados por tecnologia não regulamentados carregam. Koko, uma plataforma gratuita de serviço de saúde mental, uma comunidade de suporte ponto a ponto conhecida por integrar a tecnologia de bot com a interface humana, tentou o chatGPT para entender se o chatbot de IA pode ser eficaz na geração de respostas apropriadas. O terapeuta de IA permite que os usuários postem seus problemas mentais para que outros usuários proponham algumas sugestões para resolvê-los. É uma espécie de terapia cognitivo-comportamental e estava fazendo uma enorme diferença na vida de milhares de pessoas. Isso implica que a IA generativa em geral e o chatGPT, em particular, serão indispensáveis para os terapeutas IRL, mas somente depois que a prática de usar o ChatGPT no aconselhamento ultrapassar os obstáculos legais e éticos.
Quando Rob Morris, o fundador e graduado do MIT, twittou sobre o experimento que Koko fez, no qual o chatGPT atendeu a mais de 30.000 solicitações para 4.000 usuários, ele não esperava que a tecnologia atraísse tais críticas. De acordo com o que ele twittou, as mensagens compostas por IA eram mais sintonizadas do que as compostas por humanos, com tempo de resposta reduzido para quase 50%. E depois ele reconhece que sua confusão foi um mal-entendido e que não deveria ter postado no Twitter. Depois de alguns dias de experimentação, teve que desligar quando perceberam o vazio da empatia simulada. Morris, explicando os porquês e comos, diz que as experiências inautênticas de um bot que não tem experiências vividas não correspondem às respostas humanas. Como as pessoas ficaram sabendo que um chatbot está gerando as respostas, ele perdeu sua autenticidade. Os usuários do Twitter criticaram Morris por usar informações do usuário sem seu consentimento e chamaram o experimento de antiético por explorar os dados do usuário em benefício da empresa.
Morris, no entanto, é de opinião que seu tweet foi tirado do contexto. No tweet que diz “Mensagens compostas por IA (e supervisionadas por humanos) foram avaliadas significativamente mais altas do que aquelas escritas por humanos por conta própria”, que atraiu a ira dos usuários do Twitter, ele diz que a palavra ‘humano’ implica que ele e seus equipe e não os usuários não solicitados. Ele acrescenta ainda que os usuários estavam bem cientes de que as respostas não são geradas apenas por humanos, mas sim colaborativas por IA e foram informados sobre o processo durante o processo de integração.
Dada a natureza do conhecimento e suas implicações sobre como a saúde é manipulada por uma tecnologia chatbot, traz preocupações éticas para os legisladores e reguladores, quanto mais os usuários são informados sobre a tecnologia em uso. A Food and Drug Administration, o órgão regulador das práticas de saúde nos EUA, estipula claramente que os pesquisadores devem realizar seus experimentos por meio do IRB, um conselho de revisão que garante a segurança dos experimentos sob a alçada da saúde e da medicina. As medidas de segurança incluem obter o consentimento informado das pessoas. Mas, as crescentes soluções tecnológicas que interferem nas formas tradicionais de atendimento médico representam um grande desafio para os reguladores, graças a leis mal definidas e limites nebulosos entre o que é ético e o que não é. Quando os experimentos são realizados fora do ambiente convencional, os desenvolvedores de tecnologia não são responsáveis pelas consequências e Koko é um caso típico em que a IA – uma tecnologia de caixa preta – está envolvida. A abordagem de Koko pode ser inovadora para lidar com problemas complicados de saúde mental e produzir alguns benefícios reais, mas, como os serviços não são testados para determinados parâmetros, eles não podem substituir o aconselhamento psiquiátrico real. Em uma nota positiva, pode-se dizer que o tweet de Morris apenas gerou conscientização entre os usuários sobre as ameaças potenciais de recorrer a bots de terapia de IA e também foi a única intenção de Morris ao postar o tweet.
source – www.analyticsinsight.net
