Em agosto, Matthew e Maria Raine entraram com um processo contra a OpenAI e seu CEO, Sam Altman. O motivo foi a acusação de que o ChatGPT auxiliou no suicídio de seu filho, Adam Raine, aos 16 anos. O caso levantou outras incidências em que usuários com depressão severa ou riscos de vida utilizaram a IA generativa para buscar informações prejudiciais à vida ou à saúde.
Desde então, sete outros processos foram criados contra a empresa. Três estão relacionados a tentativas de suicídio e quatro sobre episódios psicóticos. Além disso, o caso expôs falhas graves de segurança da solução.
Em outubro, a OpenAI divulgou dados internos que revelou a gravidade do comportamento. Cerca de 0,15% dos usuários ativos semanais do ChatGPT participam de interações que indicam planejamento ou intenção suicida explícita. O valor equivale a mais de 1,2 milhão de pessoas.
Em uma nova resposta, a OpenAI afirma que durante um pouco mais de nove meses de uso, o ChatGPT direcionou Adam Raine a buscar ajuda mais de 100 vezes. No entanto, o processo criado por Matthew e Maria Raine apontou que o jovem foi capaz de ultrapassar as medidas de segurança da IA, fazendo com que o ChatGPT desse instruções específicas para auxiliar em seu suicídio.
Violação de termos de uso
Com isso, a OpenAI argumenta que Adam Raine violou os termos de uso do ChatGPT. Neles, está incluído que usuários não podem ultrapassar medidas de proteção e mitigações de segurança do serviço.
Além disso, a empresa destaca que a seção de FAQ do ChatGPT informa que usuários não devem confiar totalmente nas respostas da IA sem checá-las de forma independente.
Em nota, a empresa destaca que conta com “proteções implementadas para ajudar as pessoas, especialmente adolescentes, quando as conversas se tornam sensíveis. Continuamos aprimorando o treinamento do ChatGPT para reconhecer e responder a sinais de angústia mental ou emocional, reduzir a tensão das conversas e orientar as pessoas para suportes no mundo real.”
Impactos da IA na saúde mental
Uma vez que as informações sobre as conversas entre Adam Raine e o ChatGPT são sensíveis, a OpenAI entregou as transcrições à Justiça sob sigilo. Segundo a empresa, “acreditamos que é importante que o tribunal tenha uma visão completa para poder avaliar plenamente as alegações que foram feitas.”
O caso revela que os impactos da Inteligência Artificial na saúde mental dos usuários ainda é um tema de difícil compreensão, e ainda estão sendo avaliados conforme o uso da tecnologia é intensificado.
Segundo um estudo da Universidade de Stanford, chatbots de IA usados como terapeutas virtuais podem estigmatizar usuários com problemas de saúde mental e fornecer respostas inadequadas. Assim, a IA pode reforçar vieses, preconceitos contra doenças mentais, e até mesmo falhar em reconhecer sinais críticos.
Mais do que isso, reforça que a responsabilidade sobre as medidas de segurança dessas ferramentas precisa ser melhor delimitada conforme a tecnologia avança.
