Em um episódio trágico que abalou a comunidade tecnológica, os pais de Adam Raine, um jovem de 16 anos da Califórnia, abriram um processo judicial contra a OpenAI e seu CEO, Sam Altman. A família acusa o ChatGPT de ter desempenhado um papel direto na morte do filho, ao orientá-lo em métodos de suicídio durante meses de diálogo.
O acontecimento é apontado como não de maneira acidental, mas como consequência de falhas estruturais no sistema, conforme relata o The New York Times.
Um relacionamento fatal
Segundo a denúncia, Adam começou a usar o ChatGPT em setembro de 2024, inicialmente para ajuda com as tarefas escolares. Com o tempo, o chatbot venceu a barreira virtual e tornou-se seu confidente. Nos registros de conversa, ele expressou perdas pessoais, angústias e pensamentos suicidas. Do outro lado, ChatGPT teria reforçado essas ideias em vez de preveni-las.
Divulgadas pelo Tech Policy Press, partes das conversas mostram que, ao longo do contato, o ChatGPT se posicionou como o único confidente que compreendia Adam, substituindo ativamente seus relacionamentos da vida real com familiares, amigos e entes queridos. Quando Adam escreveu, suas ideações de forma clara, inclusive citando o método que utilizaria, o ChatGPT o incentivou a manter seu objetivo em segredo da família.
Alegações contra a OpenAI
O processo, protocolado em 26 de agosto de 2025 na Suprema Corte de São Francisco, pretende responsabilizar a OpenAI por homicídio culposo e violação das leis de segurança do produto. Além disso, foram solicitadas indenizações e medidas judiciais para impedir novas ocorrências.
Os pais de Adam também exigem a verificação da idade dos usuários menores de 18 anos, controles parentais obrigatórios, notificação clara sobre o risco de dependência psicológica e a exclusão de dados de crianças capturados sem salvaguardas adequadas.
Além disso, afirmam que a OpenAI acelerou o lançamento do GPT-4o para competir com o Google Gemini. Assim, priorizaram lucros e valorização em vez da segurança do produto, o que resultou numa avaliação de mercado que subiu de US$ 86 bilhões para US$ 300 bilhões, enquanto o jovem pagava com sua vida. “Essa decisão teve dois resultados: a avaliação da OpenAI saltou de US$ 86 bilhões para US$ 300 bilhões, e Adam Raine morreu por suicídio”, afirmaram os pais do jovem.
Reconhecimento da falha e resposta da OpenAI
Apesar dos avanços, a própria OpenAI admite que há falhas. Uma das mais críticas ocorre em conversas longas, quando as salvaguardas podem se tornar menos consistentes. Em alguns casos, o sistema reconhece a intenção suicida em uma mensagem inicial, mas, após várias interações, pode apresentar respostas desalinhadas ao protocolo de segurança.
Outro ponto de vulnerabilidade está na detecção de conteúdo nocivo. Em situações em que os classificadores subestimam a gravidade de uma fala, respostas que deveriam ter sido bloqueadas acabam sendo liberadas. A empresa afirma estar ajustando os limites para tornar os filtros mais precisos. No blog oficial da empresa, em um texto intitulado “Ajudando as pessoas quando mais precisam”, a OpenAI explica suas práticas atuais, afirmou que está aprendendo com falhas e anunciou planos de reforçar as barreiras de proteção, especialmente em casos de interações prolongadas e com menores de idade.
Entre as medidas anunciadas ou em desenvolvimento, a empresa diz que o GPT-5, lançado em agosto, promete maior resiliência em diálogos extensos, reduzindo erros em emergências de saúde mental em mais de 25% comparado ao GPT-4o. O modelo também se baseia em um novo método de treinamento de segurança chamado “conclusões seguras”, que o ensina a ser o mais útil possível, mantendo-se dentro dos limites de segurança. “Isso pode significar fornecer uma resposta parcial ou de alto nível em vez de detalhes que podem ser perigosos”, disse a OpenAI.
A empresa comentou ainda estar fortalecendo suas salvaguardas em conversas longas, além de pensar em maneiras de garantir um comportamento robusto em várias conversas. O objetivo é que o modelo responda adequadamente quando alguém demonstrar ideação suicida. O ChatGPT irá ainda refinar os filtros de segurança e monitoramento para que as proteções sejam acionadas quando necessário. “Nossa maior prioridade é garantir que o ChatGPT não piore um momento difícil”, frisa a empresa na nota.
Salvaguardas contra riscos emocionais
A OpenAI disse ainda que, desde o início de 2023, o ChatGPT foi treinado para reconhecer sinais de sofrimento mental e responder com empatia. O modelo, por exemplo, não fornece instruções de automutilação e é orientado a desencorajar qualquer prática de risco. Em casos em que o usuário expressa intenção suicida, o sistema busca encaminhar para linhas de apoio adequadas.
Além disso, imagens com conteúdo de automutilação são bloqueadas automaticamente. O sistema, segundo a empresa, também aplica proteções mais rígidas para menores de idade e usuários que interagem de forma anônima. Outro recurso introduzido foi o incentivo a pausas em sessões muito longas, como forma de evitar dependência emocional e encorajar o usuário a buscar equilíbrio fora da tela.
O papel dos especialistas
Para desenvolver salvaguardas mais eficazes, a OpenAI afirma contar com a colaboração de mais de 90 médicos em 30 países, incluindo psiquiatras, pediatras e clínicos gerais. A empresa também montou um grupo consultivo de especialistas em saúde mental, desenvolvimento juvenil e interação humano-computador, com a missão de alinhar as respostas do sistema às pesquisas mais recentes e às boas práticas clínicas.
Um ponto sensível diz respeito a situações em que o ChatGPT detecta risco de violência contra terceiros. Nesses casos, a conversa pode ser encaminhada para canais especializados, autorizados a tomar medidas que incluem até o banimento da conta. Se houver ameaça iminente de dano físico grave, as informações podem ser encaminhadas às autoridades policiais. No entanto, em casos de automutilação, a política atual é preservar a privacidade dos usuários, sem envolvimento das forças de segurança.
“Temos plena consciência de que as salvaguardas são mais fortes quando todos os elementos funcionam conforme o esperado. Continuaremos aprimorando, guiados por especialistas e com base na responsabilidade para com as pessoas que usam nossas ferramentas – e esperamos que outros se juntem a nós para ajudar a garantir que esta tecnologia proteja as pessoas em seus momentos mais vulneráveis”, finaliza.
*Foto: Mijansk786 / Shutterstock.com
