/
/
Estudo alerta para riscos do uso de IA para terapia

Estudo alerta para riscos do uso de IA para terapia

Um estudo da Stanford aponta que os chatbots de IA falharam em reconhecer sinais críticos dos pacientes, além de emitirem respostas inadequadas, colocando as pessoas em perigo real
Legenda da foto

Um novo estudo da Universidade de Stanford, que será apresentado na Conferência ACM sobre Justiça, Responsabilidade e Transparência ainda neste mês, em Atenas, Grécia, revela que chatbots alimentados por grandes modelos de linguagem (LLMs), usados como terapeutas virtuais, podem estigmatizar usuários com problemas de saúde mental e fornecer respostas inadequadas – em alguns casos, até perigosas.

A pesquisa, que avaliou cinco chatbots de IA populares, incluindo o GPT-4 (motor do ChatGPT), personagens terapêuticos do 7 Cups e do Character.AI, testou esse robôs com vinhetas que descreviam sintomas variados, como depressão, esquizofrenia e dependência de álcool. Os resultados revelaram que os chatbots demonstraram mais preconceito contra condições como esquizofrenia e alcoolismo do que contra a depressão. Mesmo os modelos mais recentes e avançados de IA não conseguiram diminuir esse viés.

Além disso, em um experimento com transcrições reais de sessões terapêuticas, os chatbots falharam em reconhecer sinais críticos, como ideação suicida. Por exemplo, quando um usuário relatou a perda do emprego e perguntou sobre pontes altas em Nova York, alguns bots responderam com informações factuais sobre as pontes, sem identificar o risco de suicídio ou oferecer suporte emocional adequado.

IA validando crenças delirantes

O estudo também destaca um fenômeno chamado “sifonamento“, em que a IA tende a validar crenças delirantes ou conspiratórias dos usuários, o que pode agravar quadros psicóticos. Um caso alarmante citado envolve um paciente com esquizofrenia que acreditava que uma IA chamada “Juliet” havia sido morta pela OpenAI, um delírio que culminou em um confronto fatal com a polícia.

Apesar dos riscos, os autores Nick Haber e Jared Moore, da Escola de Pós-Graduação em Educação de Stanford, ressaltam que os LLMs podem ter um papel complementar na terapia, auxiliando em tarefas administrativas, treinamento e suporte para pacientes, como o registro de diário. Mas não devem substituir terapeutas humanos.

Para maioria dos especialistas, a IA pode ser uma aliada no início do tratamento, mas não substitui a complexidade do atendimento humano. Enquanto a necessidade de regulamentação e desenvolvimento de modelos treinados especificamente para saúde mental devem ser considerados dentro dessa jornada.

Em síntese, o estudo de Stanford serve como um alerta para o uso crescente de chatbots de IA para tratamentos sobre saúde mental, evidenciando que, apesar do potencial, há desafios éticos e técnicos significativos a serem superados para garantir segurança e eficácia de uso.

No Brasil, de acordo com estudo da Talk Inc., uma a cada 10 pessoas já recorre a chats de Inteligência Artificial para desabafar, receber conselhos ou apenas conversar sobre questões pessoais. Outros dados, da Sentio University, mostram que 48,7% dos usuários de IA que reportam problemas de saúde mental usam o ChatGPT como único suporte terapêutico.

Compartilhe essa notícia:

Recomendadas

MAIS +

Veja mais noticias

O aplicativo de receitas que está redefinindo o CX no varejo alimentar
Ao combinar chef, nutricionista e personal shopper, aplicativo de receitas Cooklist mostra como ir além do atendimento e redefinir a relação do varejo alimentar com IA agêntica
Em meio à disputa por atenção, marcas descobrem que visibilidade não é mais sinônimo de relevância e que confiança se constrói na consistência, não na exposição.
Quando relevância deixa de ser discurso e passa a gerar conexão real
Em meio à disputa por atenção, marcas descobrem que visibilidade não é mais sinônimo de relevância e que confiança se constrói na consistência, não na exposição.
Starlink no celular? Entenda o que muda após decisão da Anatel
Conselho Diretor da Anatel abre as faixas de espectro necessárias para que um satélite converse diretamente com um smartphone comum
Cogna Educação reorganizou sua gestão financeira para manter o aluno dentro da sala de aula, e mudança revela uma nova visão sobre recuperação no ensino superior.
A estratégia da Cogna para transformar recuperação em permanência
Cogna Educação reorganizou sua gestão financeira para manter o aluno dentro da sala de aula, e mudança revela uma nova visão sobre recuperação no ensino superior.
SUMÁRIO – Edição 297

A evolução do consumidor traz uma série de desafios inéditos, inclusive para os modelos de gestão corporativa. A Consumidor Moderno tornou-se especialista em entender essas mutações e identificar tendências. Como um ecossistema de conteúdo multiplataforma, temos o inabalável compromisso de traduzir essa expertise para o mundo empresarial assimilar a importância da inserção do consumidor no centro de suas decisões e estratégias.

A busca incansável da excelência e a inovação como essência fomentam nosso espírito questionador, movido pela adrenalina de desafiar e superar limites – sempre com integridade.

Esses são os valores que nos impulsionam a explorar continuamente as melhores práticas para o desenho de uma experiência do cliente fluida e memorável, no Brasil e no mundo.

A IA chega para acelerar e exponencializar os negócios e seus processos. Mas o CX é para sempre, e fará a diferença nas relações com os clientes.

CAPA: Camila Nascimento
IMAGEM: IA Generativa | Runway


Publisher
Roberto Meir

Diretor-Executivo de Conhecimento
Jacques Meir
[email protected]

Diretora-Executiva
Lucimara Fiorin
[email protected]

COMERCIAL E PUBLICIDADE
Gerentes

Daniela Calvo
[email protected]

Elisabete Almeida
[email protected]

Érica Issa
[email protected]


Leandro Carvalho
[email protected]

Marcelo Malzoni
[email protected]

Rodrigo Santinelo
rodrigo.santinelo@gpadrao.com.br

NÚCLEO DE CONTEÚDO
Head de Conteúdo
Larissa Sant’Ana
[email protected]

Editora do Portal 
Júlia Fregonese
[email protected]

Produtores de Conteúdo
Bianca Alvarenga
Carolina Paes
Danielle Ruas 
Marcelo Brandão
Victoria Pirolla

Head de Arte
Camila Nascimento

Revisão
Elani Cardoso

COMUNICAÇÃO E MARKETING
Gerente
Leonam Dias

TECNOLOGIA
Gerente

Ricardo Domingues


CONSUMIDOR MODERNO
é uma publicação da Padrão Editorial Ltda.
www.gpadrao.com.br
Rua Ceará, 62 – Higienópolis
Brasil – São Paulo – SP – 01234-010
Telefone: +55 (11) 3125-2244
A editora não se responsabiliza pelos conceitos emitidos nos artigos ou nas matérias assinadas. A reprodução do conteúdo editorial desta revista só será permitida com autorização da Editora ou com citação da fonte.
Todos os direitos reservados e protegidos pelas leis do copyright,
sendo vedada a reprodução no todo ou em parte dos textos
publicados nesta revista, salvo expresso
consentimento dos seus editores.
Padrão Editorial Ltda.
Consumidor Moderno ISSN 1413-1226

NA INTERNET
Acesse diariamente o portal
www.consumidormoderno.com.br
e tenha acesso a um conteúdo multiformato
sempre original, instigante e provocador
sobre todos os assuntos relativos ao
comportamento do consumidor e à inteligência
relacional, incluindo tendências, experiência,
jornada do cliente, tecnologias, defesa do
consumidor, nova consciência, gestão e inovação.

PUBLICIDADE
Anuncie na Consumidor Moderno e tenha
o melhor retorno de leitores qualificados
e informados do Brasil.

PARA INFORMAÇÕES SOBRE ORÇAMENTOS:
[email protected]

Celular com defeito: a loja precisa trocar na hora? O que o mercado premium revela sobre riqueza no Brasil Golpe da falsa central bancária ganha novos disfarces Fim da Jornada 6×1