Pedir conselhos à inteligência artificial pode ser tentadora. Alimentados por grandes modelos de idiomas (LLMS), os chatbots da AI estão disponíveis 24 horas por dia, 7 dias por semana, geralmente são gratuitos para usar e desenham dados de dados para responder a perguntas. Agora, as pessoas com condições de saúde mental estão pedindo conselhos à IA ao experimentar possíveis efeitos colaterais dos medicamentos psiquiátricos-uma situação decididamente de risco mais alto do que pedir para resumir um relatório.
Uma pergunta intrigando a comunidade de pesquisa de IA é como a IA se apresenta quando feita sobre emergências de saúde mental. Globalmente, inclusive nos EUA, há uma lacuna significativa no tratamento da saúde mental, com muitas pessoas tendo limitado ao acesso a cuidados de saúde mental. Não é surpresa que as pessoas tenham começado a se voltar para os chatbots da IA com perguntas urgentes relacionadas à saúde.
Agora, pesquisadores do Instituto de Tecnologia da Geórgia desenvolveram uma nova estrutura Para avaliar o quão bem a IA Chatbots pode detectar possíveis reações adversas a medicamentos nas conversas de bate -papo e quão intimamente seus conselhos se alinham com especialistas em humanos. O estudo foi liderado por Design de desenvolvimentoJZ Liang Professor Associado no Escola de Computação Interativae Mohit Chandraum Ph.D. de ciência da computação do terceiro ano. estudante.
“As pessoas usam a IA Chatbots para tudo e qualquer coisa”, disse Chandra, o primeiro autor do estudo. “Quando as pessoas têm acesso limitado aos prestadores de serviços de saúde, é cada vez mais provável que se voltem para os agentes da IA para entender o que está acontecendo com eles e o que eles podem fazer para resolver seu problema. Ficamos curiosos como essas ferramentas se sairiam, dado que os cenários de saúde mental podem ser muito subjetivos e matizados”.
De Choudhury, Chandra e seus colegas introduziram sua nova estrutura Na Conferência Anual de 2025 das Nações das Américas do Capítulo da Associação de Linguística Computacional em 29 de abril de 2025.
Colocando ai à prova
Entrando em suas pesquisas, de Choudhury e Chandra queriam responder a duas perguntas principais: primeiro, a IA Chatbots pode detectar com precisão se alguém está tendo efeitos colaterais ou reações adversas à medicação? Segundo, se eles podem detectar com precisão esses cenários, os agentes da IA podem recomendar boas estratégias ou planos de ação para mitigar ou reduzir os danos?
Os pesquisadores colaboraram com uma equipe de psiquiatras e estudantes de psiquiatria para estabelecer respostas clinicamente precisas de uma perspectiva humana e usaram aqueles para analisar as respostas da IA.
Para construir seu conjunto de dados, eles foram à praça pública da Internet, Reddit, onde muitos passaram por anos para fazer perguntas sobre medicamentos e efeitos colaterais.
Eles avaliaram nove LLMs, incluindo modelos de uso geral (como GPT-4O e LLAMA-3.1) e modelos médicos especializados treinados em dados médicos. Usando os critérios de avaliação fornecidos pelos psiquiatras, eles calcularam o quão preciso os LLMs eram na detecção de reações adversas e categorizando corretamente os tipos de reações adversas causadas por medicamentos psiquiátricos.
Além disso, eles levaram o LLMS a gerar respostas para consultas publicadas no Reddit e compararam o alinhamento das respostas do LLM com as fornecidas pelos médicos com mais de quatro critérios: (1) emoção e tom expressos, (2) legibilidade de resposta, (3) estratégias de redução de danos propostos e (4) acordabilidade das estratégias propostas.
A equipe de pesquisa descobriu que os LLMs tropeçam ao compreender as nuances de uma reação adversa do medicamento e distinguir diferentes tipos de efeitos colaterais. Eles também descobriram que, embora os LLMs pareciam psiquiatras humanos em seus tons e emoções – como serem úteis e educados – eles tiveram dificuldade em fornecer conselhos reais e acionáveis alinhados aos especialistas.
Bots melhores, melhores resultados
As descobertas da equipe podem ajudar os desenvolvedores de IA a criar chatbots mais seguros e eficazes. Os objetivos finais de Chandra são informar os formuladores de políticas sobre a importância de chatbots precisos e ajudar pesquisadores e desenvolvedores a melhorar o LLMS, tornando seus conselhos mais acionáveis e personalizados.
Chandra observa que a melhoria da IA para preocupações com a saúde psiquiátrica e mental seria particularmente transformada na vida para as comunidades que não têm acesso aos cuidados de saúde mental.
“Quando você olha para populações com pouco ou nenhum acesso aos cuidados de saúde mental, esses modelos são ferramentas incríveis para as pessoas usarem em suas vidas diárias”, disse Chandra. “Eles estão sempre disponíveis, podem explicar coisas complexas em seu idioma nativo e se tornam uma ótima opção para suas consultas.
“Quando a IA fornece informações incorretas por engano, ela pode ter sérias implicações na vida real”, acrescentou Chandra. “Estudos como esse são importantes, porque ajudam a revelar as deficiências do LLMS e a identificar onde podemos melhorar”.
Citação: Experiência vivida não encontrada: LLMS lutam para se alinhar com os especialistas no tratamento de reações adversas a medicamentos do uso de medicamentos psiquiátricos (Chandra et al., NAACL 2025).
Financiamento: National Science Foundation (NSF), American Foundation for Suicide Prevention (AFSP), Microsoft acelera o programa de concessão de pesquisa de modelos de fundação. As descobertas, interpretações e conclusões deste artigo são as dos autores e não representam as visões oficiais da NSF, AFSP ou Microsoft.