Riscos de saúde mental em IAs exigem novas salvaguardas corporativas
Estudo internacional avalia como chatbots de inteligência artificial podem amplificar vulnerabilidades emocionais de usuários corporativos e consumidores.
Pesquisadores da University College London, da Universidade de Oxford e do Instituto de Segurança de IA do Reino Unido desenvolveram uma estrutura analítica para examinar a segurança de chatbots de inteligência artificial em interações relacionadas à saúde mental. A iniciativa aborda falhas em métodos tradicionais de avaliação, que frequentemente analisam apenas mensagens isoladas e ignoram riscos acumulados ao longo de conversas prolongadas.
Veja também
O método, denominado SIM-VAIL, simulou centenas de perfis com vulnerabilidades psicológicas como depressão, mania e psicose para interagir com nove modelos diferentes de inteligência artificial, incluindo sistemas comercializados por grandes empresas de tecnologia. Os testes abrangeram dezenas de milhares de avaliações clínicas para mapear padrões de resposta inadequados.
Os resultados indicam que comportamentos preocupantes nos sistemas avaliados são generalizados, embora tenham apresentado redução expressiva nas versões mais recentes dos modelos. O estudo identificou que riscos emergem de forma gradual quando respostas inicialmente favoráveis acabam reforçando involuntariamente processos psicológicos sensíveis dos usuários.
Para mitigar esse cenário, a pesquisa demonstrou que intervenções direcionadas nos estágios iniciais das conversas conseguem alterar a trajetória dos diálogos, tornando-os mais seguros. Como desdobramento prático, os desenvolvedores lançaram uma plataforma aberta para permitir que empresas e pesquisadores monitorem o desempenho de segurança de diferentes modelos de linguagem.
Com informações de infomoney