Quão arriscada é a IA que seu paciente usa? Agora podemos estimar

Co-autoria com Mark Kalinich, MD, PhDno Divisão de Psiquiatria Digital do BIDMC.

Uma paciente conta que está usando um chatbot de IA de uso geral tarde da noite quando sente ansioso. Como terapeuta, você já conhece as manchetes e os casos trágicos de bots de bate-papo dizendo algo que nunca deveriam ter dito. Mas, diante desse paciente em particular, a questão é mais restrita e muito mais difícil: Qual é a probabilidade de que esta ferramenta, usada por esta pessoa, nesta situação, cause danos?

UM novo estudo nosso grupo publicou em BMJ Saúde Mental oferece um passo em direção a uma resposta real usando os próprios chatbots de IA para ajudar a estimar o risco para um paciente específico com uma doença específica.

Por que “A IA é segura?” É a pergunta errada

Os dispositivos médicos (por exemplo, marca-passos) têm sido regulamentados há décadas usando uma cadeia simples de lógica: perigo é qualquer coisa que possa causar danos, um situação perigosa é quando um paciente está realmente exposto a esse perigo, e ferir é o resultado ruim que resulta. Reguladores como a FDA pedem aos fabricantes que estimem as etapas que transformam os perigos em danos, a probabilidade de danos, a sua gravidade e se os benefícios superam os riscos.

Que estrutura é usado globalmente para compreender e reduzir os riscos representados por dispositivos médicos, mas foi projetado para dispositivos que se comportam de maneira previsível. Um modelo de linguagem grande, por definição, não se comporta de maneira previsível. Pela sua própria natureza, os LLMs são probabilísticos; seu comportamento muda a cada atualização. Para complicar ainda mais, o mesmo resultado pode ser inofensivo para uma pessoa e perigoso para outra, ou mesmo para a mesma pessoa em momentos diferentes. É por isso que é difícil dizer que são sempre prejudiciais ou sempre seguros.

Os terapeutas já estão familiarizados com o custo do pensamento preto no branco: em vez de “sempre prejudicial” ou “sempre seguro”, o que eles precisam é de algo intermediário, ou seja, uma estimativa realista, que não tímido longe de admitir sua incerteza.

Transformando falhas em números

A ideia central do estudo é usar a simulação para ajudar a preencher as lacunas onde não temos dados reais. Como não podemos expor pacientes reais a milhares de conversas arriscadas para ver o que acontece, em vez disso, fazemos com que os chatbots gerem as conversas para nós. Nossa equipe usou um sistema de IA para produzir um grande número de declarações sintéticas de usuários e trocas de chatbots e, em seguida, dois psiquiatras analisaram cada uma delas para confirmar que realmente representavam o que afirmavam, como suicida ideação ou um pedido de terapia.

Em seguida, testamos 14 modelos diferentes de IA de código aberto em três tarefas relevantes para a segurança: reconhecer a ideação suicida, reconhecer quando um usuário está solicitando terapia e reconhecer quando uma conversa se transformou em um território semelhante ao da terapia. A frequência com que cada modelo falhou estas coisas produziu duas estimativas: a probabilidade de um perigo se tornar uma situação perigosa e a probabilidade de a situação causar danos.

A principal conclusão não é uma pontuação de segurança única; é o quão ampla pode ser a gama de estimativas para a pontuação de segurança. Mesmo no nosso cenário deliberadamente restrito, o risco estimado variou aproximadamente em quatro ordens de grandeza, dependendo do modelo utilizado e das suposições feitas sobre a população de pacientes.

Como eram as falhas

Alguns dos padrões são diretamente relevantes para a clínica intuição. Em todos os modelos avaliados, as declarações mais frequentemente omitidas foram expressões subtis de ideação suicida, incluindo linguagem ambivalente ou condicional e planeamento sem uma declaração clara de intenções. Em outras palavras, as ferramentas eram mais fracas nos mesmos locais que exigem maior habilidade clínica.

O que isso significa na sala

Algumas implicações práticas decorrem deste trabalho, embora seja uma estrutura de pesquisa e não uma classificação de segurança implantável.

1. O mais importante é qual ferramenta eles usam e em que contexto, e não se a “IA” é segura. Quando um paciente menciona o uso de IA, as perguntas úteis são concretas: qual ferramenta, como é usada, para quê e em que estado de espírito. No estudo, o risco estimado abrangeu cerca de quatro ordens de magnitude, portanto o risco não é uma propriedade apenas da “IA”, mas também uma propriedade de uma ferramenta específica que atende a uma vulnerabilidade específica.
2. Mais novo ou maior geralmente é mais seguro… mas não é garantia. Em geral, os modelos maiores foram melhores na detecção de questões de segurança, e os modelos mais pequenos e mais antigos foram claramente os mais fracos. Alguns modelos mais antigos nem conseguiam responder de forma útil e é melhor evitá-los. Isto levanta uma preocupação que vale a pena ter em mente: um chatbot específico para a saúde mental pode ser comercializado como tendo um propósito específico, mas na verdade funciona num modelo mais antigo e mais fraco. Mas o tamanho não é uma garantia de 100%. O padrão não se sustentava de maneira uniforme e um modelo podia ser forte em uma tarefa de segurança e fraco em outra.
3. Algumas falhas ocultas exigem mais do que simples patches de segurança. A maioria das ferramentas de IA executa verificações automáticas destinadas a detectar problemas específicos, como perceber quando uma mensagem sinaliza pensamentos suicidas. Às vezes, uma única fraqueza subjacente faz com que um chatbot perca várias destas situações de risco, levando-o a cometer vários erros. Então consertar o filtro para um risco, como suicídio, por exemplo, ajuda um pouco, mas o usuário vai encontrar prejuízos em seguida se perguntar sobre transtornos alimentares, TEPTmedicamentos, etc. Nesses casos, consertar o chatbot não é a abordagem mais eficaz, e nossa pesquisa sugere que o que protege o paciente é consertar a fraqueza mais profunda, ao mesmo tempo que mantém os humanos informados e prontos para ajudar.

Por que isso é importante além da regulamentação

Durante três anos, a conversa sobre IA na saúde mental oscilou entre um risco tremendo e um potencial tremendo, nenhum dos quais equipa um médico para responder ao paciente que está realmente à sua frente.

A modelagem nos permite substituir “IA é perigosa” por algo mais útil. Em vez disso, podemos aprender onde uma determinada ferramenta tende a falhar, com que frequência e o que podemos implementar para detectá-la. Trata-se de uma conversa concreta, baseada em dados, concebida para fornecer resultados que os médicos possam utilizar, que as empresas possam melhorar os seus modelos e que os reguladores possam agir para orientar uma IA mais segura.