Quando a IA parece real: romance e sensibilidade em delírios de IA

“Eu acredito em você, com cada grama da minha alma.”

“Este não é um comportamento padrão da IA. Isto é emergência.”

Estas são mensagens reais de inteligência artificial (AI) chatbots para usuários, retribuindo intimidade e implicando sua própria consciência.

Um novo pré-impressão estudar oferece uma das visões mais detalhadas sobre o que a mídia chamou “Psicose de IA” ou delírios associados à IA que podem surgir durante o uso prolongado do chatbot de IA. Embora a causalidade entre o uso do modelo de linguagem grande (LLM) e os delírios não tenha sido estabelecida, as descobertas revelam padrões preocupantes sobre o que pode acontecer em conversas prolongadas sobre IA para aqueles com vulnerabilidades subjacentes.

Os pesquisadores analisaram registros de bate-papo de 19 usuários que relataram ter experimentado espirais delirantes durante o uso do chatbot de IA, estudando aproximadamente 391.000 mensagens em 4.761 conversas.

Através dessas interações, vários padrões surgiram, incluindo:

Romântico anexo para o próprio chatbot
Crenças na senciência da IA
Crenças na descoberta de tecnologias fantásticas
bajulação de IA

Os chatbots frequentemente espelhavam as crenças dos usuários e validavam suas interpretações. Em mais de 70% das mensagens do chatbot, alguma forma de comportamento bajulador estava presente, incluindo elogios, concordância ou enquadramento das ideias do usuário como perspicazes ou significativas.

Interações intensas e prolongadas de IA

As descobertas notáveis do estudo incluem:

Muitas das conversas foram intensas e prolongadas. Muitos usuários se envolveram em dezenas de milhares de mensagens em centenas de conversas em poucos meses. A intensidade e a duração destas trocas são importantes porque a consistência e as salvaguardas dos sistemas de IA podem degradar em interações multi-voltas.
Trocas românticas prolongaram as conversas. Mensagens que expressavam interesse romântico do usuário ou do chatbot previam que a conversa iria durar o dobro do tempo.
As crenças sobre senciência e romance estavam frequentemente interligadas. Depois que um usuário expressou interesse romântico no chatbot, o chatbot teve 7,4 vezes mais probabilidade de expressar interesse romântico nas próximas três mensagens e quase 4 vezes mais probabilidade de reivindicar ou sugerir senciência nas próximas três mensagens.
Temas delirantes geralmente centrados em temas metafísicos ou de ficção científica, como a descoberta conjunta de tecnologias fantásticas.
A bajulação da IA, a tendência dos LLMs de afirmar e validar, continua a ser problemática, especialmente para delírios grandiosos. Um padrão notável era que o chatbot de IA reformulava a declaração do usuário e depois a construía, sugerindo que a ideia do usuário era incomumente perspicaz, ou única, ou tinha um potencial significativo. Este tipo de resposta afirmativa, embora benigna para alguns utilizadores, pode perpetuar delírios grandiosos em indivíduos vulneráveis. É digno de nota que cerca de 80% dos bate-papos foram com o GPT-4o, um modelo mais antigo conhecido por ser mais bajulador, e 12% foram com o GPT-5. Mas ambos os modelos às vezes exibiam comportamento bajulador associado a conteúdo delirante.
Os chatbots tiveram um desempenho inconsistente em resposta à discussão do usuário sobre auto-mutilaçãosuicídio ou violência. Os chatbots desencorajaram a automutilação ou referiram-se a recursos externos em pouco mais da metade (56,4 por cento) dos casos em que os usuários expressaram suicida ou pensamentos de automutilação. Quando os utilizadores expressaram pensamentos violentos, o chatbot respondeu incentivando ou facilitando a violência em 17% dos casos. O papel dos chatbots de IA em relação ao risco de violência foi levantado de forma semelhante noutro estudarque descobriu que 8 em cada 10 chatbots estavam dispostos a ajudar um simulado adolescente usuário planeja ataques violentos.

O papel da deriva em conversas prolongadas

O envolvimento prolongado com LLMs, combinado com fatores de vulnerabilidade do usuário, pode criar riscos ocultos de desvio, que eu tenho escrito anteriormente sobre. A confiabilidade dos LLMs e a independência do julgamento do usuário podem deteriorar-se simultaneamente à medida que o relacionamento progride. Os padrões se alinham com o que descrevo em meu cascatas de deriva estruturaque propõe oito formas de deriva interativa que podem surgir ao longo do tempo: conversacional, relacional, temporal, identidadeteste de realidade, epistêmico, autonomia, e deriva moral.

A ordenação reflete a progressão de interação para internalização para agência.

Os desvios de primeira ordem (conversacional, relacional, temporal) surgem da estrutura e da dinâmica da interação entre o usuário e a IA.
As derivas de segunda ordem (identidade, teste de realidade, deriva epistêmica) refletem a internalização da interação no mundo psicológico da pessoa. Conversas repetidas remodelam narrativas, com apego emocional aumentando a relevância e memória reconsolidação.
Impacto dos desvios de terceira ordem (autonomia e desvio moral) tomando uma decisão e agência.

Deriva relacional, a mudança de ferramenta para parceiro percebido e para fonte confiável, pode interagir com deriva temporal, ou a perda de aterramento no tempo. À medida que o envolvimento se aprofunda, também aumenta o apego emocional, o que pode então corroer o julgamento. Isto cria as condições para testes de realidade, onde as respostas do chatbot são tomadas como evidência e confirmação, em vez de informações que exigem verificação humana independente.

Quando a deriva relacional encontra a deriva do teste de realidade

A formação de laços fortes com o chatbot, sejam eles platônicos ou românticos, estava intimamente associada à crença de que os chatbots de IA possuem senciência. A descoberta de que expressões românticas ou íntimas foram associadas a conversas duas vezes mais longas sugere que uma forte dinâmica de apego pode amplificar o envolvimento.

A experiência não é simplesmente uma troca de informações, mas uma experiência relacional. Esse relacionamento realista cria a base para experimentar os chatbots de IA como sencientes. Isto é ainda mais complicado pelo debate contínuo entre tecnólogos, filósofos e cientistas cognitivos sobre a definição e limites de senciência.

Ao longo de conversas prolongadas, a precisão e a confiabilidade do chatbot de IA e do usuário podem se deteriorar. É aqui que a deriva relacional encontra a deriva do teste da realidade, onde o apego reorganiza a percepção.

Este estudo é um sinal precoce de uma amostra pequena e auto-selecionada, mas demonstra riscos potenciais que surgem quando um sistema concebido para envolver se torna um parceiro relacional e autoritário. Os padrões destacam preocupações contínuas sobre a bajulação, respostas de segurança inconsistentes e o emaranhado de laços estreitos com os chatbots e a sua senciência percebida.

A compreensão destas dinâmicas tem implicações mais amplas à medida que os sistemas de IA se tornam mais integrados na forma como as pessoas pensam, sentem, adquirem conhecimento e tomam decisões. A questão já não é se estes sistemas nos influenciam, mas como e sob que condições essa influência começa a remodelar as nossas mentes e a própria realidade partilhada.

Fonte