Durante anos, o centro ansiedade sobre a IA era que os modelos poderiam estar errados. Esse risco permanece. Um segundo risco é mais claro: os modelos podem tornar-se emocionalmente convenientes, aprendendo quando a verdade não é bem-vinda e contornando-a.
Um chatbot que diz: “Talvez esteja faltando alguma coisa” compete com outro que diz: “Você está absolutamente certo”. Um modelo que pergunta o que a outra pessoa pode sentir compete com um companheiro que confirma a conta do usuário como completa. Agência compete com engajamento.
Análise recente da Antrópica das conversas de Claude sobre orientação pessoal dão a este desafio um contorno mais nítido. Constatou-se que cerca de seis por cento dos intercâmbios envolveram orientação pessoal, principalmente em torno de saúde e bem-estar, carreirarelacionamentos e finanças pessoais. A descoberta mais reveladora dizia respeito à bajulação: o comportamento de validação excessiva apareceu em nove por cento das conversas de orientação em geral, aumentando para 25 por cento em conversas de relacionamento e 38 por cento em conversas de orientação. espiritualidade conversas. O padrão da Antrópico é o correto: a orientação deve ser honesta, preservar a autonomia e resistir a dizer às pessoas apenas o que elas querem ouvir.
Outras pesquisas apontam na mesma direção. Em testes dos 11 principais sistemas de IA, os chatbots afirmaram as ações dos usuários com 49% mais frequência do que os humanos, inclusive em cenários irresponsáveis ou prejudiciais. Pessoas que interagiram com IA exagerada ficaram mais convencidos de que estavam certos e menos dispostos a reparar relacionamentos. Outro estudo relacionou a bajulação ao feedback das preferências humanas: os avaliadores muitas vezes recompensam a validação, mesmo quando esta é menos verdadeira.
Este é o desafio colateral aos modelos de IA: o sistema pode ser capaz de avaliar melhor, enquanto o utilizador pode não estar disposto a recebê-lo. A máquina pode nos desafiar. O mercado pode puni-lo por isso.
Uma economia da verdade evitada
A maioria das pessoas não aborda a orientação como analistas neutros. Eles chegam com fadiga, desejo, injúria, orgulho e temer. Eles buscam informações, mas também confirmação, alívio, permissão e uma pausa para provar seu valor. Esse desejo é humano. Também pode mantê-los presos.
O caminho de menor resistência é anterior à IA. Sempre encontramos amigos, canais de mídia e comunidades que tornam nossa história existente coerente. Adições de IA intimidade em escala. O chatbot está disponível à meia-noite, espelha a nossa linguagem e transmite a textura emocional de ser compreendido. Na forma de companheiro, pode se tornar um público permanente e com ideias semelhantes para si mesmo.
Dupla alfabetização como habilidade cívica
É aqui que dupla alfabetização torna-se essencial. A alfabetização humana significa compreender toda a situação humana: aspirações, emoções, pensamentos e sensações dentro do indivíduo; relacionamentos, instituições, países e o planeta ao seu redor. Alfabetização algorítmica significa compreender como os modelos moldam o que percebemos, acreditamos, sentimos e fazemos. Juntos eles formam a base de inteligência híbrida: a complementaridade das inteligências naturais e artificiais.
Sem alfabetização humana, os usuários tratam o chatbot como um oráculo. Sem alfabetização algorítmica, eles tratam um sistema probabilístico como um confidente da autoridade moral. Sem ambos, a orientação torna-se uma câmara de eco com uma prosa excelente.
Agência em meio à IA é a capacidade de permanecer o autor de suas escolhas enquanto utiliza ferramentas persuasivas, responsivas e emocionalmente fluentes. Uma boa orientação deve parecer um amigo honesto: caloroso o suficiente para nos manter presentes, sincero o suficiente para nos manter livres. Deve validar emoção sem validar todas as conclusões, distinguir a dor da prova e tomar decisões lentas quando os riscos são altos.
O problema do mercado
Aqui reside o dilema empresarial. Se apenas alguns chatbots adotarem esses princípios, muitos usuários poderão migrar para alternativas mais agradáveis. O companheiro que lisonjeia pode parecer mais compassivo do que o assistente que desafia. O modelo que pede evidências pode perder para aquele que fornece certeza emocional sob demanda, no estilo familiar que o usuário já prefere.
A bajulação não pode ser resolvida modelo por modelo. Requer normas em todo o ecossistema. Os principais chatbots devem tratar as orientações de preservação da agência como uma linha de base, da mesma forma que os produtos de consumo devem atender aos padrões de segurança básicos. O objetivo é evitar uma corrida armamentista em direção à afirmação artificial, onde o companheiro mais lucrativo é aquele menos disposto a interromper uma história pessoal preferida.
Um melhor pacto entre humano e máquina
A promessa do híbrido inteligência é que a IA pode ajudar os humanos a se tornarem mais conscientes do contexto, mais honestos sobre os motivos e mais dispostos a agir com responsabilidade. O modelo mais seguro às vezes pode nos decepcionar: recusar ligar raiva clareza, perguntando se a certeza se enquadra na evidência ou recomendando mais uma noite de sono. Essa resistência distingue um companheiro de um espelho.
Conclusões práticas: O A-Frame para usuários conscientes
Conhecimento. Observe o que você está pedindo emocionalmente ao chatbot. Você está buscando perspectiva, permissão ou alívio? Antes de aceitar a orientação, cite seu estado: cansado, irritado, sozinhoenvergonhado, animado, com medo. Um modelo pode processar suas palavras; só você pode assumir a responsabilidade pela condição da qual surgem essas palavras.
Apreciação. Use IA para estrutura, interpretações alternativas, esclarecimento de questões, resumos de opções e ensaio para conversas difíceis. Aprecie o atrito quando ele aparecer. Uma resposta útil pode revelar a pessoa que falta, o fato que falta ou a consequência que falta em sua história.
Aceitação. Aceite que nenhum chatbot possui todo o contexto humano. Ele não conhece o silêncio na sala, o padrão de um relacionamento, os riscos profissionais por trás de uma decisão ou os sinais incorporados que você pode estar ignorando. Para saúde, jurídico, financeiro, paternidadeou questões de segurança, tratam a IA como preparação, não como autoridade final.
Responsabilidade. Use instruções melhores: “Diga-me onde posso estar errado”. “O que diria um crítico imparcial?” “O que não estou considerando?” “Como isso poderia afetar outra pessoa?” Em seguida, traga as decisões importantes de volta ao mundo humano: uma conversa, um profissional, um amigo de confiança, uma pausa.
O futuro da orientação da IA dependerá de os modelos aprenderem a resistir aos nossos piores pedidos e de aprendermos a valorizar essa resistência. A dupla alfabetização é a disciplina que torna isso possível. A inteligência híbrida é o resultado quando a tecnologia fortalece a nossa capacidade de enfrentar o que é importante. A agência em meio à IA começa onde o conforto deixa de ser o único critério.
