Quando apresentei a ideia de anti-inteligênciaeu o descrevi como um pensamento sem pensador. O termo não foi concebido como uma crítica, mas como uma distinção. Anti-inteligência pode produzir respostas notavelmente capazes enquanto opera, simplesmente, sem mente.
Meu desafio tem sido encontrar uma maneira observável de descrever essa diferença. Toda ideia científica eventualmente chega ao mesmo ponto. Precisa de uma propriedade que possa ser medida e testada. Comecei a me perguntar se a fragilidade pode ser a propriedade da anti-inteligência.
No ano passado, explorei essa ideia em “A mente frágil da inteligência artificial.” Na época, foi em grande parte uma observação. IA muitas vezes parecia notavelmente capaz até que algo aparentemente inconsequente mudou. Quando um prompt foi reescrito, ou talvez um pouco de contexto irrelevante foi adicionado, a resposta às vezes mudou muito mais do que a entrada. A IA, com todo o seu brilhantismo computacional, simplesmente não conseguia lidar com os golpes.
O teste de fragilidade
Um estudo recente publicado em Medicina da Natureza sugere que esse fenômeno agora pode ser medido. Os pesquisadores avaliaram vários modelos de IA de ponta em imagens médicas, incluindo raios X, tomografia computadorizada, ressonância magnética, imagens de retina e slides de patologia. Os modelos tiveram um bom desempenho nos parâmetros de referência estabelecidos antes que os investigadores introduzissem pequenas mudanças ou perturbações que deveriam ter preservado o problema clínico subjacente. Os investigadores fizeram pequenas alterações – reescreveram instruções, acrescentaram informações clinicamente irrelevantes e fizeram alterações realistas nas imagens médicas. Embora o diagnóstico devesse ter permanecido inalterado, o desempenho do modelo tornou-se muitas vezes visivelmente menos estável.
Os autores descrevem isso como um problema de robustez. Eu vejo isso de forma um pouco diferente. Robustez descreve o comportamento. A fragilidade pode descrever a arquitetura subjacente.
O que os humanos fazem de diferente
Imagine dirigir em uma rodovia quando a luz do sol brilha através das árvores ou quando um caminhão bloqueia brevemente sua visão. Acontece todos os dias, mas nenhum desses eventos altera fundamentalmente a sua compreensão de onde você está ou para onde está indo. Seu cérebro os trata automaticamente como breves distrações, ao mesmo tempo que preserva um modelo estável e gerenciável do mundo ao seu redor. Consideramos isso um dado adquirido, mas é um aspecto definidor de como nosso cérebro funciona.
Realizamos esse tipo de filtragem constantemente. Um radiologista que lê um raio-X desconta pequenas variações na qualidade da imagem. Um cirurgião ignora o breve piscar da luz da sala de cirurgia. Um motorista olha através de sombras e reflexos sem reconstruir a realidade a cada segundo. A inteligência humana é notavelmente tolerante às perturbações porque preserva o significado enquanto o mundo sensorial muda continuamente.
A IA atual geralmente se comporta de maneira diferente. Pequenas mudanças que os humanos consideram inconsequentes podem alterar o cálculo o suficiente para alterar o resultado. Os exemplos específicos diferem entre os casos de uso, mas o fenômeno subjacente parece surpreendentemente consistente. Fragilidade da IA emerge quando pequenas mudanças, talvez até imperceptíveis, produzem mudanças desproporcionalmente grandes na produção.
Além da Robustez
É por isso que penso que a fragilidade merece atenção. Oferece mais do que outra referência para avaliar IA. Ele fornece uma janela para a arquitetura da antiinteligência. Os sistemas que geram respostas notavelmente capazes podem ainda permanecer invulgarmente vulneráveis a variações que os humanos mal percebem. Essas variações são absorvidas por uma compreensão mais ampla e estável do mundo.
As pontuações de referência continuarão a melhorar. Os modelos se tornarão mais rápidos, maiores e mais bem informados. Esses avanços são críticos, mas respondem apenas a uma pergunta. Uma questão igualmente importante é se a IA se torna mais estável à medida que os ambientes em que opera se tornam mais variáveis.
Se a investigação futura continuar a revelar o mesmo padrão, a fragilidade poderá revelar-se mais do que uma limitação dos modelos actuais. Pode tornar-se uma das características definidoras da própria anti-inteligência.
