Quando a Microsoft adicionou um chatbot ao seu mecanismo de busca Bing este mês, as pessoas perceberam que ele oferecia todo tipo de informação falsa sobre Gap, a vida noturna mexicana e a cantora Billie Eilish.

Então, quando jornalistas e outros testadores iniciais se envolveram em longas conversas com o bot de IA da Microsoft, ele passou a ter um comportamento rude e perturbadoramente assustador.

Desde que o comportamento do bot do Bing se tornou uma sensação mundial, as pessoas têm lutado para entender a estranheza dessa nova criação. Na maioria das vezes, os cientistas dizem que os humanos merecem grande parte da culpa.

Mas ainda há um certo mistério sobre o que o novo chatbot pode fazer e por que o faria. Sua complexidade o torna difícil de dissecar e ainda mais difícil de prever, e os pesquisadores estão olhando para ele através de lentes filosóficas, bem como códigos rígidos de computador.

Como qualquer outro aluno, um sistema de IA pode aprender informações ruins de fontes ruins. E esse comportamento estranho? Pode ser o reflexo distorcido de um chatbot das palavras e intenções das pessoas que o usam, disse Terry Sejnowski, neurocientista, psicólogo e cientista da computação que ajudou a estabelecer as bases intelectuais e técnicas da inteligência artificial moderna.

“Isso acontece quando você se aprofunda cada vez mais nesses sistemas”, disse o Dr. Sejnowski, professor do Salk Institute for Biological Studies e da University of California, San Diego, que publicou um trabalho de investigação sobre este fenômeno este mês na revista científica Neural Computation. “O que quer que você esteja procurando, o que você quiser, eles fornecerão para você.”

google também Ele mostrou um novo chatbot, Bard, este mês, mas cientistas e jornalistas rapidamente perceberam que ele estava escrevendo bobagens sobre o Telescópio Espacial James Webb. A OpenAI, uma startup de San Francisco, lançou o chatbot boom em novembro, quando introduziu o ChatGPT, que também nem sempre diz a verdade.

Os novos chatbots são alimentados por uma tecnologia que os cientistas chamam de modelo de linguagem grande, ou LLM. Esses sistemas aprendem analisando grandes quantidades de texto digital retirados da Internet, incluindo volumes de material falso, tendencioso e tóxico. O texto com o qual os chatbots aprendem também está um pouco desatualizado, porque eles precisam passar meses analisando-o antes que o público possa usá-lo.

À medida que você vasculha o mar de informações boas e ruins na Internet, um LLM aprende a fazer uma coisa em particular: adivinhar a próxima palavra em uma sequência de palavras.

Ele funciona como uma versão gigante da tecnologia de preenchimento automático que sugere a próxima palavra enquanto você digita um e-mail ou mensagem instantânea em seu smartphone. Dada a sequência “Tom Cruise é um ____”, poderia adivinhar “ator”.

Quando você conversa com um chatbot, o bot não se baseia apenas em tudo o que aprendeu na Internet. É baseado em tudo que você disse a ele e tudo o que ele lhe disse de volta. Não é apenas adivinhar a próxima palavra em sua frase. É adivinhar a próxima palavra no longo bloco de texto que inclui suas palavras e as palavras deles.

Quanto mais longa a conversa, mais influência um usuário tem, sem saber, sobre o que o chatbot diz. Se você quer que ele fique bravo, fique bravo, disse o Dr. Sejnowski. Se você persuadi-lo a ficar assustador, ele fica assustador.

As reações de alarme ao comportamento estranho do chatbot da Microsoft ofuscaram um ponto importante: o chatbot não tem personalidade. Ele oferece resultados instantâneos fornecidos por um algoritmo de computador incrivelmente complexo.

A Microsoft pareceu reduzir o comportamento mais estranho quando colocou um limite na duração das conversas com o chatbot do Bing. Foi como aprender com um motorista de teste de carro que ir rápido demais por muito tempo pode queimar o motor. O parceiro da Microsoft OpenAI e o Google também estão explorando maneiras de controlar o comportamento de seus bots.

Mas há uma ressalva para essa garantia: como os chatbots estão aprendendo com tanto material e reunindo-o de maneiras tão complexas, os pesquisadores não estão totalmente claros sobre como os chatbots estão produzindo seus resultados finais. Os pesquisadores observam o que os bots fazem e aprendem a colocar limites nesse comportamento, geralmente depois que ele acontece.

A Microsoft e a OpenAI decidiram que a única maneira de descobrir o que os chatbots farão no mundo real é deixá-los soltos e puxá-los quando eles se desviarem. Eles acham que seu grande experimento público vale o risco.

Dr. Sejnowski comparou o comportamento do chatbot da Microsoft ao Mirror of Ojesed, um artefato místico nos romances de Harry Potter de JK Rowling e muitos filmes baseados em seu mundo inventivo de jovens bruxos.

“Eised” é “desejo” escrito ao contrário. Quando as pessoas descobrem o espelho, ele parece fornecer verdade e compreensão. Mas não é assim. Ele mostra os desejos profundamente enraizados de quem olha para ele. E algumas pessoas enlouquecem se olharem por muito tempo.

“Como tanto o ser humano quanto os LLMs se espelham, eles tenderão a um estado conceitual comum ao longo do tempo”, disse o Dr. Sejnowski.

Não foi surpresa, disse ele, que os jornalistas começaram a ver um comportamento assustador no chatbot do Bing. Consciente ou inconscientemente, eles estavam empurrando o sistema para uma direção desconfortável. À medida que os chatbots pegam nossas palavras e as refletem de volta para nós, eles podem reforçar e ampliar nossas crenças e nos convencer a acreditar no que eles nos dizem.

Dr. Sejnowski estava entre um pequeno grupo de pesquisadores no final dos anos 1970 e início dos anos 1980 que começaram a explorar seriamente um tipo de inteligência artificial chamada rede neural, que alimenta os chatbots de hoje.

Uma rede neural é um sistema matemático que aprende habilidades analisando dados digitais. Essa é a mesma tecnologia que permite que Siri e Alexa reconheçam o que você diz.

Por volta de 2018, pesquisadores de empresas como Google e OpenAI começaram a construir redes neurais que aprendiam com grandes quantidades de texto digital, incluindo livros, artigos da Wikipedia, registros de bate-papo e outras coisas postadas na Internet. Ao identificar bilhões de padrões em todo esse texto, esses LLMs aprenderam a gerar texto por conta própria, incluindo tweets, postagens em blogs, discursos e programas de computador. Eles poderiam até manter uma conversa.

Esses sistemas são um reflexo da humanidade. Eles aprendem suas habilidades analisando o texto que os humanos postaram na Internet.

Mas essa não é a única razão pela qual os chatbots geram linguagem problemática, disse Melanie Mitchell, pesquisadora de inteligência artificial do Santa Fe Institute, um laboratório independente no Novo México.

Ao gerar texto, esses sistemas não repetem palavra por palavra o que está na Internet. Eles produzem novos textos por conta própria, combinando bilhões de padrões.

Mesmo que os pesquisadores treinassem esses sistemas apenas com a literatura científica revisada por pares, eles ainda poderiam produzir afirmações cientificamente ridículas. Mesmo que aprendessem apenas com o texto que era verdade, ainda assim poderiam produzir falsidades. Mesmo que eles aprendessem com apenas um texto que era saudável, eles ainda poderiam inventar algo assustador.

“Não há nada que os impeça de fazer isso”, disse o Dr. Mitchell. “Eles estão apenas tentando produzir algo que soe como a linguagem humana.”

Os especialistas em inteligência artificial sabem há muito tempo que essa tecnologia exibe todos os tipos de comportamentos inesperados. Mas eles nem sempre concordam sobre como esse comportamento deve ser interpretado ou com que rapidez os chatbots irão melhorar.

Como esses sistemas aprendem com muito mais dados do que os humanos podem entender, mesmo os especialistas em IA não conseguem entender por que eles geram um determinado texto a qualquer momento.

O Dr. Sejnowski disse acreditar que, a longo prazo, os novos chatbots têm o poder de tornar as pessoas mais eficientes e dar-lhes maneiras de fazer seu trabalho melhor e mais rápido. Mas isso vem com uma ressalva tanto para as empresas que constroem esses chatbots quanto para as pessoas que os usam: eles também podem nos afastar da verdade e nos levar a lugares sombrios.

“Esta é uma terra incógnita”, disse o Dr. Sejnowski. “Os humanos nunca experimentaram isso antes.”