Desde que a OpenAI lançou o ChatGPT para o mundo, vimos fotos que as pessoas não acreditariam. Algumas pessoas afirmam que os chatbots têm uma agenda ativa. O senador americano Chris Murphy twittou que o ChatGPT “ensinou” a si mesmo química avançada. Até mesmo jornalistas de tecnologia experientes escreveram histórias sobre como o o chatbot se apaixonou por eles. Parece que o mundo está reagindo à IA da mesma forma que os homens das cavernas provavelmente reagiram quando viram fogo pela primeira vez: confusão completa e balbucio incoerente.

Um dos exemplos mais recentes vem de 60 minutos, que jogou sua voz no ringue com um novo episódio focado em inovações de IA que foi ao ar no domingo na CBS. O episódio apresentou entrevistas com nomes como o CEO do Google, Sundar Pichai, e incluiu declarações sobre um dos grandes modelos de linguagem (LLMs) da empresa.

O tópico do clipe é sobre comportamento emergente, que descreve um efeito colateral inesperado de um sistema de IA que não foi necessariamente antecipado pelos desenvolvedores do modelo. Já vimos comportamentos emergentes surgirem em outros projetos recentes de IA. Por exemplo, pesquisadores usaram recentemente o ChatGPT para criar personas digitais generativas com objetivos e origens em um estudo publicado online na semana passada. Eles observaram que o sistema realizava múltiplos comportamentos emergentes, como compartilhar novas informações de um personagem para outro e até mesmo estabelecer relações entre eles, algo que os autores não haviam planejado inicialmente para o sistema.

O comportamento emergente é definitivamente um tópico que vale a pena discutir em um programa de notícias. Onde ele 60 minutos No entanto, o clipe muda quando somos apresentados a alegações de que o chatbot do Google foi realmente capaz de aprender um idioma que não conhecia antes, após ser solicitado nesse idioma. “Por exemplo, um programa de IA do Google se adaptou após ser solicitado no idioma de Bangladesh, que não foi treinado para entender”, disse Scott Pelley, correspondente da CBS News, no clipe.

Acontece que foi um absurdo completo. O bot não só não conseguiu aprender uma língua estrangeira “para a qual nunca foi treinado”, como também falhou em aprender uma nova habilidade. O clipe inteiro levou pesquisadores e especialistas em IA a criticar o enquadramento enganoso do programa de notícias no Twitter.

“Espero que algum jornalista faça uma revisão de todo o segmento @60Minutes no Google Bard como um estudo de caso sobre como *não* cobrir a IA”, Melanie Mitchell, pesquisadora de IA e professora do Santa Fe Institute, escreveu em um tweet.

“Pare com o pensamento mágico em tecnologia! Não é possível que um #AI responda em bengali, a menos que os dados de treinamento estejam contaminados com bengali ou sejam treinados em um idioma que se sobreponha ao bengali, como assamês, oriya ou hindi”, M. Alex O. Vasilescu , pesquisador do MIT, adicionado em outro post.

Vale a pena mencionar que 60 minutos O segmento não disse exatamente qual IA eles usaram. No entanto, um porta-voz da CBS disse ao The Daily Beast que o clipe não era uma discussão sobre Bard, mas um programa separado de inteligência artificial chamado PaLM, cuja tecnologia subjacente foi posteriormente incorporada ao Bard.

As razões pelas quais o segmento foi tão frustrante para esses especialistas é porque ele ignora e manipula a realidade do que uma IA generativa pode realmente fazer. Você não pode “ensinar” um idioma a si mesmo se nunca teve acesso a ele. Seria como tentar aprender mandarim sozinho, mas você só ouviu depois que alguém te perguntou uma vez.

Afinal, a linguagem é incrivelmente complexa, com nuances sutis e regras que exigem um grau incrível de contexto para entender e se comunicar. Não há como o LLM mais avançado enfrentar e aprender tudo isso por meio de alguns prompts.

O PaLM já era proficiente em bengali, o idioma predominante em Bangladesh. Margaret Mitchell (sem parentesco), pesquisadora no laboratório de inicialização da AT HuggingFace e ex-Google, explicou isso em um tópico do tweet argumentando porque 60 minutos estava mal.

Mitchell observou que, em uma demonstração de 2022, o Google mostrou que o PaLM pode se comunicar e responder a solicitações em bengali. Ele função por trás do PaLM revelou em uma folha de dados que o modelo foi realmente treinado no idioma com aproximadamente 194 milhões de tokens no alfabeto bengali.

Portanto, você não aprendeu nada magicamente por meio de um único prompt. Eu já conhecia o idioma.

Não está claro por que Pichai, o CEO do Google, sentou-se para a entrevista e permitiu que essas afirmações fossem feitas sem qualquer resistência. (O Google não respondeu aos pedidos de comentários.) Desde que o episódio foi ao ar, ele permaneceu em silêncio, apesar dos especialistas apontarem as alegações enganosas e falsas feitas no segmento. No Twitter, Margaret Mitchell Ele sugeriu o motivo pode ser uma combinação de liderança do Google por não saber como seus produtos funcionam e também permitir que mensagens de baixa qualidade se espalhem para aumentar o hype atual em torno da IA ​​generativa.

“Suspeito [Google executives] Eu literalmente não entendo como isso funciona.” Mitchell tuitou. “O que escrevi acima provavelmente é novidade para eles. E eles são incentivados a não entender (feche os olhos para essa folha de dados!!)”.

A segunda metade do vídeo também pode ser vista como problemática, já que Pichai e Pelley discutem um conto que Bard criou que “parecia tão cativantemente humano” que deixou os dois homens um pouco abalados.

O fato é que esses produtos não são mágicos. Eles não são capazes de ser “humanos” porque não são humanos. Eles são preditores de texto como os que você tem em seu telefone, treinados para gerar a palavra e as frases mais prováveis ​​após uma sequência de palavras em frases. Dizer que sim pode dar a eles um nível de autoridade que pode ser incrivelmente perigoso.

Afinal, os usuários podem usar essas IAs generativas para fazer coisas como espalhar desinformação. Já vimos isso acontecer com falsificações profundas das semelhanças das pessoas e até mesmo de suas vozes.

Mesmo um chatbot sozinho pode causar danos se acabar produzindo resultados distorcidos, algo que já vimos com ChatGPT e Bard. Conhecendo a propensão desses chatbots para alucinar e fabricar resultados, você pode até espalhar informações erradas para usuários desavisados.

A pesquisa também confirma isso. Um estudo recente publicado em relatórios científicos descobriu que as respostas humanas a questões morais podem ser facilmente influenciadas pelos argumentos apresentados pelo ChatGPT, e os usuários até subestimaram grosseiramente o quanto estavam sendo influenciados por bots.

afirmações enganosas sobre 60 minutos eles são apenas um sintoma de uma maior necessidade de alfabetização digital no momento em que mais precisamos. Muitos especialistas em IA dizem que agora, mais do que nunca, é um momento em que as pessoas precisam estar cientes exatamente do que a IA pode ou não fazer. Esses fatos básicos sobre bots também devem ser comunicados de forma eficaz ao público em geral.

Isso significa que as pessoas com as maiores plataformas e vozes mais altas – ou seja, a mídia, os políticos e os executivos da Big Tech – têm a maior responsabilidade de garantir um futuro de IA mais seguro e educado. Se não o fizermos, podemos acabar exatamente como os homens das cavernas mencionados, brincando com a magia do fogo e nos queimando no processo.