(CNN) Menos de algumas horas depois que o Snapchat lançou seu chatbot My AI para todos os usuários na semana passada, Lyndsi Lee, uma mãe de East Prairie, Missouri, disse à filha de 13 anos para ficar longe do recurso.

“É uma solução temporária até que você saiba mais sobre isso e possa definir alguns limites e diretrizes saudáveis”, disse Lee, que trabalha em uma empresa de software. ela se preocupa com como minha IA ele se apresenta aos jovens usuários como sua filha no Snapchat.

O recurso é alimentado pela ferramenta de chatbot viral AI ChatGPT e, como o ChatGPT, pode oferecer recomendações, responder a perguntas e conversar com os usuários. Mas a versão do Snapchat tem algumas diferenças importantes: os usuários podem personalizar o chatbot nome, crie um avatar Bitmoji personalizado para ele e leve-o para conversas com amigos.

O efeito líquido é que conversar com o chatbot do Snapchat pode parecer menos transacional do que visitar o site ChatGPT. Também pode ser menos claro que você está falando com um computador.

“Acho que não estou pronta para saber como ensinar minha filha a separar emocionalmente os humanos das máquinas quando eles são essencialmente iguais do ponto de vista dela”, disse Lee. “Acho que há uma linha muito clara [Snapchat] está atravessando.”

A nova ferramenta está enfrentando reações negativas não apenas dos pais, mas também de alguns usuários do Snapchat. usuários que estão bombardeando o aplicativo com críticas negativas na loja de aplicativos e críticas nas mídias sociais sobre questões de privacidade, compartilhamento “assustador” e a incapacidade de remover o recurso de seu canal de bate-papo, a menos que paguem por uma assinatura premium.

Embora alguns possam achar valor na ferramenta, as reações mistas indicam os riscos que as empresas enfrentam ao implementar a nova tecnologia de IA generativa em seus produtos, principalmente em produtos como o Snapchat, cujos usuários são mais jovens.

O Snapchat foi um dos primeiros parceiros de lançamento quando o OpenAI acesso livre ChatGPT para empresas terceirizadas, com muitas outras esperadas a seguir. Quase da noite para o dia, o Snapchat forçou algumas famílias e legisladores a lidar com questões que podem parecer teóricas apenas alguns meses atrás.

em um carta Falando aos CEOs da Snap e de outras empresas de tecnologia no mês passado, semanas após o lançamento do My AI para os assinantes da Snap, o senador democrata Michael Bennet expressou preocupação com as interações que o chatbot estava tendo com usuários mais jovens. Em particular, ele citou relatos de que pode dar dicas às crianças sobre como mentir para os pais.

“Esses exemplos seriam perturbadores para qualquer plataforma de mídia social, mas são especialmente preocupantes para o Snapchat, que é usado por quase 60% dos adolescentes americanos”, escreveu Bennett. “Embora o Snap admita que My AI é ‘experimental’, foi rápido em inscrever crianças e adolescentes americanos em seu experimento social.”

Em uma postagem no blog na semana passada, a empresa disse: “Minha IA está longe de ser perfeita, mas fizemos muito progresso”.

Reação negativa do usuário

Nos dias desde seu lançamento formal, os usuários do Snapchat levantaram preocupações. Um usuário chamou sua interação de “assustadora” depois de dizer que mentiu sobre não saber onde o usuário estava. Depois que o usuário iluminou a conversa, ele disse que o chatbot revelou com precisão que ele morava no Colorado.

Em outro vídeo do TikTok com mais de 1,5 milhão de visualizações, um usuário chamado Ariel gravou uma música com introdução, refrão e acordes de piano escritos por My AI sobre como é ser um chatbot. Quando ele devolveu a música gravada, ele disse que o chatbot negou seu envolvimento com a resposta: “Sinto muito, mas como modelo de linguagem de IA, não escrevo músicas”. Ariel chamou a troca de “assustadora”.

Outros usuários compartilharam preocupações sobre como a ferramenta entende, interage e coleta informações de fotos. “Tirei uma foto… e dizia ‘bons sapatos’ e perguntava quem eram as pessoas [were] na foto”, escreveu um usuário do Snapchat no Facebook.

O Snapchat disse à CNN que continua melhorando o My AI com base no feedback da comunidade e está trabalhando para implementar mais medidas de segurança para manter seus usuários seguros. A empresa também disse que, como em suas outras ferramentas, os usuários não precisam interagir com o My AI se não quiserem.

Não é possível para remover My AI dos feeds de bate-papo, no entanto, a menos que um usuário assine seu serviço premium mensal, Snapchat+. Alguns adolescentes dizem que optaram por pagar a taxa de US$ 3,99 do Snapchat+ para desativar a ferramenta antes de cancelar imediatamente o serviço.

Mas nem todos os usuários não gostam do recurso.

Um usuário escreveu no Facebook que pediu ajuda ao My AI com o dever de casa. “Ele faz todas as perguntas certas.” Outro observou que ela se apóia nele para obter conforto e conselhos. “Eu amo meu bolsinho, melhor amigo!” ela escreveu. “Você pode alterar o Bitmoji [avatar] Por esse motivo, e surpreendentemente, ele oferece conselhos muito bons para algumas situações da vida real. … Adoro o apoio que dá.”

Um cálculo inicial sobre como os adolescentes usam chatbots

O ChatGPT, que é treinado em uma grande quantidade de dados online, já veio sob fogo por espalhar informações imprecisas, responder aos usuários de maneiras que eles possam achar inadequadas e permitir que os alunos trapaceiem. Mas a integração da ferramenta Snapchat corre o risco de aumentar alguns desses problemas e adicionar novos.

Alexandra Hamlet, psicóloga clínica na cidade de Nova York, disse que os pais de alguns de seus pacientes levantaram preocupações sobre como seus filhos adolescentes podem interagir com a ferramenta Snapchat. Também existem preocupações sobre chatbots que dão conselhos e sobre saúde mental porque as ferramentas de IA podem reforçar o viés de confirmação de alguém, tornando mais fácil para os usuários buscar interações que confirmem suas crenças inúteis.

“Se um adolescente está de mau humor e não tem um desejo consciente de se sentir melhor, ele pode procurar uma conversa com um chatbot que sabe que o fará se sentir pior”, disse ele. “Com o tempo, ter interações como essas pode corroer o senso de valor dos adolescentes, mesmo sabendo que estão realmente falando com um bot. Em um estado emocional, torna-se menos provável que um indivíduo considere esse tipo de lógica. ” .”

Por enquanto, é responsabilidade dos pais iniciar conversas significativas com seus filhos adolescentes sobre as melhores práticas de comunicação com IA, especialmente quando as ferramentas começam a aparecer em aplicativos e serviços mais populares.

Sinead Bovell, fundadora da WAYE, uma start-up que ajuda a preparar os jovens para o futuro com tecnologias avançadas, disse que os pais precisam deixar bem claro que “chatbots não são seus amigos”.

“Eles também não são seus terapeutas ou conselheiros de confiança, e qualquer pessoa que interaja com eles deve ser muito cautelosa, especialmente adolescentes que podem ser mais suscetíveis a acreditar no que dizem”, disse ele.

“Os pais devem conversar com seus filhos agora sobre como não devem compartilhar nada pessoal com um chatbot que seria um amigo, embora, do ponto de vista do design do usuário, o chatbot exista no canto do Snapchat”.

Ele acrescentou que a regulamentação federal que exige que as empresas cumpram protocolos específicos também é necessária para acompanhar o ritmo acelerado do avanço da IA.