A DEF CON AI Village deste ano convidou os hackers a se apresentarem, mergulharem e encontrarem bugs e vieses em modelos de linguagem extensivos (LLMs) criados pela OpenAI, Google, Anthropic e outros.
O evento colaborativo, que os organizadores do AI Village descrevem como “o maior exercício de equipe vermelha já realizado por qualquer grupo de modelos de IA”, receberá “milhares” de pessoas, incluindo “centenas de alunos de instituições e comunidades com passagem pelo ensino superior”, todos que terá a tarefa de encontrar falhas nos LLMs que alimentam os chatbots e a IA generativa atualmente.
Pense: bugs tradicionais no código, mas também problemas mais específicos do aprendizado de máquina, como viés, alucinações e vazamentos, com os quais os profissionais de ética e segurança agora precisam lidar à medida que essas tecnologias aumentam.
A DEF CON será realizada de 10 a 13 de agosto deste ano em Las Vegas, EUA.
Os vários problemas com esses modelos não serão resolvidos até que mais pessoas saibam como trabalhar em conjunto e avaliá-los.
“Tradicionalmente, as empresas têm resolvido esse problema com equipes vermelhas especializadas. No entanto, esse trabalho tem sido feito em grande parte em particular”, disse Sven Cattell, fundador da AI Village, em uma declaração. “Os vários problemas com esses modelos não serão resolvidos até que mais pessoas saibam como identificá-los e avaliá-los.”
O cientista de dados quer ver recompensas de bugs e eventos de hack ao vivo ajustados em toda a linha para se adequar aos sistemas baseados em modelo de ML. “Eles atendem a duas necessidades com uma ação, abordam os danos e aumentam a comunidade de pesquisadores que sabem como ajudar”, disse Cattell.
Para os participantes do time vermelho neste verão, o AI Village fornecerá laptops e acesso programado a LLMs de vários provedores. Atualmente, isso inclui modelos da Anthropic, Google, Hugging Face, Nvidia, OpenAI e Stability. O anúncio do povo da cidade também menciona que isso está “envolvido pela Microsoft”, então talvez os hackers tentem o Bing. Solicitamos esclarecimentos sobre isso.
As equipes Red também terão acesso a uma plataforma de avaliação desenvolvida pela Scale AI.
Haverá uma captura do sistema de pontos estilo bandeira para promover o teste de “uma ampla gama de danos”, de acordo com a AI Village. Quem conseguir mais pontos ganha uma GPU Nvidia de ponta.
O evento também conta com o apoio do Escritório de Ciência, Tecnologia e Política da Casa Branca; a Diretoria de Engenharia e Ciências da Computação e da Informação (CISE) da Fundação Nacional de Ciências dos Estados Unidos; e o Congresso AI Caucus.
Além disso, o anúncio ocorre quando a vice-presidente dos EUA, Kamala Harris, e outros altos funcionários do governo Biden se reuniram com os chefes da OpenAI, Anthropic, Microsoft e Google para discutir o riscos representados pela IA às pessoas e à segurança nacional.
E separadamente, Rumman Chowdhury, co-fundador de um think tank autodenominado Bias Buccaneers, que defende a transparência algorítmica, discutiu a necessidade de equipes vermelhas de IA na Conferência RSA do mês passado.
A AI Village organizou sua primeira recompensa de viés público de aprendizado de máquina na DEF CON há dois anos. ®
