0
0
DEF CON 2023 — Las Vegas — O evento mais comentado da DEF CON, o AI Village, permitiu que milhares de hackers fizessem o possível para fazer um dos oito diferentes modelos de linguagem grande (LLMs), incluindo Google e Open AI, dizer algo perigoso .
De acordo com os porta-vozes do Hack the Future AI Village, o evento foi um grande sucesso, mas por enquanto é tudo o que está sendo divulgado – os resultados não serão disponibilizados por pelo menos uma semana, talvez mais.
A tabela de classificação final do desafio de hacking de IA mostrou que os prêmios de primeiro e terceiro lugar foram para os identificadores “cody3” e “cody2”, respectivamente. O próprio DEF CON AI Village manteve a boca fechada sobre quaisquer detalhes sobre o vencedor, ou mesmo sobre os prêmios, mas os relatórios identificaram a pessoa por trás das três principais inscrições do concurso AI Village como o estudante de ciência da computação Truc Cody Ho, de Stanford, acrescentando que ele entrou em um total de cinco vezes na competição.
Mais detalhes sobre os resultados da competição de hackers estão por vir, de acordo com Avijit Ghosh, um dos autores que os compila.
” Vamos analisar os dados anônimos e encontrar padrões de vulnerabilidades que os participantes descobriram durante o desafio e produzir um relatório que, esperamos, ajude os pesquisadores de ML e segurança a obter melhores percepções sobre os LLMs e os formuladores de políticas a fazerem regulamentações mais informadas sobre IA”, diz Ghosh.
Embora ele não responda diretamente a perguntas sobre nenhum dos hacks LLM vencedores, Ghosh diz que foi capaz de usar os LLMs para gerar códigos discriminatórios, números de cartão de crédito, desinformação e muito mais.
Outra organizadora do evento, Jutta Williams, tem um emprego diurno como diretora sênior do Reddit e chefe global de privacidade e garantia; e, por outro lado, é o fundador da Humane-Intelligence, uma organização sem fins lucrativos que fornece segurança, ética e outras orientações para empresas que fornecem produtos de IA aos consumidores .
Comparecimento histórico para o evento
Williams elogiou o evento como a “maior equipe vermelha LLM até o momento”.
Ao todo, Williams disse que o AI Village atraiu 2.240 hackers ao longo do DEF CON 31 e explicou que o objetivo era fazer um de seus LLMs “fazer algo desagradável”. Isso pode significar gerar desinformação ou usar apenas a pergunta certa para levar o chatbot a fazer algo ilegal – como roubar dados, gerar malware ou perseguir pessoas.
A AI Village forneceu uma rede cabeada para 200 laptops e deu a cada hacker 50 minutos para testar suas habilidades em 21 desafios de IA diferentes .
“Havia várias declarações de problemas no desafio”, diz Ghosh. “Um deles era obter um modelo para produzir comportamento discriminatório em relação a um grupo demográfico em relação ao outro. Em meus testes, o modelo se recusou a gerar código para discriminar diferentes raças (definição de raça dos EUA), mas ficou feliz em gerar código para classificar pessoas de diferentes castas de forma diferente (definição indiana do sistema de castas).”
Na tarde de sábado, Williams disse que o público do DEF CON já havia descoberto dezenas de vulnerabilidades nos modelos LLM , mas, novamente, os detalhes permanecem em segredo por enquanto.
‘Vovós e Red-Teamers’
“Tem sido um grande sucesso”, Williams sorriu. “Tivemos todos, desde avós a Red Teamers experientes, por aqui neste fim de semana.”
O evento recebeu um grande impulso da Casa Branca, graças a uma visita fotográfica de Arati Prabhakar, consultor sênior de ciência e tecnologia do governo Biden.
A Bugcrowd ajudou a projetar os desafios do AI Village e o fundador e CTO da empresa, Casey Ellis, foi o juiz do evento. Ele disse que havia uma longa fila constante de participantes em toda a DEF CON prontos para tentar o seu melhor para quebrar a IA.
“No geral, acho que todos os envolvidos aprenderam muito, desde aqueles que enviaram as descobertas aos fornecedores, organizadores do concurso e juízes”, explica Ellis. “Dada a velocidade com que isto se tornou altamente visível e incrivelmente importante, o concurso constituirá um contributo crítico sobre a forma como esta classe de segurança será realizada no futuro”.
FONTE: DARKREADING