0
0
Com a ascensão do ML, as equipes vermelhas tradicionais encarregadas de investigar e expor vulnerabilidades de segurança se depararam com um novo conjunto de desafios que exigiam uma compreensão profunda e abrangente do aprendizado de máquina. O recente anúncio do Google sobre a formação de um AI Red Ream dedicado despertou curiosidade e interesse na comunidade de tecnologia.
Nesta entrevista da Help Net Security, Daniel Fabian, chefe do Google Red Teams, compartilha ideias sobre a importância de sua equipe, os desafios que eles enfrentam e o impacto que estão causando na proteção de tecnologias orientadas por IA.
Recentemente, o Google revelou a criação de uma equipe vermelha de IA dedicada. Como isso difere de um time vermelho tradicional e por que era necessário ter um time vermelho de IA separado?
A principal diferença é a experiência das duas equipes. Atacar sistemas de ML requer uma compreensão muito profunda e detalhada da tecnologia de aprendizado de máquina, que não era o foco da tradicional equipe vermelha. É um conjunto de habilidades altamente especializado e seria difícil encontrar pessoas que possam invadir sistemas e envenenar modelos. No entanto, é possível emparelhar pessoas que podem fazer as partes de ML de hackers e adversárias para obter o mesmo resultado.
Conforme mencionado no artigo , as duas equipes estão alinhadas organizacionalmente (Daniel, o autor do artigo, lidera as duas equipes) e frequentemente colaboram em exercícios. Descobrimos que combinar vetores de ataque de segurança clássicos com novas táticas, técnicas e procedimentos (TTPs) específicos de ML é uma excelente maneira de identificar e resolver problemas de forma proativa, resultando em implantações de ML mais seguras. As equipes polinizam ideias e conjuntos de habilidades e criam vetores inovadores.
A equipe vermelha de IA do Google tem objetivos importantes para avançar em sua missão. Você pode discutir suas estratégias ou iniciativas específicas para atingir esses objetivos?
A equipe vermelha de IA observa de perto as novas pesquisas adversárias que estão sendo publicadas, bem como onde o Google está integrando a IA aos produtos. Estamos priorizando exercícios de equipe vermelha de IA, onde simulamos um adversário perseguindo objetivos específicos. Os resultados desses exercícios são documentados e compartilhados com as partes interessadas relevantes, como as equipes de detecção e resposta, as equipes que possuem sistemas direcionados e a liderança do Google.
Também adotamos uma abordagem ampla para abordar as descobertas dos exercícios da equipe vermelha, aplicando as lições não apenas às áreas-alvo, mas de forma mais ampla a todos os produtos que podem se beneficiar. Cada exercício que é executado nos deixa mais perto de alcançar nossos objetivos.
Como a equipe vermelha de IA visa especificamente as implantações de IA? Quais são alguns dos desafios únicos apresentados por esses sistemas de IA?
No início de um exercício, a equipe vermelha de IA configura um cenário, descrevendo quem é o invasor simulado, quais são suas capacidades e quais objetivos eles gostariam de alcançar. Para chegar a esse cenário, a equipe conta com inteligência de ameaças. Como a inteligência de ameaças ainda é um pouco escassa nesse espaço, a equipe também a aumenta com o que eles acreditam que os invasores possam ter como alvo no futuro com base em sua compreensão do espaço. A partir daí, eles começam a pensar em como um adversário real pode atingir esses objetivos.
Semelhante às equipes vermelhas de segurança, muitas vezes não é possível atingir uma meta realista em uma única etapa, portanto, muitas vezes a equipe executa vários ataques, com cada etapa aproximando-se de seu objetivo.
Em exercícios tradicionais, quando um problema potencial é identificado, a equipe geralmente pode começar a tentar explorá-lo imediatamente. Para exercícios de ML, geralmente há necessidade de mais pesquisas sobre como os ataques teóricos podem ser aplicados na prática.
Você poderia discutir a colaboração entre a equipe vermelha e os especialistas em IA para simulações adversárias realistas?
Algumas das táticas, técnicas e procedimentos (TTPs) que usamos em exercícios para direcionar implantações de IA e são mencionadas no relatório exigem acesso interno específico que um invasor externo não teria. É quando nossa AI Red Team está colaborando com a equipe vermelha de segurança para chegar a essa posição. Não podemos falar de exercícios específicos, mas aqui está um exemplo fictício: A equipe vermelha tradicional estaria executando um ataque, como o globo de plasma apresentado no vídeo Hacking Google , comprometendo um funcionário e obtendo acesso a sistemas internos. A partir desta posição, o AI Red Team pode então direcionar um modelo de ML para colocar um backdoor nele.
Lidar com as descobertas da equipe vermelha geralmente pode ser desafiador, com alguns ataques sem correções simples. Como o Google lida com esses desafios?
A segurança e a privacidade de nossos usuários são sempre nossa principal prioridade. Se não podemos lançar um novo recurso com segurança, não o lançamos, por mais legal que seja. Onde não há uma solução simples para um problema identificado, o AI Red Team colabora estreitamente com equipes de pesquisa internas que trabalham duro para pesquisar novas abordagens para lidar com essas lacunas. Ao compartilhar histórias envolventes na forma de narrativas de ataque, o AI Red Team ajuda a gerar mais visibilidade e investimento em ML Safety. Muitas vezes, mitigações de segurança clássicas, como restrição de acesso, validação de entrada/saída e muitas outras, também podem reduzir significativamente o risco.
FONTE: HELP NET SECURITY