Nova estrutura liberada para proteger sistemas de aprendizagem de máquina contra ataques contraditórios

Views: 296
0 0
Read Time:3 Minute, 8 Second

A Microsoft, em colaboração com a MITRE, IBM, NVIDIA e Bosch, lançou uma nova estrutura aberta que visa ajudar os analistas de segurança a detectar, responder e corrigir ataques contra o contraditórios contra sistemas de aprendizado de máquina (ML).

Chamada de Matriz de Ameaças ML Adversária,a iniciativa é uma tentativa de organizar as diferentes técnicas empregadas por adversários maliciosos no subverter sistemas ML.

Assim como a inteligência artificial (IA) e a ML estão sendo implantadas em uma ampla variedade de novos aplicativos, os atores de ameaças podem não apenas abusar da tecnologia para alimentar seu malware, mas também podem aproveitá-la para enganar modelos de aprendizado de máquina com conjuntos de dados envenenados, fazendo com que sistemas benéficos tosquem decisões incorretas e representem uma ameaça à estabilidade e segurança dos aplicativos de IA.

De fato, pesquisadores da ESET no ano passado descobriram que a Emotet — um malware baseado em e-mail por trás de várias campanhas de spam e ataques de ransomware baseados em botnet — estava usando o ML para melhorar sua segmentação.

Então, no início deste mês, a Microsoft alertou sobre uma nova variedade de ransomware Android que incluía um modelo de aprendizado de máquina que, embora ainda não fosse integrado ao malware, poderia ser usado para se encaixar na imagem da nota de resgate dentro da tela do dispositivo móvel sem qualquer distorção.

Além disso, os pesquisadores têm estudado o que é chamado de ataques de inversão de modelos,onde o acesso a um modelo é abusado para inferir informações sobre os dados de treinamento.

De acordo com um relatório do Gartner citado pela Microsoft, 30% de todos os ataques cibernéticos de IA até 2022 devem aproveitar o envenenamento por dados de treinamento, roubo de modelos ou amostras contraditórias para atacar sistemas alimentados por aprendizado de máquina.

“Apesar dessas razões convincentes para proteger os sistemas ML, a pesquisa da Microsoft que abrange 28 empresas descobriu que a maioria dos profissionais do setor ainda não chegou a um acordo com o aprendizado de máquina contraditório”, disse o fabricante do Windows. “Vinte e cinco das 28 empresas indicaram que não têm as ferramentas certas para proteger seus sistemas ML.”

O Adversarial ML Threat Matrix espera lidar com ameaças contra a armamento de dados de dados com um conjunto curado de vulnerabilidades e comportamentos adversários que a Microsoft e a MITRE examinaram para serem eficazes contra os sistemas ML.

A ideia é que as empresas possam usar a Matriz de Ameaças ML Adversária para testar a resiliência de seus modelos de IA simulando cenários de ataque realistas usando uma lista de táticas para obter acesso inicial ao ambiente, executar modelos de ML inseguros, contaminar dados de treinamento e exfiltrar informações confidenciais através de ataques de roubo de modelos.

“O objetivo da Matriz de Ameaças contraditória do ML é posicionar os ataques aos sistemas ML em uma estrutura que os analistas de segurança possam se orientar nessas novas e futuras ameaças”, disse a Microsoft.

“A matriz está estruturada como a estrutura da ATT&CK, devido à sua ampla adoção entre a comunidade de analistas de segurança – dessa forma, os analistas de segurança não têm que aprender uma nova ou diferente estrutura para aprender sobre ameaças aos sistemas ML.”

O desenvolvimento é o mais recente de uma série de movimentos realizados para proteger a IA contra ataques de envenenamento por dados e evasão de modelos. Vale a pena notar que pesquisadores da Universidade John Hopkins desenvolveram uma estrutura apelidada de TrojAI projetada para impedir ataques de trojan, no qual um modelo é modificado para responder a gatilhos de entrada que o fazem inferir uma resposta incorreta.

FONTE: THE HACKER NEWS

POSTS RELACIONADOS