Nova ferramenta feita pela Microsoft e Mitre emula ataques a sistemas de aprendizado de máquina

Views: 98
0 0
Read Time:1 Minute, 31 Second

Chamada de Arsenal , a ferramenta é um plug-in para a estrutura Mitre ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems), uma base de conhecimento de táticas adversárias, técnicas e estudos de caso.

O objetivo do ATLAS é aumentar a conscientização sobre as ameaças aos sistemas de ML, enquanto o Arsenal ajuda os pesquisadores de segurança cibernética a armazenar e criar táticas, técnicas e procedimentos contraditórios (TTPs) definidos no ATLAS para interagir com o CALDERA, a plataforma de segurança cibernética que automatiza a emulação do adversário .

O Arsenal usa a ferramenta de automação Counterfit da Microsoft para executar avaliações de risco de segurança de inteligência artificial (IA) como uma biblioteca automatizada de ataques adversários e permite que a CALDERA emule ataques usando a biblioteca Counterfit.

Espera-se que a integração do Arsenal ao CALDERA ajude os pesquisadores a identificar novas vulnerabilidades nos blocos de construção dos fluxos de trabalho de ML e criar proteções para impedir a exploração de sistemas de ML.

No momento, o Arsenal inclui um número limitado de perfis de adversários, com base em informações disponíveis publicamente. A Microsoft e a Mitre planejam adicionar novas técnicas e perfis de adversários à medida que os pesquisadores documentam novos ataques a sistemas de ML.

O Arsenal pode ser usado em sistemas executando o Ubuntu 18.04 ou 20.04 e requer o Python versões 3.7 ou superior para funcionar.

“À medida que o mundo olha para a IA para mudar positivamente a forma como as organizações operam, é fundamental que sejam tomadas medidas para ajudar a garantir a segurança dos modelos de IA e aprendizado de máquina que capacitarão a força de trabalho a fazer mais com menos pressão sobre tempo, orçamento e recursos”, disse o gerente de programa da Microsoft, Ram Shankar.

FONTE: SECURITYWEEK

POSTS RELACIONADOS