0
0
Os cientistas deram um passo fundamental para aproveitar uma forma de inteligência artificial conhecida como aprendizado de reforço profundo, ou DRL, para proteger redes de computadores.
Estrutura autônoma de defesa cibernética
Quando confrontado com ataques cibernéticos sofisticados em um ambiente de simulação rigoroso, o aprendizado de reforço profundo foi eficaz em impedir que os adversários atingissem seus objetivos em até 95% das vezes. O resultado promete um papel para a IA autônoma na defesa cibernética proativa.
Cientistas do Laboratório Nacional do Pacífico Noroeste do Departamento de Energia ( PNNL ) documentaram suas descobertas em um trabalho de pesquisa .
O ponto de partida foi desenvolver um ambiente de simulação para testar cenários de ataque em vários estágios envolvendo diferentes tipos de adversários. A criação de um ambiente de simulação de ataque-defesa tão dinâmico para experimentação em si é uma vitória. O ambiente permite que os pesquisadores comparem a eficácia de diferentes métodos defensivos baseados em IA em configurações de teste controladas.
Tais ferramentas são essenciais para avaliar o desempenho de algoritmos de aprendizado por reforço profundo. O método está emergindo como uma poderosa ferramenta de apoio à decisão para especialistas em segurança cibernética – um agente de defesa com capacidade de aprender, adaptar-se a circunstâncias que mudam rapidamente e tomar decisões de forma autônoma. Enquanto outras formas de inteligência artificial são padrão para detectar invasões ou filtrar mensagens de spam, o aprendizado de reforço profundo expande as habilidades dos defensores para orquestrar planos de tomada de decisão sequencial em seu confronto diário com adversários.
O aprendizado por reforço profundo oferece segurança cibernética mais inteligente, a capacidade de detectar mudanças no cenário cibernético mais cedo e a oportunidade de tomar medidas preventivas para impedir um ataque cibernético.
DRL: Decisões em um amplo espaço de ataque
“Um agente de IA eficaz para segurança cibernética precisa sentir, perceber, agir e se adaptar com base nas informações que pode coletar e nos resultados das decisões que adota”, disse Samrat Chatterjee, cientista de dados que apresentou o trabalho da equipe. “A aprendizagem por reforço profundo tem um grande potencial neste espaço, onde o número de estados do sistema e as opções de ação podem ser grandes.”
O DRL, que combina aprendizado por reforço e aprendizado profundo, é especialmente adepto de situações em que uma série de decisões em um ambiente complexo precisa ser tomada. Boas decisões que levam a resultados desejáveis são reforçadas com uma recompensa positiva (expressa como um valor numérico); escolhas ruins que levam a resultados indesejáveis são desencorajadas por meio de um custo negativo.
É semelhante a como as pessoas aprendem muitas tarefas. Uma criança que faz suas tarefas pode receber reforço positivo com uma brincadeira desejada; uma criança que não faz seu trabalho recebe reforço negativo, como a entrega de um dispositivo digital.
“É o mesmo conceito no aprendizado por reforço”, disse Chatterjee. “O agente pode escolher entre um conjunto de ações. A cada ação vem um feedback, bom ou ruim, que passa a fazer parte de sua memória. Há uma interação entre explorar novas oportunidades e explorar experiências passadas. O objetivo é criar um agente que aprenda a tomar boas decisões.”
MITRE ATT&CK e Open AI Gym
A equipe usou um kit de ferramentas de software de código aberto conhecido como Open AI Gym para criar um ambiente de simulação personalizado e controlado para avaliar os pontos fortes e fracos de quatro algoritmos de aprendizado de reforço profundo.
Eles também usaram a estrutura MITRE ATT&CK e incorporaram sete táticas e 15 técnicas implantadas por três adversários distintos. Os defensores foram equipados com 23 ações de mitigação para interromper ou impedir a progressão de um ataque.
As etapas do ataque incluíram táticas de reconhecimento, execução, persistência, evasão de defesa, comando e controle, coleta e exfiltração (quando os dados são transferidos para fora do sistema). Um ataque foi registrado como uma vitória para o adversário se ele atingisse com sucesso o estágio final de exfiltração.
“Nossos algoritmos operam em um ambiente competitivo – uma disputa com um adversário com a intenção de violar o sistema”, disse Chatterjee. “É um ataque de vários estágios, onde o adversário pode seguir vários caminhos de ataque que podem mudar ao longo do tempo enquanto tentam ir do reconhecimento à exploração. Nosso desafio é mostrar como as defesas baseadas no aprendizado por reforço profundo podem impedir esse tipo de ataque”.
DQN (Deep Q-Network)
A equipe treinou agentes defensivos com base em quatro algoritmos de aprendizado de reforço profundo: DQN e três variações do que é conhecido como abordagem ator-crítico. Os agentes foram treinados com dados simulados sobre ataques cibernéticos e testados contra ataques que não haviam observado no treinamento. DQN teve o melhor desempenho.
Ataques menos sofisticados (com base em níveis variados de habilidade e persistência do adversário): DQN interrompeu 79% dos ataques no meio dos estágios de ataque e 93% no estágio final.
Ataques moderadamente sofisticados: DQN interrompeu 82% dos ataques no meio do caminho e 95% no estágio final.
Ataques mais sofisticados: DQN interrompeu 57% dos ataques no meio do caminho e 84% no estágio final – muito mais do que os outros três algoritmos.
“Nosso objetivo é criar um agente de defesa autônomo que possa aprender o próximo passo mais provável de um adversário, planejá-lo e responder da melhor maneira para proteger o sistema”, disse Chatterjee.
Apesar do progresso, ninguém está pronto para confiar a defesa cibernética inteiramente a um sistema de IA. Em vez disso, um sistema de segurança cibernética baseado em DRL precisaria trabalhar em conjunto com os humanos, disse o coautor Arnab Bhattacharya, ex-PNNL.
“A IA pode ser boa na defesa contra uma estratégia específica, mas não é tão boa em entender todas as abordagens que um adversário pode adotar”, disse Bhattacharya. “Não estamos nem perto do estágio em que a IA pode substituir os analistas cibernéticos humanos. O feedback humano e a orientação são importantes.”
Além de Chatterjee e Bhattacharya, os autores do artigo do workshop AAAI incluem Mahantesh Halappanavar do PNNL e Ashutosh Dutta , um ex-cientista do PNNL. O trabalho foi financiado pelo Office of Science do DOE.
FONTE: HELPNET SECURITY