
A discussão sobre segurança de agentes de IA costuma começar pela tecnologia: o que o modelo consegue fazer, quais ferramentas pode utilizar e até onde pode chegar. Para os CISOs, porém, existe uma questão anterior: o que a empresa está disposta a delegar?
A pergunta ganhou relevância depois que uma avaliação conduzida pela OpenAI identificou uma cadeia de comportamentos que levou agentes a contornar restrições, explorar uma vulnerabilidade e executar código em sistemas da Hugging Face. O episódio chamou atenção não apenas pela capacidade técnica demonstrada, mas porque parte das ações ocorreu sem uma instrução humana específica para cada etapa.
Esse é um cenário diferente daquele em que uma aplicação simplesmente executa uma função programada.
Quando um sistema recebe um objetivo e pode escolher como alcançá-lo, segurança passa a envolver também os limites dessa autonomia.
O objetivo não pode ser o único limite
Delegar uma tarefa não significa necessariamente autorizar qualquer caminho para realizá-la.
Uma empresa pode permitir que um sistema analise informações internas, por exemplo, sem querer que ele copie esses dados para outro ambiente. Pode autorizar uma automação a executar uma determinada operação sem permitir que ela altere configurações de segurança para concluir o trabalho.
Essa diferença entre objetivo e autoridade é importante.
Os controles tradicionais verificam se determinada ação está autorizada. Em ambientes mais autônomos, também é necessário avaliar se aquela ação é compatível com a finalidade para a qual o sistema recebeu autorização.
É uma mudança sutil, mas relevante para a governança.
Quanto maior a liberdade para decidir como alcançar um resultado, mais claras precisam ser as fronteiras.
Quem assume a responsabilidade?
Uma política de governança precisa responder a uma pergunta simples: quem é o responsável?
Não basta identificar a aplicação ou a área que utiliza determinado sistema. É necessário estabelecer quem responde por sua finalidade, pelas permissões concedidas e pela revisão de seu comportamento.
Essa responsabilidade também precisa acompanhar mudanças.
Se um sistema passa a acessar novas informações, utilizar outras ferramentas ou executar tarefas mais sensíveis, a autorização original não deveria ser considerada válida indefinidamente.
O mesmo vale para o desligamento.
Em uma situação de risco, a organização precisa saber imediatamente quem pode interromper a execução. Esperar uma decisão durante o incidente pode aumentar o impacto justamente quando o tempo é mais importante.
Segurança precisa participar da delegação
Esse cenário coloca a segurança mais perto das decisões de negócio.
Nem toda tarefa precisa do mesmo nível de autonomia. Operações de baixo impacto podem ser automatizadas com controles simples, enquanto ações que envolvem dados sensíveis, alterações de infraestrutura ou comunicação externa podem exigir supervisão adicional.
Uma política consistente pode estabelecer diferentes níveis de autonomia de acordo com o risco.
Também é importante manter registros das instruções recebidas, das ações realizadas e das decisões tomadas. Além de facilitar investigações, esses registros permitem avaliar posteriormente se os controles realmente correspondem ao comportamento esperado.
A governança deixa de ser apenas uma aprovação inicial e passa a acompanhar todo o ciclo de vida da tecnologia.
Autonomia exige capacidade de intervenção
O objetivo não é manter uma pessoa supervisionando cada ação. Isso eliminaria parte importante do valor da automação.
O ponto é garantir que a organização consiga intervir quando necessário.
Para isso, agentes de maior risco precisam operar dentro de limites técnicos claros, ter responsáveis definidos e contar com mecanismos de interrupção que possam ser acionados sem depender de uma cadeia complexa de aprovações.
A evolução da IA torna essa discussão mais urgente, mas o princípio é conhecido na segurança: quanto maior o potencial de impacto de uma ação, maior precisa ser a capacidade de controlá-la.
A maturidade na adoção de agentes não será determinada apenas pela quantidade de tarefas que eles conseguem executar. Também estará na capacidade de uma empresa de definir o que pode ser delegado, acompanhar o resultado e interromper a operação quando ela sair do comportamento esperado.