0
0
Na quarta-feira, a KPMG Studios, incubadora da gigante de consultoria, lançou a Cranium, uma startup para proteger aplicativos e modelos de inteligência artificial (IA). A “plataforma de confiança e segurança de IA de ponta a ponta” da Cranium abrange duas áreas – MLOps (operações de aprendizado de máquina) e segurança cibernética – e fornece visibilidade dos riscos de segurança e cadeia de suprimentos da IA.
“Fundamentalmente, os cientistas de dados não entendem os riscos de segurança cibernética da IA e os profissionais cibernéticos não entendem a ciência de dados da maneira como entendem outros tópicos em tecnologia”, diz Jonathan Dambrot, ex-sócio da KPMG e fundador e CEO da Cranium. Ele diz que há um grande abismo de entendimento entre cientistas de dados e profissionais de segurança cibernética, semelhante à lacuna que muitas vezes existe entre as equipes de desenvolvimento e a equipe de segurança cibernética.
Com o Cranium, as principais partes interessadas do ciclo de vida da IA terão uma imagem operacional comum entre as equipes para melhorar a visibilidade e a colaboração, diz a empresa. A plataforma captura pipelines de IA em desenvolvimento e implantados, incluindo ativos associados envolvidos em todo o ciclo de vida da IA. O Cranium quantifica o risco de segurança de IA da organização e estabelece o monitoramento contínuo. Os clientes poderão estabelecer uma estrutura de segurança de IA, fornecendo às equipes de ciência de dados e segurança uma base para a construção de um programa de segurança de IA proativo e holístico.
Para manter os dados e sistemas seguros, o Cranium mapeia os pipelines de IA, valida sua segurança e monitora ameaças adversárias. A tecnologia se integra aos ambientes existentes para permitir que as organizações testem, treinem e implantem seus modelos de IA sem alterar o fluxo de trabalho, diz a empresa. Além disso, as equipes de segurança podem usar o manual da Cranium juntamente com o software para proteger seus sistemas de IA e aderir aos padrões regulatórios existentes nos EUA e na UE.
Com o lançamento do Cranium, a KPMG está aproveitando as crescentes preocupações sobre a IA adversária – a prática de modificar sistemas de IA que foram intencionalmente manipulados ou atacados para produzir resultados incorretos ou prejudiciais. Por exemplo, um veículo autônomo que tenha sido manipulado pode causar um acidente grave, ou um sistema de reconhecimento facial que tenha sido atacado pode identificar erroneamente indivíduos e levar a falsas prisões. Esses ataques podem vir de uma variedade de fontes, incluindo agentes mal-intencionados, e podem ser usados para espalhar desinformação, realizar ataques cibernéticos ou cometer outros tipos de crimes.
A Cranium não é a única empresa que procura proteger aplicativos de IA contra ataques de IA adversários. Concorrentes como HiddenLayer e Picus já estão trabalhando em ferramentas para detectar e prevenir ataques de IA.
Oportunidades de Inovação
As oportunidades empresariais nesta área são significativas, uma vez que os riscos da IA adversária provavelmente aumentarão nos próximos anos. Há também incentivo para que os principais players no espaço de IA – OpenAI, Google, Microsoft e, possivelmente, IBM – se concentrem em proteger os modelos e plataformas de IA que estão produzindo.
As empresas podem concentrar seus esforços de IA na detecção e prevenção, treinamento contraditório, explicabilidade e transparência ou recuperação pós-ataque. As empresas de software podem desenvolver ferramentas e técnicas para identificar e bloquear entradas adversárias, como imagens ou textos que foram intencionalmente modificados para enganar um sistema de IA. As empresas também podem desenvolver técnicas para detectar quando um sistema de IA está se comportando de maneira anormal ou inesperada, o que pode ser um sinal de um ataque.
Outra abordagem para proteger contra a IA adversária é “treinar” os sistemas de IA para serem resistentes a ataques. Ao expor um sistema de IA a exemplos contraditórios durante o processo de treinamento, os desenvolvedores podem ajudar o sistema a aprender a reconhecer e se defender contra ataques semelhantes no futuro. As empresas de software podem desenvolver novos algoritmos e técnicas para treinamento contraditório, bem como ferramentas para avaliar a eficácia dessas técnicas.
Com a IA, pode ser difícil entender como um sistema está tomando suas decisões. Essa falta de transparência pode dificultar a detecção e a defesa contra ataques contraditórios. As empresas de software podem desenvolver ferramentas e técnicas para tornar os sistemas de IA mais explicáveis e transparentes, para que desenvolvedores e usuários possam entender melhor como o sistema está tomando suas decisões e identificar possíveis vulnerabilidades.
Mesmo com as melhores técnicas de prevenção em vigor, é possível que um sistema de IA ainda possa ser violado. Nesses casos, é importante ter ferramentas e técnicas para se recuperar do ataque e restaurar o sistema a um estado seguro e funcional. As empresas de software podem desenvolver ferramentas para ajudar a identificar e remover qualquer código ou entrada maliciosa, bem como técnicas para restaurar o sistema a um estado “limpo”.
No entanto, proteger modelos de IA pode ser um desafio. Pode ser difícil testar e validar a eficácia das soluções de segurança de IA, uma vez que os invasores podem se adaptar e evoluir constantemente suas técnicas. Há também o risco de consequências não intencionais, onde as próprias soluções de segurança de IA podem introduzir novas vulnerabilidades.
No geral, os riscos da IA adversária são significativos, assim como as oportunidades empresariais para as empresas de software inovarem nessa área. Além de melhorar a segurança e a confiabilidade dos sistemas de IA, a proteção contra a IA adversária pode ajudar a construir confiança na IA entre usuários e partes interessadas. Isso, por sua vez, pode ajudar a impulsionar a adoção e a inovação no campo.
FONTE: DARK READING