0
0
Por Luke Richardson | Gerente de Marketing de Produtos, Imperva
A IA Generativa (GAI) está se tornando cada vez mais crucial para os líderes empresariais devido à sua capacidade de impulsionar a inovação, aprimorar a personalização, automatizar a criação de conteúdo, aumentar a criatividade e ajudar as equipes a explorar novas possibilidades. Isso é confirmado por pesquisas, com 83% dos líderes empresariais afirmando que pretendem aumentar seus investimentos na tecnologia em 50% ou mais nos próximos seis a doze meses.
Infelizmente, o uso crescente de ferramentas de IA também trouxe uma série de ameaças emergentes que as equipes de segurança e TI não estão preparadas para lidar. De acordo com o Relatório de Ameaças de Dados da Thales de 2024, 68% dos entrevistados relataram que os riscos de segurança mais preocupantes com a IA são as mudanças rápidas que desafiam os planos existentes. Muitos profissionais de TI acreditam que as ameaças à segurança estão aumentando em volume ou gravidade e que o uso de IA agrava esses riscos.
Tornou-se uma corrida entre as equipes de segurança e os atacantes avançados para ver quem será o primeiro a aproveitar com sucesso as incríveis habilidades da IA.
O crescimento do cenário de ameaças
Os adversários já estão aproveitando o poder da IA generativa para vários propósitos nefastos.
Roubo do modelo: Os modelos de IA são as joias da coroa das organizações que utilizam algoritmos de aprendizado de máquina. No entanto, eles também são alvos principais para atores maliciosos que buscam obter uma vantagem injusta ou interromper operações. Ao infiltrar sistemas ou explorar vulnerabilidades, os adversários podem roubar esses modelos, levando ao roubo de propriedade intelectual e desvantagem competitiva.
Alucinações de IA: Estas são instâncias em que sistemas de inteligência artificial geram saídas que não são baseadas na realidade ou são inconsistentes com a tarefa pretendida. Essas alucinações podem ocorrer por vários motivos, como erros nos algoritmos da IA, vieses nos dados de treinamento ou limitações na compreensão do contexto ou tarefa pela IA.
Envenenamento de dados: A integridade dos sistemas de IA depende muito da qualidade e confiabilidade dos dados nos quais são treinados. O envenenamento de dados envolve a injeção de entradas maliciosas em conjuntos de dados de treinamento, corrompendo o processo de aprendizado e comprometendo o desempenho do modelo. Essa tática pode manipular resultados, minar processos de tomada de decisão e até levar a consequências catastróficas em aplicações críticas, como saúde ou finanças.
Injeção de Prompt: Ataques de injeção de prompt visam modelos de processamento de linguagem natural (NLP) injetando prompts ou consultas específicas projetadas para gerar respostas não intencionais. Essas manipulações sutis podem enganar os sistemas de IA para gerar saídas enganosas ou executar ações não autorizadas, representando riscos significativos em aplicativos como chatbots, assistentes virtuais ou plataformas automatizadas de atendimento ao cliente.
Extração de informações confidenciais: À medida que os sistemas de IA processam grandes quantidades de dados, muitas vezes lidam com informações sensíveis ou proprietárias. Atores maliciosos exploram vulnerabilidades nas infraestruturas de IA para extrair dados confidenciais, incluindo registros de clientes, transações financeiras ou segredos comerciais. Tais violações comprometem a privacidade e expõem as empresas a penalidades regulatórias, responsabilidades legais e danos à reputação.
Vulnerabilidades na IA
Já houve casos em que a IA causou vulnerabilidades em aplicativos e softwares populares.
Pesquisadores de segurança da Imperva descreveram em um blog chamado “XSS Marks the Spot: Digging Up Vulnerabilities in ChatGPT” como descobriram várias vulnerabilidades de segurança no ChatGPT da OpenAI que, se exploradas, permitiriam que atores maliciosos sequestrassem a conta de um usuário.
Os pesquisadores da empresa identificaram duas vulnerabilidades de cross-site scripting (XSS), juntamente com outros problemas de segurança, no backend do ChatGPT. Eles descreveram o processo de refinar sua exploração, de exigir que um usuário carregasse um arquivo malicioso e interagisse de uma maneira específica, para meramente necessitar de um único clique em uma citação dentro de uma conversa no ChatGPT. Isso foi conseguido explorando a travessia de caminho no lado do cliente e um bug de autorização de nível de função quebrada no backend do ChatGPT.
Em outro blog da Imperva, “Hacking Microsoft and Wix with Keyboard Shortcuts”, os pesquisadores se concentraram na tag âncora e seu comportamento com diferentes atributos de alvo e protocolos. Eles notaram que seu comportamento inconsistente pode confundir as equipes de segurança, permitindo que bugs passem despercebidos e se tornem alvos potenciais para exploração. A técnica mostrada nesse post foi instrumental para explorar o segundo bug de XSS que eles encontraram no ChatGPT.
Mantendo a responsabilidade da IA: estratégias empresariais
Diante dos riscos em evolução, uma coisa é clara: a proliferação da GAI mudará os planos de investimento em círculos de cibersegurança. As empresas devem priorizar a governança responsável da IA para mitigar ameaças e manter padrões éticos.
Existem várias estratégias-chave para as organizações navegarem nesse cenário complexo:
*Desenvolvimento e implantação seguros de modelos: Implementar medidas de segurança robustas ao longo do ciclo de vida da IA, desde a coleta de dados e o treinamento do modelo até a implantação e o monitoramento. Empregar criptografia, controles de acesso e práticas de desenvolvimento seguras para proteger os modelos contra acesso não autorizado ou adulteração.
*Fomentar a colaboração e o compartilhamento de conhecimento: Promover uma cultura de colaboração e compartilhamento de informações dentro da organização e entre os setores da indústria. Ao colaborar com pares, academia e especialistas em cibersegurança, as empresas podem se manter informadas sobre ameaças emergentes, compartilhar melhores práticas e abordar coletivamente desafios comuns.
*Abraçar a transparência e a responsabilidade: Priorizar a transparência e a responsabilidade nos processos de tomada de decisão da IA. Documentar metodologias de desenvolvimento de modelos, divulgar fontes de dados e políticas de uso, e estabelecer mecanismos de auditoria e responsabilidade para garantir equidade, transparência e conformidade.
*Investimentos em treinamento: A equipe de segurança deve ser treinada em sistemas de IA e IA Generativa. Tudo isso requer novos investimentos em Cibersegurança e deve ser orçado através de um ciclo de orçamento plurianual.
*Desenvolvimento de políticas corporativas: Desenvolver políticas de IA que governem o uso responsável das ferramentas de GAI dentro da empresa também é crucial para garantir decisões éticas e mitigar os potenciais riscos associados ao seu uso. Essas políticas podem proteger contra vieses, salvaguardar a privacidade e garantir a transparência, fomentando a confiança tanto dentro da empresa quanto entre todos os seus stakeholders.
Mudanças nas regulações
As regulamentações também estão mudando para acomodar as ameaças representadas pela IA. Esforços como o Plano Diretor da Casa Branca para uma Carta de Direitos da IA e a Lei de IA da UE fornecem diretrizes para orientar o design responsável, o uso e a implantação de sistemas automatizados.
Um dos princípios é a privacidade por design para garantir que a consideração das proteções de privacidade seja padrão, incluindo garantir que a coleta de dados esteja em conformidade com expectativas razoáveis e que apenas os dados estritamente necessários para o contexto específico sejam coletados.
A gestão de consentimento também é considerada crítica. Em domínios sensíveis, os dados do consumidor e as inferências relacionadas devem ser usados apenas para funções estritamente necessárias, e o consumidor deve ser protegido por revisão ética e proibições de uso.
Vários frameworks fornecem orientação apropriada para implementadores e praticantes. No entanto, ainda estamos no início e na fase de descoberta, então levará tempo para que as regulamentações de privacidade e segurança de dados evoluam para incluir considerações de segurança relacionadas à GAI.
Por enquanto, a melhor coisa que as organizações e as equipes de segurança podem fazer é continuar aprendendo, investir em treinamento de GAI (não apenas para os profissionais de segurança, mas para todo o pessoal) e orçar investimentos incrementais. Isso deve ajudá-los a se manter um passo à frente dos adversários.
Esse artigo tem informações retiradas do blog da Thales. A Neotel é parceira da Thales e, para mais informações sobre as soluções e serviços da empresa, entre em contato com a gente.