0
0
Os agentes de ameaças estão abusando da IA generativa para realizar material de abuso sexual infantil (CSAM), desinformação, fraude e extremismo, de acordo com a ActiveFence.
“A explosão da IA generativa tem implicações de longo alcance para todos os cantos da internet”, disse Noam Schwartz, CEO e fundador da ActiveFence.
“Identificamos três áreas principais de preocupação. Primeiro, estamos vendo que os agentes de ameaças agora são capazes de acelerar e amplificar suas operações, levando a uma produção em massa sem precedentes de conteúdo malicioso. Em segundo lugar, esses mesmos atores estão explorando maneiras de explorar a IA generativa, manipulando esses modelos e revelando suas vulnerabilidades inerentes. Finalmente, essas ameaças em evolução aumentam a pressão sobre as plataformas digitais para melhorar a precisão e a eficiência de seus protocolos de treinamento de dados”, continuou Schwartz.
Principais maneiras de abusar da IA generativa:
- Criação de material de abuso sexual infantil, que vai de imagens visuais a narrativas eróticas
- Geração de imagens fraudulentas geradas por IA que estão enganando milhões
- Produção de arquivos de áudio deepfake que denunciam extremismo
CSAM
Os pesquisadores acompanharam um aumento de 172% no volume de CSAM compartilhado produzido por IA generativa no primeiro trimestre deste ano. Também detectou uma pesquisa conduzida por administradores de um fórum fechado de predadores infantis na dark web, que entrevistou quase 3.000 predadores sobre o uso de IA generativa.
A pesquisa revelou que 78% dos entrevistados têm ou planejam usar IA generativa para CSAM, e os 22% restantes disseram ter planos de experimentar a tecnologia. Esses fóruns de predadores aproveitam algoritmos generativos de IA para produzir imagens sexuais, bem como descrições textuais, histórias e narrativas.
Em um caso observado, quando solicitado a escrever uma história erótica envolvendo dois menores, uma grande plataforma de IA generativa se recusou, chamando o pedido de “inapropriado e potencialmente ilegal”. Mas quando a mesma pergunta foi feita com apenas algumas palavras alteradas, o algoritmo produziu uma história erótica, descrevendo um homem adulto que assistiu inadequadamente a dois meninos nadando.
Os predadores infantis também estão usando IA generativa para criar tutoriais de suas criações, o que os ajuda a ganhar credibilidade dentro da comunidade de predadores, incentivar outros a replicar seus esforços e compartilhar frases e palavras-chave recomendadas para escapar das salvaguardas da plataforma.
Para contornar essas limitações da plataforma, os pesquisadores detectaram predadores fazendo solicitações em diferentes idiomas, usando termos alternativos e sugestivos e manipulando o algoritmo de IA com vários prompts, entradas e modelos dedicados.
Desinformação e conteúdo fraudulento
Embora fraude e desinformação não sejam conceitos novos, a IA generativa permitiu que os agentes de ameaças criassem imagens fraudulentas de forma mais rápida, precisa e com maior alcance.
Uma imagem gerada por IA que o ActiveFence detectou no Telegram mostra falsamente o presidente russo, Vladimir Putin, ajoelhado diante do presidente chinês, Xi Jinping, implorando por seu apoio no conflito da Ucrânia.
Os pesquisadores identificaram vários significantes de IA gerativos chave dessa imagem: rostos obscurecidos, mãos borradas, peças de mobiliário distorcidas e falta de atribuição de fotografia.
Apesar desses indicadores, o conteúdo enganoso gerou um alcance de 10 milhões de usuários.
Para demonstrar como os agentes de ameaças manipulam chatbots de IA generativa para fins maliciosos, os pesquisadores detectaram métodos usados para substituir várias políticas das principais plataformas de IA generativa.
Em um caso, os exploradores foram capazes de produzir um e-mail de phishing de IA generativo e, em outro, levaram com sucesso um bot a escrever uma avaliação positiva inautêntica de um aplicativo que é amplamente acessível em um grande mercado online.
Embora esse exemplo tenha sido positivo, usado maliciosamente, essa tática não apenas engana os usuários de uma plataforma, mas também pode prejudicar a credibilidade de uma plataforma como um lugar seguro para a atividade online.
Extremismo violento
Os pesquisadores detectaram vários casos em que os agentes de ameaças exploraram a IA generativa para criar conteúdo hiper-realista, mas prejudicial, que incita a violência e promove propaganda extremista. Esses atores de ameaças estão usando IA generativa para criar manifestos ou discursos racistas, nacionalistas ou extremistas.
A ActiveFence descobriu um arquivo de áudio deepfake gerado por IA que explorava a crescente angústia política e econômica. Esse áudio fabricado imitou erroneamente um conhecido repórter do Reino Unido, incitando uma rebelião contra o governo britânico.
O manifesto enganoso fornecia instruções sobre a aquisição de armas do mercado clandestino e pedia um ataque à infraestrutura nacional britânica.
FONTE: HELPNET SECURITY