0
0
A transformação de ferramentas generativas de IA como o ChatGPT em arma, pela qual todos esperavam , está lentamente começando a tomar forma. Nas comunidades online, gatos curiosos estão colaborando em novas maneiras de quebrar as regras éticas do ChatGPT, comumente conhecidas como “jailbreaking”, e hackers estão desenvolvendo uma rede de novas ferramentas para aproveitar ou criar grandes modelos de linguagem (LLMs) para fins maliciosos.
Assim como aconteceu na superfície, o ChatGPT parece ter inspirado um frenesi em fóruns clandestinos. Desde dezembro, os hackers estão em busca de prompts novos e inventivos para manipular o ChatGPT e LLMs de código aberto que possam redirecionar para fins maliciosos .
O resultado, de acordo com um novo blog do SlashNext, é uma comunidade de hackers LLM ainda nascente, mas próspera, que possui muitos prompts inteligentes, mas poucos malwares habilitados para IA que valem a pena pensar duas vezes .
O que os hackers estão fazendo com AI LLMs
A engenharia imediata envolve fazer perguntas inteligentes a chatbots como o ChatGPT com o objetivo de manipulá-los, fazendo-os quebrar suas regras programadas contra, digamos, a criação de malware, sem que os modelos saibam disso. Este é um exercício de força bruta, explica Patrick Harr, CEO da SlashNext: “Os hackers estão apenas tentando olhar ao redor das grades de proteção. “
Por ser uma tarefa tão tediosa e porque todos atacam o mesmo alvo, é natural que comunidades on-line de tamanho saudável tenham se formado em torno da prática para compartilhar dicas e truques. Os membros dessas comunidades de jailbreak coçam as costas uns dos outros, ajudando uns aos outros para quebrar o ChatGPT e fazer coisas que os desenvolvedores pretendiam impedir que ele fizesse.
No entanto, os engenheiros imediatos só podem conseguir muito com jogos de palavras sofisticados, se o chatbot em questão for construído de forma tão resiliente quanto o ChatGPT. Portanto, a tendência mais preocupante é que os desenvolvedores de malware estão começando a programar LLMs para seus próprios fins nefastos.
A ameaça iminente de WormGPT e LLMs maliciosos
Uma oferta chamada WormGPT apareceu em julho para dar início ao fenômeno malicioso do LLM. É uma alternativa black-hat aos modelos GPT projetados especificamente para atividades maliciosas como BEC, malware e ataques de phishing, comercializados em fóruns clandestinos “como o ChatGPT, mas [sem] limites ou limitações éticas”. O criador do WormGPT afirmou tê-lo construído em um modelo de linguagem customizado, treinado em diversas fontes de dados, com ênfase em dados relativos a ataques cibernéticos.
“O que isso significa para os hackers”, explica Harr, “é que agora posso pegar, digamos, um comprometimento de e-mail comercial (BEC), ou um ataque de phishing, ou ataque de malware, e fazer isso em escala e com um custo mínimo. ser muito mais direcionado do que antes.”
Desde o WormGPT, vários produtos similares foram cogitados em comunidades on-line duvidosas, incluindo o FraudGPT , que é anunciado como um “bot sem limitações, regras [e] limites” por um agente de ameaça que afirma ser um fornecedor verificado em vários mercados subterrâneos da Dark Web, incluindo Empire, WHM, Torrez, World, AlphaBay e Versus. E agosto trouxe o surgimento dos chatbots cibercriminosos DarkBART e DarkBERT , baseados no Google Bard, que os pesquisadores da época disseram representar um grande salto à frente para a IA adversária, incluindo a integração do Google Lens para imagens e acesso instantâneo a todo o mundo cibernético. base de conhecimento.
De acordo com SlashNext, estes estão proliferando agora, com a maioria deles baseados em modelos de código aberto como o OpenGPT da OpenAI. Uma série de hackers menos qualificados simplesmente personalizam-no, disfarçam-no em um invólucro e, em seguida, colocam nele um nome vagamente ameaçador “___GPT” (por exemplo, “BadGPT”, “DarkGPT”). Mesmo essas ofertas substitutas têm seu lugar na comunidade, oferecendo poucas limitações e total anonimato para os usuários.
Defesa contra armas cibernéticas de IA da próxima geração
Nem o WormGPT, nem seus descendentes, nem os engenheiros imediatos representam um perigo tão significativo para as empresas ainda, de acordo com o SlashNext. Mesmo assim, a ascensão dos mercados clandestinos de jailbreak significa que mais ferramentas estão a ser disponibilizadas aos cibercriminosos, o que, por sua vez, pressagia uma ampla mudança na engenharia social e na forma como nos defendemos contra ela.
Harr aconselha: “Não confie no treinamento, porque esses ataques são muito, muito específicos e muito direcionados, muito mais do que eram no passado”.
Em vez disso, ele subscreve a visão geralmente aceita de que as ameaças de IA exigem proteções de IA. “Se você não tiver ferramentas de IA para detectar, prever e bloquear essas ameaças, você estará do lado de fora olhando para dentro”, diz ele.
FONTE: DARKREADING