Fóruns de jailbreak do ChatGPT proliferam em comunidades da Dark Web

Views: 3258
0 0
Read Time:4 Minute, 3 Second

A transformação de ferramentas generativas de IA como o ChatGPT em arma, pela qual  todos esperavam  , está lentamente começando a tomar forma. Nas comunidades online, gatos curiosos estão colaborando em novas maneiras de quebrar as regras éticas do ChatGPT, comumente conhecidas como “jailbreaking”, e hackers estão desenvolvendo uma rede de novas ferramentas para aproveitar ou criar grandes modelos de linguagem (LLMs) para fins maliciosos.

Assim como aconteceu na superfície, o ChatGPT parece ter inspirado um frenesi em fóruns clandestinos. Desde dezembro, os hackers estão em busca de prompts novos e inventivos para manipular o ChatGPT e LLMs de código aberto que possam redirecionar para fins maliciosos . 

O resultado, de acordo com um novo blog do SlashNext, é uma comunidade de hackers LLM ainda nascente, mas próspera, que possui muitos prompts inteligentes, mas poucos malwares habilitados para IA que valem a pena pensar duas vezes .

O que os hackers estão fazendo com AI LLMs

A engenharia imediata envolve fazer perguntas inteligentes a chatbots como o ChatGPT com o objetivo de manipulá-los, fazendo-os quebrar suas regras programadas contra, digamos, a criação de malware, sem que os modelos saibam disso. Este é um exercício de força bruta, explica Patrick Harr, CEO da SlashNext: “Os hackers estão apenas tentando olhar ao redor das grades de proteção. “

Por ser uma tarefa tão tediosa e porque todos atacam o mesmo alvo, é natural que comunidades on-line de tamanho saudável tenham se formado em torno da prática para compartilhar dicas e truques. Os membros dessas comunidades de jailbreak coçam as costas uns dos outros, ajudando uns aos outros para quebrar o ChatGPT e fazer coisas que os desenvolvedores pretendiam impedir que ele fizesse.

uma captura de tela de um grupo de bate-papo on-line feito para solicitar
Fonte: SlashNext

No entanto, os engenheiros imediatos só podem conseguir muito com jogos de palavras sofisticados, se o chatbot em questão for construído de forma tão resiliente quanto o ChatGPT. Portanto, a tendência mais preocupante é que os desenvolvedores de malware estão começando a programar LLMs para seus próprios fins nefastos.

A ameaça iminente de WormGPT e LLMs maliciosos

Uma oferta chamada  WormGPT  apareceu em julho para dar início ao fenômeno malicioso do LLM. É uma alternativa black-hat aos modelos GPT projetados especificamente para atividades maliciosas como BEC, malware e ataques de phishing, comercializados em fóruns clandestinos “como o ChatGPT, mas [sem] limites ou limitações éticas”. O criador do WormGPT afirmou tê-lo construído em um modelo de linguagem customizado, treinado em diversas fontes de dados, com ênfase em dados relativos a ataques cibernéticos.

“O que isso significa para os hackers”, explica Harr, “é que agora posso pegar, digamos, um comprometimento de e-mail comercial (BEC), ou um ataque de phishing, ou ataque de malware, e fazer isso em escala e com um custo mínimo. ser muito mais direcionado do que antes.”

Desde o WormGPT, vários produtos similares foram cogitados em comunidades on-line duvidosas, incluindo o FraudGPT , que é anunciado como um “bot sem limitações, regras [e] limites” por um agente de ameaça que afirma ser um fornecedor verificado em vários mercados subterrâneos da Dark Web, incluindo Empire, WHM, Torrez, World, AlphaBay e Versus. E agosto trouxe o surgimento dos chatbots cibercriminosos DarkBART e DarkBERT , baseados no Google Bard, que os pesquisadores da época disseram representar um grande salto à frente para a IA adversária, incluindo a integração do Google Lens para imagens e acesso instantâneo a todo o mundo cibernético. base de conhecimento.

De acordo com SlashNext, estes estão proliferando agora, com a maioria deles baseados em modelos de código aberto como o OpenGPT da OpenAI. Uma série de hackers menos qualificados simplesmente personalizam-no, disfarçam-no em um invólucro e, em seguida, colocam nele um nome vagamente ameaçador “___GPT” (por exemplo, “BadGPT”, “DarkGPT”). Mesmo essas ofertas substitutas têm seu lugar na comunidade, oferecendo poucas limitações e total anonimato para os usuários.

Defesa contra armas cibernéticas de IA da próxima geração

Nem o WormGPT, nem seus descendentes, nem os engenheiros imediatos representam um perigo tão significativo para as empresas ainda, de acordo com o SlashNext. Mesmo assim, a ascensão dos mercados clandestinos de jailbreak significa que mais ferramentas estão a ser disponibilizadas aos cibercriminosos, o que, por sua vez, pressagia uma ampla mudança na engenharia social e na forma como nos defendemos contra ela. 

Harr aconselha: “Não confie no treinamento, porque esses ataques são muito, muito específicos e muito direcionados, muito mais do que eram no passado”.

Em vez disso, ele subscreve a visão geralmente aceita de que as ameaças de IA exigem proteções de IA. “Se você não tiver ferramentas de IA para detectar, prever e bloquear essas ameaças, você estará do lado de fora olhando para dentro”, diz ele.

FONTE: DARKREADING

POSTS RELACIONADOS