0
0
Realidades práticas para a segurança de chatbots de IA
IA generativa, ChatGPT e OpenAI, modelos de linguagem grande (LLMs) – todos esses são agora chavões e frases quase diárias ouvidos em conversas em toda a comunidade de segurança cibernética. É claro que a inteligência artificial (IA) baseada em chatbots continua a alimentar uma versão particularmente inebriante do ciclo de hype da tecnologia, mas também há uma quantidade impressionante de atividades práticas.
A saber: fornecedores de segurança grandes e pequenos integraram chatbots de IA em suas ofertas (olhando para você, Charlotte do CrowdStrike); o investimento em segurança de IA baseada em GPT é uma das áreas de financiamento mais vibrantes em startups nos dias de hoje; e é impossível não tropeçar em pesquisas que descrevem potenciais ameaças de segurança cibernética relacionadas à IA e como combatê-las (phishing, deepfakes e malware, oh meu!).
É muita coisa.
Neste artigo em destaque, Dark Reading deixa para trás a colina de expectativas impossíveis por um pouco e dá uma olhada no mundo real de como a conversa de segurança em torno desta nova geração de IA está começando a se aprofundar.
Isso inclui avaliações sóbrias de usuários e analistas corporativos; e um olhar sobre os esforços para lidar com alguns dos riscos cibernéticos que vieram à tona na primeira onda de exuberância irracional que se seguiu ao lançamento do ChatGPT em novembro passado.
1. A desilusão do ChatGPT se instala
Acontece que as organizações estão aprendendo a ter um pouco de medo do ChatGPT e da tecnologia relacionada: uma pesquisa de atitudes do ChatGPT da Malwarebytes divulgada esta semana mostra que 81% dos entrevistados estão “preocupados” com os riscos generativos de segurança cibernética da IA – e 63% desconfiam totalmente disso.
Mark Stockley, evangelista de segurança cibernética da Malwarebytes, observou em um comunicado: “O sentimento público sobre o ChatGPT é uma besta diferente [da segurança cibernética habilitada por IA anterior], e a incerteza sobre como o ChatGPT mudará nossas vidas é agravada pelas maneiras misteriosas em que funciona”.
Na verdade, metade (52%) dos entrevistados pediu uma pausa no desenvolvimento do ChatGPT para permitir que as regulamentações se atualizem – o que é um eco direto da carta aberta emitida no início deste ano por titãs da tecnologia e especialistas em IA que ameaçaram que, se não fossem controladas, futuras versões da IA generativa poderiam criar um evento de nível de extinção. Como no fim da existência. Para humanos.
2. A IA confidencial está rapidamente se tornando uma coisa
Talvez as empresas não estejam tão preocupadas com os chatbots de IA sencientes que trazem o fim do mundo como o conhecemos (um ponto de enredo na carta do titã da tecnologia mencionada), mas certamente estão em alerta sobre seus perigos, graças aos compromissos muito concretos que já resultaram do uso de IA generativa.
Mais infamemente, os desenvolvedores da Samsung inadvertidamente expuseram dados corporativos altamente confidenciais alimentando-os no ChatGPT. O problema? Quando os usuários compartilham dados com o chatbot, as informações acabam como dados de treinamento para a próxima iteração do LLM e podem ser recuperadas por terceiros usando os prompts certos.
Isso deu origem à indústria caseira que se concentra em como tornar os dados que os usuários conectam ao ChatGPT e outros LLMs mais privados.
Pegue a IA privada, que lançou sua plataforma PivateGPT nesta primavera que edita automaticamente 50+ tipos de informações de identificação pessoal (PII) em tempo real à medida que os usuários inserem os prompts do ChatGPT. Quando o ChatGPT responde, o PrivateGPT preenche novamente a PII dentro da resposta.
Da mesma forma, a Opaque Systems revelou recentemente uma plataforma de computação confidencial que permite que as empresas criptografem seus dados quando usados com LLMs abertos, deixando-os acessíveis apenas a usuários autorizados.
Mais opções estão por vir: a CalypsoAI levantou US$ 23 milhões esta semana em financiamento em estágio inicial para sua ferramenta CalypsoAI Moderator , que monitora ativamente o uso de LLMs por funcionários em tempo real para bloquear o compartilhamento de dados confidenciais; e a BeeKeeperAI recentemente levantou US$ 12,1 milhões na Série A para construir proteções de compartilhamento LLM em sua plataforma de proteção de dados de saúde EscrowAI.
3. Pegando o ChatGPT Road (mapa)
Nesta primavera, a Cloud Security Alliance (CSA) soou o alarme sobre o uso irrestrito do ChatGPT e seus semelhantes em ambientes de nuvem. Mas longe de evocar ameaçadoramente o espectro de consequências não intencionais, a organização está pedindo uma ação comunitária de bom senso agora – e observa que salvaguardas podem ser implementadas.
O CSA lançou um whitepaper diretamente chamado “Security Implications of ChatGPT”, que fornece orientação em quatro dimensões de preocupação em torno da tecnologia, e também pede que um roteiro de IA seja desenvolvido.
“É difícil exagerar o impacto da atual adoção viral da inteligência artificial e suas ramificações de longo prazo”, disse Jim Reavis, CEO e cofundador da Cloud Security Alliance, em um comunicado. “[Eles] certamente criarão mudanças em grande escala muito em breve. É papel da Cloud Security Alliance fornecer liderança na proteção da IA como serviço e demonstrar sua capacidade de melhorar significativamente a própria segurança cibernética.”
4. Conheça o ChatBuddy, seu novo colega de trabalho? Nem tanto.
Alguns estão nervosos em ceder o trabalho de segurança cibernética para ajudantes de IA – e as preocupações sobre plataformas de LLM tirando empregos de humanos estão longe de ser abafadas.
Mas uma nova pesquisa do site de recrutamento Upwork esta semana descobriu que 64% dos líderes C-suite planejam contratar mais como resultado da aparição da IA generativa em cena, porque estão reconhecendo a IA de nova geração como uma “jogada de aumento”.
“Você não pode realmente automatizar todo o trabalho ou tarefa por causa dessa ferramenta”, disse Kelly Monahan, diretora-gerente do instituto de pesquisa Upwork, à CNBC. “Você pode automatizar partes dele e ou acelerar a eficiência da força de trabalho como parte dele.”
E, de fato, analistas do JPMorgan disseram em 23 de junho que esperam que a IA generativa ajude a indústria de segurança cibernética a aliviar sua escassez de talentos, ajudando em tarefas como triar informações sobre ameaças para liberar a disponibilidade humana – que é o objetivo de auxiliares de IA como o Security Copilot da Microsoft, por exemplo. E a IA generativa pode ajudar a qualificar os trabalhadores existentes, orientando-os através do treinamento de uma maneira mais acessível.
5. Saner Than Expected: Alucinações ChatGPT Test-Driving
Uma das razões pelas quais alguns ficam nervosos em usar o ChatGPT e outros para o trabalho de segurança cibernética de missão crítica é por causa do fenômeno muito real das alucinações de IA, que é quando um LLM retorna uma resposta ou solução que parece viável – mas na verdade é feita de pano inteiro sem base em fato ou realidade.
Os pesquisadores do Endor Labs decidiram ver o tamanho do problema testando o desempenho dos LLMs na revisão de malware de software de código aberto (talvez não seja uma função “mish-crit”, mas é um caso de teste decente).
O experimento pediu a dois LLMs (GPT 3.5 e Vertex AI da OpenAI) que classificassem pacotes de código em npm, PyPI e outros repositórios como maliciosos ou benignos, com uma pontuação de risco em uma escala entre 0 e 9, de “um pouco” a altamente suspeito.
Em 488 das 1.098 avaliações do mesmo trecho de código, ambos os modelos apresentaram exatamente a mesma pontuação de risco. Em outros 514 casos, o escore de risco diferiu apenas um ponto. No balanço, porém, houve diferenças de até nove pontos, com alucinações estranhas em relação à funcionalidade, à boa estrutura e à documentação dos trechos de código ofuscados.
O veredicto? Muitos falsos positivos e negativos para deixar os LLMs soltos na tarefa sem supervisão humana, mas eles estão mais fundamentados na realidade do que temiam.
“Continuamos avaliando o uso de LLMs para todos os tipos de casos de uso relacionados à segurança de aplicativos”, escreveram os pesquisadores no relatório. “E continuamos a nos surpreender com respostas de alta qualidade (…) até nos divertirmos com a próxima resposta risivelmente errada.”
6. IA generativa: os governos mundiais estão investigando isso
Mesmo que a comunidade de segurança esteja começando a ser mais realista sobre o que a IA generativa pode e não pode (e deve e não deve) fazer, o fato é que o público em geral e a maioria dos trabalhadores corporativos continuam fascinados e curiosos sobre o ChatGPT, o Google Bard, o chatbot integrado (alguns diriam aterrorizante) do Microsoft Bing e o resto.
Uma pesquisa realizada esta semana pela empresa de emprego Mason Frank descobriu que o volume de buscas no Google por “O que é IA” nos EUA aumentou 643% no ano passado (no ano passado, a mesma pesquisa descobriu que o volume de busca pelo termo aumentou 233% em relação a 2021).
Em meio a esse tipo de interesse abrangente, os governos mundiais estão entrando na briga, com certas ramificações para a segurança cibernética no futuro. O presidente Biden, por exemplo, disse na semana passada que vai analisar os riscos da IA para a segurança nacional.
“Meu governo está comprometido em proteger os direitos e a segurança dos americanos, protegendo a privacidade, em abordar o preconceito e a desinformação, em garantir que os sistemas de IA estejam seguros antes de serem liberados”, disse Biden em um evento em São Francisco.
Enquanto isso, o primeiro-ministro do Reino Unido, Rishi Sunak, anunciou que o Reino Unido realizará uma cúpula global sobre segurança de IA neste outono; e na UE, os legisladores estão elaborando regras e padrões globais para o uso de LLMs em todos os setores.
FONTE: DARK READING