0
0
Muitos projetos populares de IA generativa são uma ameaça de segurança aumentada e projetos de código aberto que utilizam IA generativa insegura e LLMs também têm uma postura de segurança ruim, resultando em um ambiente com risco substancial para as organizações, de acordo com Rezilion.
Avanços em LLMs
A IA generativa aumentou em popularidade, nos capacitando a criar, interagir e consumir conteúdo como nunca antes. Com os notáveis avanços em LLMs, como GPT (Generative Pre-Trained Transformers), as máquinas agora possuem a capacidade de gerar texto, imagens e até código semelhantes aos humanos. O número de projetos de código aberto que integram essas tecnologias está crescendo exponencialmente.
A título de exemplo, desde que o OpenAI estreou o ChatGPT há sete meses, agora existem mais de 30.000 projetos de código aberto no GitHub usando a família GPT-3.5 de LLMs.
Apesar da crescente demanda por essas tecnologias, os projetos de GPT e LLM apresentam vários riscos de segurança para as organizações que os estão usando, incluindo riscos de limite de confiança, riscos de gerenciamento de dados, riscos inerentes ao modelo e preocupações gerais de segurança.
Riscos generativos de segurança de IA
A adoção precoce de IA generativa ou qualquer tecnologia nascente, particularmente LLMs, requer avaliação de risco abrangente e adesão a práticas de segurança robustas durante todo o ciclo de vida de desenvolvimento de software (SDLC). Ao dar a devida atenção aos riscos de segurança, as organizações podem tomar decisões informadas sobre se e como adotar soluções de IA generativas, mantendo os mais altos padrões de escrutínio e proteção.
“A IA generativa está cada vez mais em todos os lugares, mas é imatura e extremamente propensa a riscos”, disse Yotam Perkal, diretor de pesquisa de vulnerabilidade da Rezilion. Além de seus problemas de segurança inerentes, indivíduos e organizações fornecem a esses modelos de IA acesso e autorização excessivos sem grades de segurança adequadas. Por meio de nossa pesquisa, buscamos transmitir que os projetos de código aberto que utilizam IA generativa insegura e LLMs também têm uma postura de segurança ruim. Esses fatores resultam em um ambiente com risco significativo para as organizações.”
Da educação à conscientização
A equipe de pesquisa de Rezilion investigou a postura de segurança dos 50 projetos de IA generativa mais populares no GitHub. A pesquisa utiliza o Open Source Security Foundation (OSSF) Scorecard para avaliar objetivamente o ecossistema de código aberto LLM e destacar a falta de maturidade, lacunas nas melhores práticas básicas de segurança e potenciais riscos de segurança em muitos projetos baseados em LLM.
As principais descobertas destacam preocupações, revelando projetos muito novos e populares com pontuações baixas:
- Extremamente popular, com uma média de 15.909 estrelas
- Extremamente imaturo, com idade média de 3,77meses
- Postura de segurança muito ruim com uma pontuação média de 4,60 em 10 é baixa para qualquer padrão. Por exemplo, o projeto baseado em GPT mais popular no GitHub, Auto-GPT, tem mais de 138.000 estrelas, tem menos de três meses e uma pontuação de Scorecard de 3,7.
As seguintes práticas recomendadas e orientações são recomendadas para a implantação e operação seguras de sistemas de IA generativos: educar as equipes sobre os riscos associados à adoção de novas tecnologias; avaliar e monitorar riscos de segurança relacionados a LLMs e ecossistemas de código aberto; Implemente práticas de segurança robustas, conduza avaliações de risco completas e promova uma cultura de conscientização de segurança.
Embora existam desafios de segurança significativos em relação à adoção de modelos de IA generativa e seu ecossistema, as tecnologias de IA são empolgantes, poderosas e vieram para ficar.
FONTE: HELPNET SECURITY