0
0
Representantes da Amazon, Anthropic, Google, Inflection, Meta, Microsoft e OpenAI se reuniram recentemente na Casa Branca para uma reunião com o presidente Biden com a missão declarada de “garantir o desenvolvimento e distribuição responsável de tecnologias de inteligência artificial (IA)”.
O clima em torno do cume
A cúpula da Casa Branca foi, sem dúvida, uma mudança bem-vinda de ritmo para uma indústria que, nos últimos 12 meses, dominou a consciência coletiva do país com uma mistura inebriante de entusiasmo, admiração e medo. Manchetes sensacionalistas alertaram sobre as possíveis consequências da IA.
A serviço dessa missão, o comitê estabeleceu oito compromissos principais:
- Testar a segurança dos sistemas de IA antes do lançamento, com testes conduzidos internamente e por especialistas terceirizados independentes
- Compartilhar conhecimento e melhores práticas sobre gerenciamento de risco de IA entre si e com o governo
- Investir em segurança cibernética e salvaguardas contra ameaças internas projetadas para proteger informações confidenciais relacionadas a pesos de modelo
- Para tornar mais fácil para terceiros detectar e relatar vulnerabilidades em sistemas de IA
- Para divulgar as capacidades, limitações e aplicações potenciais (legítimas e maliciosas) de sistemas de IA, bem como suas implicações para nossa sociedade
- Para garantir que todo o conteúdo gerado por IA possa ser identificado de forma rápida e decisiva como tal pelo público
- Continuar a pesquisar os riscos sociais potenciais representados pela IA e suas várias aplicações (por exemplo, discriminação ilegal, preconceito)
- Desenvolver tecnologias de IA projetadas para enfrentar os desafios mais significativos e prementes da sociedade (por exemplo, mudança climática, saúde pública, escassez de alimentos).
O que dá certo, o que dá errado e por que não é suficiente
Seria difícil encontrar alguém no campo da IA que se opusesse a esses compromissos (pelo menos não abertamente), e isso por dois motivos. Em primeiro lugar, porque são éticos, sólidos e, sem dúvida, melhorariam o impacto social da IA . A segunda razão, no entanto, é porque são declarações suficientemente vagas e não qualificadas que podem ser interpretadas de tantas maneiras quanto se desejar.
Se a reunião tivesse sido focada na indústria de defesa, seria como se Lockheed Martin, Boeing e Raytheon se comprometessem a “garantir que sistemas avançados de mísseis não caiam nas mãos de organizações terroristas conhecidas”.
Em suma, o recente acordo da Casa Branca é um passo bem-vindo, mas muito pequeno, na direção certa. Mas esses tipos de compromissos (legalmente vinculativos ou não) não abordam algumas questões muito fundamentais em torno da IA que nós, como indústria e sociedade, devemos abordar em breve, se esperamos minimizar o potencial prejudicial dessa tecnologia e maximizar seu potencial para o bem. .
As duas questões mais fundamentais que não foram abordadas na cúpula da Casa Branca do mês passado são as seguintes:
- Um compromisso formal com o monitoramento, adaptação e melhoria contínua dos sistemas de IA
- Um compromisso formal de exigir supervisão humana como um componente crítico de todos os sistemas de IA
O caso da melhoria contínua: Parte 1 – As tecnologias de IA são sistemas vivos
Durante a maior parte da história da humanidade, uma vez que um produto era fabricado e vendido, ele era “estático”. A batedeira Kitchen Aid que você comprou em 1975, por exemplo, ainda é composta pelas mesmas peças e peças e funcionam da mesma forma. Além disso, ao assar um bolo ou massa de pizza, você usa a batedeira exatamente da mesma forma que sempre usou nos últimos 50 anos e obtém exatamente os mesmos resultados.
AI não é nada parecido com o seu mixer. Os sistemas de IA são sistemas dinâmicos e vivos que mudam, mudam e evoluem com o tempo – assim como o mundo ao nosso redor. Frequentemente, essas alterações podem fazer com que os modelos ou sistemas de IA se desviem de sua programação ou parâmetros originais e causem resultados inesperados e/ou indesejados. Esse fenômeno, conhecido coletivamente como “deriva”, é um fato da vida no mundo da IA e torna o desenvolvimento e a venda de produtos de IA muito mais complicados do que o desenvolvimento e a venda de misturadores de cozinha.
Leveza à parte, a deriva pode ter consequências muito reais e muito graves. A deriva de dados em veículos autônomos pode potencialmente custar vidas. A deriva nas tecnologias de reconhecimento facial pode colocar pessoas inocentes na prisão. (E assim por diante.) Sem uma estrutura regulatória adequada projetada para monitorar e mitigar esse fenômeno, certamente veremos consequências infelizes.
Por esses motivos, é essencial que as empresas e os reguladores estabeleçam diretrizes para a aplicação de processos de melhoria e otimização contínuas – inclusive para coisas como aprendizado por reforço e otimização de dados de treinamento – para garantir que suas ferramentas sejam seguras e adequadamente adaptadas ao mundo como ele é. tempo real.
O argumento para a melhoria contínua: Parte 2 — Adversários incansáveis
Acredito que os executivos e as empresas que eles representam na vanguarda da indústria de IA de hoje estão fazendo o possível para garantir que a tecnologia seja a mais segura e benéfica possível para a sociedade.
No entanto, toda nova tecnologia – não importa o quão rigorosamente testada – terá falhas que podem ser exploradas. É praticamente impossível fechar todas as brechas em um sistema e, sem surpresa, já estamos vendo esse fato da vida em plena exibição no reino da IA.
Apesar de as tecnologias estarem disponíveis ao público por um período de tempo relativamente curto, pesquisadores e agentes mal-intencionados já conseguiram desbloquear ferramentas populares de IA generativa, como o ChatGPT , de várias maneiras. E cada vez que o OpenAI corrige um desses exploits, uma nova técnica inteligente surge em seu rastro.
Criticamente, a maioria dessas técnicas usa nada mais do que uma engenharia de prompt inteligente (ou seja, processo de criação de prompts ou entradas que são otimizadas com o objetivo de obter uma saída específica da IA) para remover com sucesso as barreiras do sistema. Eles não exigem conhecimento profundo de IA (ou mesmo familiaridade com codificação) para serem executados. Eles podem ser executados usando nada mais do que linguagem natural.
E, dada a história da segurança cibernética, podemos ter certeza de que o volume, a variedade e a sofisticação dessas explorações só aumentarão com o tempo. É por isso que prometer “testar a segurança dos sistemas de IA antes do lançamento…” não chega nem perto de impedir o armamento dessas tecnologias. Em vez disso, se esperamos minimizar seu potencial de dano, devemos garantir que todas as ferramentas de IA disponíveis comercialmente sejam ativamente monitoradas e continuamente otimizadas para vulnerabilidades de segurança – e talvez até mesmo instituir penalidades civis ou legais por lapsos de vigilância.
A necessidade de discernimento humano
Finalmente, e talvez o mais importante, devemos lembrar que, por mais poderosa e revolucionária que seja uma tecnologia como a IA, ela tem limitações. E se, em nosso atual estado de superexuberância, não nos lembrarmos dessas limitações, corremos o risco de sermos lembrados delas somente depois de terem levado à catástrofe.
Como fundador de uma empresa de cibersegurança orientada por IA, serei o primeiro a exaltar os benefícios da IA. É capaz de muitas coisas extremamente valiosas. No entanto, não tem o poder de percepção, inferência, instinto ou tomada de decisão executiva. Por essas razões, continua sendo imperativo que, em nossa pressa para mudar o mundo com essa incrível tecnologia, não esqueçamos nosso papel como administradores.
Tanto os desenvolvedores quanto os usuários finais nunca devem tratar a IA como um substituto para a inteligência humana. Em vez disso, deve ser visto como um meio de aumentar a inteligência humana; uma ferramenta para nos capacitar a fazer ainda mais, coisas ainda maiores. Mas para que essa versão do futuro aconteça, devemos sempre garantir que as decisões mais importantes, consequentes e que alteram a vida (na sala de reuniões e em outros lugares) ainda sejam tomadas por seres humanos, tanto agora quanto no futuro.
FONTE: HELP NET SECURITY