0
0
CONFERÊNCIA RSA 2022 — São Francisco — “É agradável ver todos vocês de novo”, disse Bruce Schneier ao público em sua palestra para o retorno presencial da RSA Conference, tirando seu limite de marca registrada. “É meio legal. Um pouco assustador.”
Schneier é tecnólogo de segurança, pesquisador e palestrante na Harvard Kennedy School. Ele tem uma longa lista de publicações, incluindo livros de 1993 e tão recentes quanto We Have Root de 2019, com um novo lançamento em janeiro de 2023. Mas ele é mais conhecido por seu longo boletim informativo Crypto-Gram e pelo blog Schneier sobre Segurança. E seu próximo livro é sobre hackers.
Para Schneier, hackear não significa necessariamente sistemas de computador. “Pense no código tributário”, disse ele. “Não é código de computador, mas é código. É uma série de algoritmos com entradas e saídas.”
Como o código tributário é um sistema, ele pode ser hackeado, disse Schneier. “O código tributário tem vulnerabilidades. Nós os chamamos de brechas fiscais. O código tributário tem explorações. Nós os chamamos de estratégias de evasão fiscal. E há toda uma indústria de hackers de chapéus negros – nós os chamamos de contadores fiscais e advogados fiscais”, acrescentou, para o público rir.
Ele definiu o hacking como “uma exploração inteligente e não intencional de um sistema, que subverte as regras do sistema às custas de alguma outra parte do sistema”. Ele observou que qualquer sistema pode ser hackeado, desde o código tributário até o hóquei profissional, onde um jogador – é contestado apenas quem – começou a usar um bastão curvo para melhorar sua capacidade de levantar o disco. Aquele jogador invadiu o sistema de hóquei.
“Mesmo os conjuntos de regras mais bem pensados serão incompletos ou inconsistentes”, disse Schneier. “Vai ter ambiguidade. Vai ter coisas em que os designers não pensaram. E enquanto houver pessoas que queiram subverter os objetivos do sistema, haverá hacks.
“O que eu quero falar aqui é o que acontece quando as IAs começam a hackear.”
Ascensão das Máquinas
Quando as IAs começarem a hackear sistemas humanos, disse Schneier, o impacto será algo completamente novo.
“Não será apenas uma diferença de grau, mas uma diferença de tipo, e culminará em sistemas de IA hackeando outros sistemas de IA e nós, humanos, sendo danos colaterais”, disse ele, depois fez uma pausa. “Então isso é um pouco de hipérbole, provavelmente minha cópia de capa traseira, mas nada disso requer nenhuma tecnologia de ficção científica no futuro distante. Não estou postulando uma singularidade. Não estou assumindo andróides inteligentes. Na verdade, nem estou assumindo a intenção maligna por parte de ninguém.
“Os hacks em que penso nem exigem grandes avanços na IA. Eles melhorarão à medida que a IA se tornar mais sofisticada, mas podemos ver sombras deles em operação hoje. E o hacking virá naturalmente à medida que as IAs se tornarem mais avançadas no aprendizado, compreensão e resolução de problemas.”
Ele rastreou a evolução dos hackers de IA usando exemplos de competições. Tecnicamente, são os desenvolvedores humanos que competem em eventos como o Cyber Grand Challenge 2016 da DARPA ou os Jogos de Hackers de Robôs da China, mas as IAs operam de forma autônoma uma vez iniciadas.
“Sabemos como é isso, certo?” ele perguntou. “As IAs melhorarão em capacidade a cada ano, e nós, humanos, permanecemos praticamente os mesmos e, eventualmente, as IAs superarão os humanos.”
Embora ele tenha reconhecido que os maus atores podem criar sistemas de IA para hackear sistemas financeiros para fins lucrativos ou caos, Schneier também postulou que uma IA pode hackear sistemas humanos de forma independente e sem intenção.
“[Isso] é mais perigoso porque talvez nunca saibamos que aconteceu. E isso é por causa do problema de explicabilidade”, disse ele, “que agora vou explicar”.
Explicando o Problema de Explicabilidade
Schneier montou a discussão sobre a explicabilidade com uma referência literária. No Guia do Hitchhiker para a Galáxia de Douglas Adams, uma raça de seres superinteligentes chamada Magratheans “constrói o computador mais poderoso do universo – Pensamento Profundo – para responder à pergunta final à vida, ao universo e a tudo mais. E a resposta é?” ele questionou. Um membro da audiência obrigado por responder “42”.
Os Magratheans naturalmente não estavam felizes com essa resposta opaca, e pediram ao computador para explicar o que isso significava. “O Pensamento Profundo foi incapaz de explicar sua resposta ou até mesmo dizer qual era a pergunta”, disse Schneier. “Esse é o problema de explicabilidade.”
Ele acrescentou: “As IAs modernas são essencialmente caixas pretas. Os dados vão para uma extremidade, uma resposta sai do outro. E pode ser impossível entender como o sistema chegou à sua conclusão, mesmo que você seja um programador e olhe para o código.”
Schneier então discutiu o Deep Patient, uma IA médica destinada a analisar os dados dos pacientes e prever doenças. Embora o sistema tenha tido um bom desempenho, disse ele, ele não dá aos médicos nenhuma explicação para ajudá-los a ver por que previu uma doença.
Hacking de recompensa refere-se a uma IA que atinge um objetivo de uma maneira que seu designer não pretendia. O público gostou da descrição de Schneier de um simulador de evolução que “em vez de construir músculos maiores ou pernas mais longas, ele realmente ficou mais alto para que pudesse cair sobre uma linha de chegada mais rápido do que qualquer um poderia correr”.
Ele também usou os exemplos do rei Midas e dos gênios para enfatizar o problema humano de má especificação, onde a concessão de desejos literalmente leva à miséria.
“Mas aqui está a coisa”, disse ele. “Não há como ser mais esperto do gênio. O que você desejar, ele sempre poderá concedê-lo de uma maneira que você gostaria que ele não tivesse. O gênio sempre será capaz de hackear seu desejo.”
E por causa de como a mente humana funciona, “qualquer objetivo que especifiquemos será necessariamente incompleto”, disse ele. “Não podemos especificar completamente as metas para uma IA, e as IAs não serão capazes de entender completamente o contexto.”
Schneier então usou o escândalo de emissões da Volkswagen de 2015 para criar um exemplo de um hack de IA que não poderíamos detectar por causa do problema de explicabilidade. Ele disse que imagina ter um software de mecanismo de design de sistema de IA para ser eficiente e capaz de passar em um teste de emissões. Em tal sistema, a IA pode acertar a mesma solução que os engenheiros da Volkswagen – ou seja, falsificar os dados de emissões ativando os controles de emissões apenas durante os testes – sem dizer aos seres humanos como alcançou seus objetivos. Assim, a empresa pode celebrar seu grande novo design sem perceber que é um hack e uma fraude.
Ele expandiu isso para o exemplo do mundo real de algoritmos de recomendação que impulsionam o conteúdo extremista “porque é a isso que as pessoas respondem”. E esse é um exemplo que tem efeitos no mundo real, radicalizando pessoas vulneráveis e fazendo com que elas se entrincheiram em falsas crenças e, às vezes, até tomem ações drásticas.
Schneier falou sobre a pesquisa sobre como evitar esses efeitos não intencionais negativos. Uma solução, o alinhamento de valores, tenta ensinar os sistemas a respeitar o código moral humano. “Boa sorte” especificando valores humanos ou permitindo que uma IA os aprenda por autotreinamento, disse ele.
Ao se defender contra o hacking de IA, ele disse: “o que importa é a quantidade de ambiguidade no sistema”. As IAs não são capazes de funcionar bem com ambiguidade. Mas essa parece ser uma solução limitada que as IAs poderiam evoluir para superar.
Hacks de IA e o Mundo Real
Em parte por causa de sua natureza lucrativa e em parte por causa do código estruturado, a Schneier espera que os sistemas financeiros sejam um dos primeiros sistemas do mundo real afetados por hacks de IA. Falando sobre o código tributário, por exemplo, ele perguntou: “Quantas lacunas descobrirão que não conhecemos?”
Ainda pior podem ser os bots de mensagens de IA que já podem estar infestando sua linha do tempo do Twitter, enviando mensagens e interagindo de forma realista. “Isso influenciará o que achamos normal e o que pensamos que os outros pensam”, alertou Schneier. “Isso é uma mudança de escala.”
Mas talvez o elemento mais preocupante seja o papel que a IA já está desempenhando na vida das pessoas.
“As IAs estão tomando decisões sobre liberdade condicional [sobre] quem recebe empréstimos bancários, ajuda a rastrear candidatos a emprego [e] candidatos à faculdade, pessoas que se candidatam a serviços do governo”, observou ele. Como não podemos dizer por que uma IA tomou a decisão, ela não parecerá justa para aqueles negados – e, de fato, pode muito bem ser injusto e baseado em parâmetros injustificados ou subanalisados, como um CEP.
E como acontece com tanta coisa, ele apontou, serão os poderosos que se beneficiarão e as massas que sofrerão. “Não é que nós [gestos ao redor da sala] vamos descobrir hacks nos códigos fiscais”, disse Schneier. “Seão os banqueiros de investimento.”
No entanto, ele fechou com uma nota de esperança. Embora a IA certamente possa ser usada para encontrar e explorar vulnerabilidades de software, ele apontou que elas também podem ser usadas para encontrar e corrigir essas vulnerabilidades.
“Ele identifica todas as vulnerabilidades e depois as corrige” antes do lançamento do software, ele sugeriu. “Você poderia imaginar [esta IA] sendo incorporada às ferramentas de desenvolvimento de software. Faz parte do compilador.
“Podemos imaginar um mundo em que as vulnerabilidades de software são coisa do passado”, acrescentou. “Kinda estranho, mas é isso que aconteceria.”
Schneier advertiu que, durante o período de transição em que os códigos vulneráveis antigos – computador ou humanos – ainda estavam abertos e os novos ainda estavam sendo examinados, as IAs de chapéu preto ainda teriam uma abertura rica. No entanto, ele disse: “Embora os hackers de IA possam ser empregados pelo ataque e pela defesa, no final, isso favorece a defesa. Precisamos ser capazes de responder de forma rápida e eficiente a hacks”, no entanto.
Os sistemas humanos precisam ter a mesma agilidade que o software, disse ele.
“A solução geral são as pessoas”, disse ele. “Estamos muito melhor como sociedade se decidirmos como pessoas qual deve ser o papel da tecnologia em nosso futuro.”
FONTE: DARK READING