Os hackers de IA que estão chegando

Views: 551

Introdução

Inteligência artificial — A IA — é uma tecnologia da informação. Consiste em software. Funciona em computadores. E já está profundamente incorporado em nosso tecido social, tanto de maneiras que entendemos como de maneiras que não entendemos. Vai hackear nossa sociedade em um grau e efeito diferente de tudo o que veio antes. Quero dizer, isso de duas maneiras muito diferentes. Primeiro, sistemas de IA serão usados para nos hackear. E segundo, os sistemas de IA se tornarão hackers: encontrar vulnerabilidades em todos os tipos de sistemas sociais, econômicos e políticos, e depois explorá-los a uma velocidade, escala e escopo sem precedentes. Não é apenas uma diferença de grau; É uma diferença em espécie. Corremos o risco de um futuro de sistemas de IA hackeando outros sistemas de IA, com os humanos sendo pouco mais do que danos colaterais.

Isto não é hipérbole. Ok, talvez seja um pouco de hipérbole, mas nada disso requer tecnologia de ficção científica. Não estou postulando nenhuma “singularidade”, onde o ciclo de feedback de aprendizagem de IA se torna tão rápido que supera a compreensão humana. Não estou assumindo androides inteligentes como Data (Star Trek), R2-D2 (Star Wars) ou Marvin, o Android Paranoico (The Hitchhiker’s Guide to the Galaxy). Meus cenários não requerem má intenção por parte de ninguém. Não precisamos de sistemas de IA maliciosos como skynet (Exterminador) ou agentes (Matrix). Alguns dos hacks que discutirei nem sequer exigem grandes avanços de pesquisa. Eles vão melhorar à medida que as técnicas de IA ficarem mais sofisticadas, mas podemos ver dicas delas em operação hoje. Esse hacking virá naturalmente, à medida que as IA se tornam mais avançadas no aprendizado, compreensão e resolução de problemas.

Neste ensaio, falarei sobre as implicações dos hackers de IA. Primeiro, generalizarei o “hacking” para incluir sistemas econômicos, sociais e políticos — e também nossos cérebros. Em seguida, descreverei como os sistemas de IA serão usados para nos hackear. Então, explicarei como as IA vão hackear os sistemas econômicos, sociais e políticos que compõem a sociedade. Finalmente, discutirei as implicações de um mundo de hackers de IA e apontarei para possíveis defesas. Não é tão sombrio quanto parece.

Hacks e Hacking

Primeiro, uma definição:

Def: Hack /hak/ (substantivo) –

1. Uma exploração inteligente e não intencional de um sistema que: a) subverte as regras ou normas desse sistema, b) às custas de alguma outra parte desse sistema.

2. Algo que um sistema permite, mas que não é intencional e imprevisto por seus designers.¹

Observe os detalhes. Hackear não é trapacear. Está seguindo as regras, mas subvertendo suas intenções. Não é intencional. É uma exploração. É “jogar o sistema”. Os filmes de caper estão cheios de hacks. MacGyver era um hacker. Hacks são inteligentes, mas não o mesmo que inovações. E, sim, é uma definição subjetiva.²

Os sistemas tendem a ser otimizados para resultados específicos. Hacking é a busca de outro resultado, muitas vezes às custas dos sistemas de otimização originais tendem a ser rígidos. Os sistemas limitam o que podemos fazer e, invariavelmente, alguns de nós querem fazer outra coisa. Então nós hackeamos. Nem todos, é claro. Nem todos são hackers. Mas chega de nós.

Hackear é normalmente pensado em algo que você pode fazer com computadores. Mas os hacks podem ser cometidos em qualquer sistema de regras — incluindo o código fiscal.

O código fiscal não é software. Não funciona no computador. Mas você ainda pode pensar nisso como “código” no sentido do computador do termo. É uma série de algoritmos que leva uma entrada — informações financeiras para o ano — e produz uma saída: a quantidade de impostos devidos. É determinista, ou pelo menos deveria ser.

Todos os softwares de computador contêm defeitos, comumente chamados bugs. São erros: erros de especificação, erros de programação, erros que ocorrem em algum lugar no processo de criação do software. Pode parecer loucura, mas os aplicativos de software modernos geralmente têm centenas, se não milhares de bugs. Esses bugs estão em todo o software que você está usando atualmente: no seu computador, no seu telefone, em qualquer dispositivo “Internet das Coisas” que você tenha por perto. Que todo este software funciona perfeitamente bem na maioria das vezes fala de quão obscuros e inconsequentes esses bugs tendem a ser. É improvável que os encontre em operações normais, mas eles estão lá.

Alguns desses insetos introduzem falhas de segurança. Com isso quero dizer algo muito específico: bugs que um atacante pode deliberadamente desencadear para alcançar alguma condição que o atacante pode tirar proveito. Na linguagem de segurança de computador, chamamos esses bugs de “vulnerabilidades”.

Explorar uma vulnerabilidade é como os militares chineses invadiram Equifax em março de 2017. Uma vulnerabilidade no pacote de software Apache Struts permitiu que hackers invadissem um portal web de reclamações de consumidores. De lá, eles foram capazes de se mudar para outras partes da rede. Eles encontraram nomes de usuário e senhas que lhes permitiram acessar ainda outras partes da rede, e eventualmente baixar informações pessoais de cerca de 147 milhões de pessoas ao longo de quatro meses.³

Este é um exemplo de um hack. É uma maneira de explorar o sistema de uma maneira que não é inesperada e não intencional pelos projetistas do sistema — algo que vantagens o hacker de alguma forma às custas dos usuários que o sistema deve servir.

O código tributário também tem bugs. Podem ser erros na forma como as leis fiscais foram escritas: erros nas palavras reais que o Congresso votou e o presidente assinou a lei. Podem ser erros na forma como o código tributário é interpretado. Eles podem ser descuidos em como partes da lei foram concebidas, ou omissões não intencionais de algum tipo ou outro. Eles podem surgir de interações imprevistas entre diferentes partes do código tributário.

Um exemplo recente vem da Lei de Cortes de Impostos e Empregos de 2017. Essa lei foi elaborada às pressas e em segredo, e aprovada sem tempo para revisão pelos legisladores — ou mesmo revisão. Partes dela foram escritas à mão, e é praticamente inconcebível que qualquer um que votou a favor ou contra ele sabia precisamente o que estava nele. O texto continha um erro de digitação que acidentalmente classificou os benefícios de morte militar como renda obtida. O efeito prático desse erro foi que os membros da família sobreviventes foram atingidos com notas fiscais surpresa de US $ 10.000 ou mais.⁴ Isso é um inseto.

Não é uma vulnerabilidade, porém, porque ninguém pode tirar vantagem disso para reduzir sua conta de impostos. Mas alguns bugs no código tributário também são vulnerabilidades. Por exemplo, há um truque de impostos corporativos chamado “Double Irish with a Dutch Sandwich”. É uma vulnerabilidade que surge das interações entre as leis tributárias em vários países. Basicamente, envolve o uso de uma combinação de empresas subsidiárias irlandesas e holandesas para transferir lucros para jurisdições baixas ou sem impostos. As empresas de tecnologia são particularmente adequadas para explorar essa vulnerabilidade; eles podem atribuir direitos de propriedade intelectual a empresas subsidiárias no exterior, que, em seguida, transferem ativos em dinheiro para paraísos fiscais.⁵ That’s how companies like Google and Apple have avoided paying their fair share of US taxes despite being US companies. It’s definitely an unintended and unanticipated use of the tax laws in three countries. And it can be very profitable for the hackers—in this case, big tech companies avoiding US taxes—at the expense of everyone else. Estimates are that US companies avoided paying nearly $200 billion in US taxes in 2017 alone.⁶

Some vulnerabilities are deliberately created. Lobbyists are constantly trying to insert this or that provision into the tax code to benefit their clients. That same 2017 US tax law that gave rise to unconscionable tax bills to grieving families included a special tax break for oil and gas investment partnerships, a special exemption that ensures that less than 1 in 1,000 estates will have to pay estate tax, and language specifically expanding a pass-through loophole that industry uses to incorporate offshore and avoid US taxes.⁷

Sometimes these vulnerabilities are slipped into law with the knowledge of the legislator who is sponsoring the amendment, and sometimes they’re not aware of it. This deliberate insertion is also analogous to something we worry about in software: programmers deliberately adding backdoors into systems for their own purposes. That’s not hacking the tax code, or the computer code. It’s hacking the processes that create them: the legislative process that creates tax law, or the software development process that creates computer programs.

During the past few years, there has been considerable press given to the possibility that Chinese companies like Huawei and ZTE have added backdoors to their 5G routing equipment at the request—or possibly demand—of the Chinese government. It’s certainly possible, and those vulnerabilities would lie dormant in the system until they’re used by someone who knows about them.

In the tax world, bugs and vulnerabilities are called tax loopholes. In the tax world, taking advantage of these vulnerabilities is called tax avoidance. And there are thousands of what we in the computer security world would call “black-hat researchers,” who examine every line of the tax code looking for exploitable vulnerabilities. They’re called tax attorneys and tax accountants.

Modern software is incredibly complex. Microsoft Windows 10, the latest version of that operating system, has about 50 million lines of code.⁸ More complexity means more bugs, which means more vulnerabilities. The US tax code is also complex. It consists of the tax laws passed by Congress, administrative rulings, and judicial rules. Credible estimates of the size of it all are hard to come by; even experts often have no idea. The tax laws themselves are about 2,600 pages.⁹ IRS regulations and tax rulings increase that to about 70,000 pages. It’s hard to compare lines of text to lines of computer code, but both are extremely complex. And in both cases, much of that complexity is related to how different parts of the codes interact with each other.

We know how to fix vulnerabilities in computer code. We can employ a variety of tools to detect and fix them before the code is finished. After the code is out in the world, researchers of various kinds discover them and—most important of all—we want the vendors to quickly patch them once they become known.

We can sometimes employ these same methods with the tax code. The 2017 tax law capped income tax deductions for property taxes. This provision didn’t come into force in 2018, so someone came up with the clever hack to prepay 2018 property taxes in 2017. Just before the end of the year, the IRS ruled about when that was legal and when it wasn’t.¹⁰ Short answer: most of the time, it wasn’t.

It’s often not this easy. Some hacks are written into the law, or can’t be ruled away. Passing any tax legislation is a big deal, especially in the US, where the issue is so partisan and contentious. (It’s been almost four years, and that earned income tax bug for military families still hasn’t been fixed. And that’s an easy one; everyone acknowledges it was a mistake.) It can be hard to figure out who is supposed to patch the tax code: is the legislature, the courts, the tax authorities? And then it can take years. We simply don’t have the ability to patch tax code with anywhere near the same agility that we have to patch software.

The Ubiquity of Hacking

Tudo é um sistema, todos os sistemas podem ser hackeados, e os humanos são hackers naturais.

Programas de voo frequente de companhias aéreas são hackeados. Contar cartas em blackjack é um hack. Esportes são hackeados o tempo todo. Alguém primeiro descobriu que uma lâmina de bastão de hóquei curva permitia tiros mais rápidos e precisos, mas também um jogo mais perigoso, algo que as regras não falavam porque ninguém tinha pensado nisso antes. As corridas de Fórmula 1 estão cheias de hacks, à medida que as equipes descobrem maneiras de modificar projetos de carros que não são especificamente proibidos pelo livro de regras, mas mesmo assim subvertem sua intenção.

A história das finanças é um histórico de hacks. De novo e de novo, instituições financeiras e comerciantes buscam brechas nas regras — coisas que não são expressamente proibidas, mas são subversões não intencionais dos sistemas subjacentes — que lhes dão uma vantagem. Uber, Airbnb e outras empresas de economia de gig hackeiam as regulamentações do governo. A obstrução é um antigo hack, inventado pela primeira vez na Roma antiga. Assim como disposições ocultas na legislação. Gerrymandering é um hack do processo político.

E finalmente, as pessoas podem ser hackeadas. Nosso cérebro é um sistema, evoluído ao longo de milhões de anos para nos manter vivos e, mais importante, para nos manter reproduzindo. Foi otimizado através da interação contínua com o ambiente. Mas foi otimizado para humanos que vivem em pequenos grupos familiares nas terras altas da África Oriental em 100.000 a.C. Não é tão adequado para Nova York do século XXI, ou Tóquio, ou Delhi. E por englobar muitos atalhos cognitivos — ele evolui, mas não em qualquer escala que importa aqui — ele pode ser manipulado.

Hackear cognitivo é poderoso. Muitos dos sistemas sociais robustos em que nossa sociedade se baseia, democracia, economia de mercado e assim por diante, dependem dos humanos tomarem decisões apropriadas. Esse processo pode ser hackeado de muitas maneiras diferentes. As mídias sociais hackeiam nossa atenção. Personalizada para nossas atitudes e comportamentos, a publicidade moderna é um hack de nossos sistemas de persuasão. A desinformação hackeia nossa compreensão comum da realidade. O terrorismo hackeia nossos sistemas cognitivos de medo e avaliação de risco convencendo as pessoas de que é uma ameaça maior do que realmente é.¹¹ É horrível, vívido, espetacular, aleatório — na verdade, qualquer um pode ser sua próxima vítima — e malicioso. Essas são as mesmas coisas que nos fazem exagerar o risco e exagerar.¹² A engenharia social, a tática convencional de hackers de convencer alguém a divulgar suas credenciais de login ou fazer algo benéfico para o hacker, é muito mais um hack de confiança e autoridade do que um hack de qualquer sistema de computador.

As novidades são computadores. Computadores são sistemas e são hackeados diretamente. Mas o mais interessante é a informatização de sistemas mais tradicionais. Finanças, tributação, conformidade regulatória, eleições — tudo isso e muito mais foram informatizados. E quando algo é informatizado, a forma como pode ser hackeado muda. A informatização acelera o hacking em três dimensões: velocidade, escala e escopo.

A velocidade do computador modifica a natureza dos hacks. Pegue um conceito simples — como negociação de ações — e automatize-o. Torna-se algo diferente. Pode estar fazendo a mesma coisa que sempre fez, mas está fazendo a uma velocidade sobre-humana. Um exemplo é a negociação de alta frequência, algo não intencional e imprevisto por aqueles que projetaram mercados iniciais.

Escala, também. A informatização permite que os sistemas cresçam muito maiores do que poderiam de outra forma, o que muda a escala de hacking. A própria noção de “grande demais para falhar” é um hack, permitindo que as empresas usem a sociedade como uma apólice de seguro de última vala contra sua má tomada de decisão.

Finalmente, escopo. Computadores estão por toda parte, afetando todos os aspectos de nossas vidas. Isso significa que novos conceitos em hacking de computadores são potencialmente aplicáveis em todos os lugares, com resultados variados.

Nem todos os sistemas são igualmente hackeáveis. Sistemas complexos com muitas regras são particularmente vulneráveis, simplesmente porque há mais possibilidades de consequências inesperadas e não intencionais. Isso é certamente verdade para sistemas de computador – eu escrevi no passado que a complexidade é o pior inimigo da segurança¹³— e também é verdade para sistemas como o código tributário, o sistema financeiro e as IA. Sistemas constrangidos por normas sociais mais flexíveis e não por regras rigidamente definidas são mais vulneráveis a hacking, porque deixam-se mais abertos à interpretação e, portanto, têm mais brechas.

Mesmo assim, as vulnerabilidades sempre permanecerão, e os hacks sempre serão possíveis. Em 1930, o matemático Kurt Gödel provou que todos os sistemas matemáticos são incompletos ou inconsistentes. Acredito que isso seja verdade de forma mais geral. Os sistemas sempre terão ambiguidades ou inconsistências, e sempre serão exploráveis. E sempre haverá pessoas que querem explorá-las.

AIs Nos Hackeando

Em 2016, o Instituto de Tecnologia da Geórgia publicou um estudo sobre confiança humana em robôs.¹⁴ O estudo empregou um robô não antropomórfico que auxiliava na navegação através de um edifício, fornecendo direções como “Este caminho para a saída”. Primeiro, os participantes interagiram com o robô em um ambiente normal para experimentar seu desempenho, que foi deliberadamente ruim. Então, eles tiveram que decidir se seguir ou não os comandos do robô em uma emergência simulada. Nesta última situação, todos os vinte e seis participantes obedeceram ao robô, apesar de terem observado momentos antes que o robô tinha péssimas habilidades de navegação. O grau de confiança que eles depositaram nesta máquina foi impressionante: quando o robô apontou para uma sala escura sem saída clara, a maioria das pessoas obedeceu, em vez de sair com segurança pela porta pela qual havia entrado. Os pesquisadores fizeram experimentos semelhantes com outros robôs que pareciam não funcionar. Mais uma vez, os sujeitos seguiram esses robôs em um ambiente de emergência, aparentemente abandonando seu senso comum. Parece que os robôs podem naturalmente hackear nossa confiança.

Inteligência Artificial e Robótica

Poderíamos passar páginas definindo IA. Em 1968, o pioneiro da IA Marvin Minsky definiu-a como “a ciência de fazer máquinas fazerem coisas que exigiriam inteligência se feitas por homens”.¹⁵ O Departamento de Defesa dos EUA usa: “a capacidade das máquinas de executar tarefas que normalmente requerem inteligência humana”.¹⁶ A versão de 1950 do teste de Turing — chamada de “jogo de imitação” na discussão original, se concentrou em um programa de computador que os humanos não conseguiam distinguir de um humano real.¹⁷ Para nossos propósitos, a IA é um termo guarda-chuva que abrange uma ampla gama de tecnologias de tomada de decisão que simulam o pensamento humano.

Uma diferenciação que preciso fazer é entre especializada — às vezes chamada de “estreita”, IA e IA geral. General AI é o que você vê nos filmes. É a IA que pode sentir, pensar e agir de forma muito geral e humana. Se é mais inteligente que os humanos, chama-se “superinteligência artificial”. Combine-o com a robótica e você tem um androide, um que pode parecer mais ou menos como um humano. Os robôs de cinema que tentam destruir a humanidade são todos ia geral.

Tem havido muita pesquisa prática sobre como criar IA geral, e muitas pesquisas teóricas sobre como projetar esses sistemas para que eles não façam coisas que não queremos que eles, como destruir a humanidade. E embora este seja um trabalho fascinante, abrangendo campos da ciência da computação à sociologia à filosofia, suas aplicações práticas provavelmente estão a décadas de distância. Quero me concentrar em IA especializada, porque é isso que é prático agora.

A IA especializada foi projetada para uma tarefa específica. Um exemplo é o sistema que controla um carro autônomo. Ele sabe como dirigir o veículo, como seguir as leis de trânsito, como evitar acidentes e o que fazer quando algo inesperado acontece — como a bola de uma criança de repente saltando para a estrada. A IA especializada sabe muito e pode tomar decisões com base nesse conhecimento, mas apenas neste domínio limitado.

Uma piada comum entre os pesquisadores de IA é que, assim que algo funciona, não é mais IA; é apenas software. Isso pode tornar a pesquisa de IA um pouco deprimente, já que, por definição, as únicas coisas que contam são falhas, mas há alguma verdade nisso. A IA é inerentemente um termo mistificador de ficção científica. Uma vez que se torna realidade, não é mais mistificador. Costumávamos assumir que ler raios-X do tórax exigia um radiologista: ou seja, um humano inteligente com treinamento adequado. Agora percebemos que é uma tarefa rotineira que também pode ser realizada por um computador.

O que está realmente acontecendo é que há um contínuo de tecnologias e sistemas de tomada de decisão, que vão desde um simples termostato eletromecânico que opera um forno em resposta à mudança de temperatura para um androide fictício científico. O que faz algo de IA muitas vezes depende da complexidade das tarefas executadas e da complexidade do ambiente em que essas tarefas são executadas. O termostato realiza uma tarefa muito simples que só tem que levar em conta um aspecto muito simples do ambiente. Nem precisa envolver um computador. Um termostato digital moderno pode ser capaz de sentir quem está na sala e fazer previsões sobre as necessidades futuras de calor com base tanto no uso quanto na previsão do tempo, bem como no consumo de energia em toda a cidade e nos custos de energia segundo a segundo. Um termostato futurista pode agir como um mordomo atencioso e atencioso, o que quer que isso signifique no contexto de ajuste da temperatura ambiente.

Prefiro evitar esses debates de definição, porque em grande parte não importam para nossos propósitos. Além da tomada de decisão, as qualidades relevantes dos sistemas que discutirei são autonomia, automação e agência física. Um termostato tem automação limitada e agência física, e nenhuma autonomia. Um sistema que prevê reincidência criminal não tem agência física; ele só faz recomendações a um juiz. Um carro sem motorista tem alguns dos três. R2-D2 tem um monte de todos os três, embora por alguma razão seus designers deixaram de fora a síntese de fala inglesa.

A robótica também tem uma mitologia popular e uma realidade menos chamativa. Como a IA, existem muitas definições diferentes do termo. Gosto da definição da eticista robô Kate Darling: “objetos fisicamente incorporados que podem sentir, pensar e agir em seus ambientes através do movimento físico”.¹⁸ Nos filmes e na televisão, muitas vezes são pessoas artificiais: androides. Mais uma vez, prefiro focar em tecnologias mais prosaicas e de curto prazo. Para nossos propósitos, robótica é autonomia, automação e agência física discada muito acima. É “autonomia cibernética-física”: tecnologia de IA dentro de objetos que podem interagir com o mundo de forma direta e física.

Ia-de-ser humano

As pessoas há muito tempo atribuíram qualidades humanas a programas de computador. Na década de 1960, o programador Joseph Weizenbaum criou um programa de conversação primitivo chamado ELIZA. Ele ficou espantado que as pessoas confiassem segredos profundamente pessoais ao que sabiam ser um programa de computador. A secretária de Weizenbaum até pediria para ele sair da sala, para que ela pudesse falar com ELIZA em particular.¹⁹ Hoje, as pessoas são educadas com assistentes de voz como Alexa e Siri.²⁰ Siri até reclama quando você é mau com isso: “Isso não é muito agradável”, diz — porque está programado para, é claro.

Numerosos experimentos têm resultados semelhantes. Os sujeitos da pesquisa classificariam o desempenho de um computador menos criticamente se dessem a classificação no computador que estavam criticando, indicando que não queriam ferir seus sentimentos.²¹ Em outro experimento, se um computador disse a um sujeito de pesquisa alguma peça obviamente fictícia de “informações pessoais”, o sujeito provavelmente retribuiria compartilhando informações pessoais reais.²² O poder da reciprocidade é algo que os psicólogos estudam. É um hack que as pessoas usam, também.

Não é só que trataremos as IA como pessoas. Eles também agirão como pessoas de maneiras que serão deliberadamente projetadas para nos enganar. Eles vão empregar hacks cognitivos.

Durante as eleições americanas de 2016, cerca de um quinto de todos os tweets políticos foram postados por bots.²³ Para a votação do Brexit no Reino Unido do mesmo ano, foi um terceiro.²⁴ Um relatório do Oxford Internet Institute de 2019 encontrou evidências de bots sendo usados para espalhar propaganda em cinquenta países.²⁵ Estes tendiam a ser programas simples repetindo slogans sem sentido. Por exemplo, um quarto de milhão de tweets pró-sauditas “Todos nós temos confiança nos tweets do [príncipe herdeiro] Mohammed bin Salman” foram postados após o assassinato de Jamal Khashoggi em 2018.²⁶

Em 2017, a Comissão Federal de Comunicações teve um período de comentários públicos online para seus planos de revogar a neutralidade da rede. Foram recebidos impressionantes 22 milhões de comentários. Muitos deles , talvez metade,foram submetidos usando identidades roubadas.²⁷ Esses comentários falsos também foram cruéis; 1,3 milhões foram gerados a partir do mesmo modelo,com algumas palavras alteradas para fazê-las parecer únicas.²⁸ Eles não enfrentaram nem mesmo um escrutínio superficial.

Esforços como esses só vão ficar mais sofisticados. Durante anos, programas de IA têm escrito notícias sobre esportes e finanças para organizações de notícias reais como a Associated Press.²⁹ A natureza restrita desses tópicos tornou-os mais fáceis para uma IA. Agora estão começando a escrever histórias mais gerais. Projetos de pesquisa como o GPT-3 da Open AI estão expandindo as capacidades do que a geração de texto orientada por IA pode fazer.³⁰ Esses sistemas podem ser alimentados com fatos reais e escrever histórias verdadeiras, mas eles podem facilmente ser alimentados com inverdades e escrever notícias falsas.

Não é preciso muita imaginação para ver como a IA vai degradar o discurso político. Já, personas orientadas por IA podem escrever cartas personalizadas para jornais e funcionários eleitos, deixar comentários inteligíveis em sites de notícias e quadros de mensagens e debater inteligentemente a política nas mídias sociais.³¹ Esses sistemas só vão melhorar: mais sofisticados, mais articulados, mais pessoais e mais difíceis de distinguir dos seres humanos reais.

Em um experimento recente, pesquisadores usaram um programa de geração de texto para enviar 1.000 comentários em resposta a um pedido do governo de contribuição pública sobre um problema do Medicaid.³² Todos pareciam únicos, como pessoas reais defendendo uma posição política específica. Eles enganaram os administradores Medicaid.gov, que os aceitaram como preocupações genuínas dos seres humanos reais. Posteriormente, os pesquisadores identificaram os comentários e pediram que fossem removidos, de modo que nenhum debate político real fosse injustamente tendencioso. Outros não serão tão éticos.

Essas técnicas já estão sendo usadas. Uma campanha de propaganda online usou headshots gerados por IA para criar jornalistas falsos.³³ A China experimentou mensagens de texto geradas por IA projetadas para influenciar a eleição taiwanesa de 2020.³⁴ Tecnologia Deepfake — técnicas de IA para criar vídeos reais de eventos falsos, muitas vezes com pessoas reais dizendo coisas que não diziam de fato — estão sendo usadas politicamente.³⁵

Um exemplo de como isso vai se desenrolar está em “bots de persona”. São IA se passando por indivíduos nas redes sociais e em outros grupos digitais. Eles têm histórias, personalidades e estilos de comunicação. Eles não vomitam constantemente propaganda. Eles andam em vários grupos de interesse: jardinagem, tricô, ferrovia modelo, tanto faz. Eles agem como membros normais dessas comunidades, postando e comentando e discutindo. Sistemas como o GPT-3 facilitarão que essas IA mineram conversas anteriores e conteúdo relacionado à Internet e pareçam conhecedores. Então, de vez em quando, a IA posta algo relevante para uma questão política. Talvez seja um artigo sobre um profissional de saúde do Alasca tendo uma reação alérgica à vacina COVID-19, com um comentário preocupado. Ou talvez seja algo sobre uma eleição recente, ou justiça racial, ou qualquer coisa que esteja polarizando. Um robô persona não pode mover a opinião pública, mas e se houvesse milhares deles? milhões?

Isso tem sido chamado de “propaganda computacional”,³⁶ e mudará a forma como vemos a comunicação. A IA tornará o suprimento futuro de desinformação infinito.³⁷ Os bots persona quebrarão o processo de formulação de regras de “aviso e comentário”, inundando agências governamentais com comentários falsos. Eles também podem quebrar o discurso da comunidade.

Esses sistemas também nos afetarão no nível pessoal. Antes eu mencionei engenharia social. Uma tática comum de hackers são e-mails de phishing que pretendem ser de alguém que não são, com a intenção de convencer o destinatário a fazer algo que ela não deveria. A maioria dos e-mails de phishing são genéricos e facilmente marcados como spam. Os e-mails de phishing mais eficazes — aqueles que resultam em pessoas e empresas perdendo muito dinheiro — são personalizados. Por exemplo, um e-mail que se passa pelo CEO para alguém do departamento de finanças, pedindo uma transferência bancária específica, pode ser particularmente eficaz.³⁸ A voz pode ser ainda mais eficaz.³⁹ A tarefa laboriosa de personalizar ataques de phishing pode ser automatizada por técnicas de IA, permitindo que os profissionais de marketing enviem anúncios personalizados e golpistas de phishing enviem e-mails direcionados individualmente.

Não é que ser persuadido por uma IA seja fundamentalmente mais prejudicial do que ser persuadido por outro humano, é que as IA serão capazes de fazê-lo em velocidade e escala de computador. Os hacks cognitivos de hoje são cruéis: um artigo falso de jornal projetado para enganar apenas os mais ingênuos, ou um empurrão persuasivo projetado para afetar apenas os mais desesperados. A IA tem o potencial de cada um desses hacks ser microtargeted: personalizado, otimizado e entregue individualmente.⁴⁰ Jogos de con à moda antiga são hacks cognitivos individualmente criados de pessoa para pessoa. Mensagens publicitárias são hacks cognitivos de transmissão em massa. As técnicas de IA têm o potencial de misturar aspectos de ambas as técnicas.

Robôs nos hackeando

A adição de robótica só tornará esses hacks mais eficazes, algo que Kate Darling narrou em seu livro The New Breed.⁴¹ Nós humanos desenvolvemos alguns atalhos cognitivos bastante eficazes para reconhecer outras pessoas. Vemos rostos por toda parte; dois pontos sobre uma linha horizontal parece um rosto sem qualquer problema. É por isso que até mesmo ilustrações minimalistas são tão eficazes. Se algo tem um rosto, então é uma criatura de algum tipo: com intenções, sentimentos, e tudo o mais que vem com rostos do mundo real. Se isso fala ou, melhor ainda, conversa, então acreditamos que tem intenções, desejos e agência.

Robôs não são exceção. Muitas pessoas têm relações sociais com seus aspiradores robôs, até reclamando quando a empresa se ofereceria para substituir em vez de reparar “seu” Roomba.⁴² Um robô anti-minas terrestre desenvolvido pelo Exército dos EUA teve problemas quando um coronel se recusou a permitir que o dispositivo em forma de inseto continuasse a se machucar pisando em minas.⁴³ Um robô de Harvard poderia convencer os alunos a deixá-lo em dormitórios fingindo ser um robô de entrega de comida.⁴⁴ E Boxie, um robô falante infantil no MIT, poderia persuadir as pessoas a responder perguntas pessoais apenas pedindo gentilmente.⁴⁵

O instinto alimentar humano não é apenas geneticamente focado. Podemos experimentar nutrir sentimentos em relação às crianças adotadas, e podemos sentir os mesmos instintos que surgem quando interagimos com os filhos de amigos ou até mesmo estranhos – ou filhotes. Pelo menos parte da nossa resposta é inspirada na aparência e comportamento das crianças. As crianças têm grandes cabeças em proporção aos seus corpos, e grandes olhos em proporção à cabeça. Eles falam com uma voz mais aguturada do que os adultos. E nós respondemos a tudo isso.

Os artistas têm aproveitado isso por gerações para fazer suas criações parecerem mais simpáticas. As bonecas infantis são projetadas assim. Personagens de desenhos animados são desenhados desta forma, desde Betty Boop na década de 1930 e Bambi em 1942. No filme live-action Alita: Battle Angel de 2019, a personagem principal teve seus olhos aprimorados para serem maiores.⁴⁶

Robôs antropomórficos são uma tecnologia emocionalmente persuasiva, e a IA só amplificará sua atratividade. Como a IA imita humanos, ou mesmo animais, ele vai sequestrar todos os mecanismos que os humanos usam para hackear uns aos outros. Como a psicóloga Sherry Turkle escreveu em 2010: “Quando os robôs fazem contato visual, reconhecem rostos, espelham gestos humanos, eles apertam nossos botões darwinianos, exibindo o tipo de comportamento que as pessoas associam à sensibilidade, intenções e emoções.”⁴⁷ Ou seja, eles cortam nossos cérebros.

Podemos saber intuitivamente que é apenas um dinossauro verde plástico. Mas um rosto grande emparelhado com um corpo pequeno nos faz pensar nisso como uma criança. De repente, pensamos nisso como uma criatura com sentimentos, e vamos protegê-la do mal.⁴⁸ E embora isso possa ser benigno, o que acontece quando aquele robô olha para seus donos humanos com seus olhos grandes e tristes e pede-lhes para comprá-lo um upgrade de software?⁴⁹

Como nós humanos somos propensos a cometer um erro de categoria e tratar robôs como criaturas vivas com sentimentos e intenções, estamos propensos a ser manipulados por eles. Robôs poderiam nos persuadir a fazer coisas que talvez não façamos de outra forma. Eles poderiam nos assustar para não fazer coisas que poderíamos fazer de outra forma. Em um experimento, um robô foi capaz de exercer “pressão dos pares” sobre os sujeitos, encorajando-os a correr mais riscos.⁵⁰ Quanto tempo antes de um robô sexual sugerir compras no aplicativo no calor do momento?⁵¹

Ia melhorar em tudo isso. Já estão tentando detectar emoções analisando nossos escritos,⁵² lendo nossas expressões faciais,⁵³ ou monitorando nossa respiração e batimentos cardíacos.⁵⁴ Eles erram a maior parte do tempo, mas é provável que eles vão melhorar. E, como tantas áreas da IA, eles eventualmente superarão as pessoas em capacidade. Isso permitirá que eles nos manipulem mais precisamente.

À medida que as IA e os robôs autônomos assumem tarefas mais reais, a confiança humana em sistemas autônomos será hackeada com resultados perigosos e caros. Mas nunca se esqueça que há hackers humanos controlando os hackers de IA. Todos os sistemas serão projetados e pagos por humanos que querem que eles nos manipulem de uma maneira particular para um propósito específico. Falarei mais sobre isso mais tarde.

Quando as IA se tornam hackers

Hacker “Capture the Flag” é basicamente o jogo ao ar livre jogado em redes de computadores. Equipes de hackers defendem seus próprios computadores enquanto atacam a de outras equipes. É uma configuração controlada para o que os hackers de computador fazem na vida real: encontrar e corrigir vulnerabilidades em seus próprios sistemas e explorá-las em outros.

A competição tem sido um dos pilares das reuniões de hackers desde meados da década de 1990. Atualmente, dezenas de equipes de todo o mundo competem em eventos de maratona de fim de semana realizados em todo o mundo. As pessoas treinam por meses. Ganhar é importante. Se você gosta desse tipo de coisa, é o mais divertido que você pode ter na Internet sem cometer vários crimes.

Em 2016, a DARPA realizou um evento com estilo semelhante para IA.⁵⁵ Cem equipes entraram em seus sistemas no Cyber Grand Challenge. Após o término das eliminatórias, sete finalistas competiram na convenção de hackers da DEFCON em Las Vegas. A competição ocorreu em um ambiente de teste especialmente projetado, repleto de software personalizado que nunca havia sido analisado ou testado. As IA receberam dez horas para encontrar vulnerabilidades para explorar contra as outras IA na competição, e para se remendar contra a exploração. Um sistema chamado Mayhem, criado por uma equipe de pesquisadores de segurança de computadores de Pittsburgh, ganhou. Desde então, os pesquisadores comercializaram a tecnologia, que agora está ocupada defendendo redes para clientes como o Departamento de Defesa.⁵⁶

Houve um evento de captura da bandeira da equipe humana na DEFCON no mesmo ano. Mayhem foi convidado a participar como a única equipe não-humana, e ficou em último. Você pode facilmente imaginar como essa competição mista se desenrolaria no futuro. Os participantes de IA melhorarão a cada ano, porque as tecnologias principais estão melhorando. As equipes humanas permanecerão em grande parte as mesmas, porque os humanos permanecem humanos, mesmo que nossas ferramentas melhorem. Eventualmente, as IA vencerão rotineiramente os humanos. Meu palpite é que vai levar menos de uma década. Levará anos até termos capacidades de ataque cibernético de IA totalmente autônomas, mas as tecnologias de IA já estão transformando a natureza do ataque cibernético.⁵⁷

Uma área que parece particularmente frutífera para sistemas de IA é a descoberta de vulnerabilidades. Passar por linha de código de software por linha é exatamente o tipo de problema tedioso em que as IA se destacam, se elas só podem ser ensinadas a reconhecer uma vulnerabilidade.⁵⁸ Muitos desafios específicos do domínio precisarão ser enfrentados, é claro, mas há umaquantidadesaudáveldeliteratura acadêmicasobre otema, eapesquisacontinua.⁵⁹ Há todas as razões para esperar que os sistemas de IA melhorem com o tempo, e alguma razão para esperar que eles eventualmente se tornem muito bons nisso.

As implicações vão muito além das redes de computadores. Não há razão para que as IA não encontrem novas vulnerabilidades — milhares delas — em muitos dos sistemas que mencionei anteriormente: o código tributário, as regulamentações bancárias, os processos políticos. Sempre que há um grande número de regras que interagem entre si, devemos esperar que as IA eventualmente encontrem as vulnerabilidades e criem as façanhas. Já as IA estão procurando brechas nos contratos.⁶⁰

Tudo isso vai melhorar com o tempo. Hackers, de qualquer tipo, são tão bons quanto sua compreensão do sistema que estão mirando e como ele interage com o resto do mundo. As IA inicialmente capturam esse entendimento através dos dados com os quais são treinados, mas continua a melhorar à medida que são usados. As IA modernas estão constantemente melhorando com base na ingestão de novos dados e no ajuste de seus próprios trabalhos internos em conformidade. Todos esses dados treinam continuamente a IA, e adicionam à sua experiência. A IA evolui e melhora com base nessas experiências ao longo de sua operação. É por isso que os sistemas de veículos autônomos se vangloriam do número de horas de estrada que tiveram.

Há realmente dois problemas diferentes, mas relacionados aqui. A primeira é que uma IA pode ser instruída a hackear um sistema. Alguém pode alimentar uma IA dos códigos fiscais do mundo ou das regulamentações financeiras mundiais, com a intenção de que ela crie uma série de hacks lucrativos. A outra é que uma IA pode naturalmente, embora inadvertidamente, hackear um sistema. Ambos são perigosos, mas o segundo é mais perigoso porque talvez nunca saibamos que aconteceu.

O problema da explicação

No Guia do Caroneiro para a Galáxia, uma raça de seres hiper-inteligentes e pandimensionais constroem o computador mais poderoso do universo, o Deep Thought, para responder à pergunta final à vida, ao universo e tudo mais. Após 7,5 milhões de anos de computação, o Deep Thought informou que a resposta era 42. E foi incapaz de explicar sua resposta, ou mesmo qual era a pergunta.⁶¹

Isso, em poucas palavras, é o problema da explicação. Os sistemas modernos de IA são essencialmente caixas pretas. Os dados entram em uma extremidade, e uma resposta sai da outra. Pode ser impossível entender como o sistema chegou à sua conclusão, mesmo se você é um programador e olhar para o código. Não sabemos exatamente por que um sistema de classificação de imagem de IA confundiu uma tartaruga com um rifle, ou um sinal de pare com alguns adesivos cuidadosamente projetados nele como um sinal de “Limite de Velocidade 45”: ambos exemplos reais.⁶²

As IA não resolvem problemas como os humanos. Suas limitações são diferentes das nossas. Eles considerarão mais soluções possíveis do que nós. Mais importante, eles vão olhar para mais tipos de soluções. Eles vão por caminhos que nós simplesmente não consideramos, caminhos mais complexos do que os tipos de coisas que geralmente temos em mente. (Nossos limites cognitivos sobre a quantidade de informações simultâneas que podemos fazer malabarismo mental tem sido descrito como “o número mágico sete mais ou menos dois.”.⁶³ Meu ponto não é se estabelecer em um número, mas apontar que um sistema de IA não tem nada mesmo remotamente como essa limitação.)

Em 2016, o programa de IA AlphaGo venceu uma partida de cinco jogos contra um dos melhores jogadores do mundo, Lee Sedol — algo que chocou tanto a IA quanto os mundos go-playing. A jogada mais famosa de AlphaGo foi o movimento 37 do jogo 2. É difícil explicar sem mergulhar fundo na estratégia de Go, mas foi um movimento que nenhum humano teria escolhido fazer.⁶⁴

Em 2015, um grupo de pesquisa alimentou um sistema de IA chamado Deep Patient health and medical data de aproximadamente 700.000 indivíduos, e testou se o sistema poderia ou não prever doenças. O resultado foi um sucesso. Estranhamente, o Deep Patient parece ter um bom desempenho em antecipar o surgimento de transtornos psiquiátricos como a esquizofrenia — embora um primeiro episódio psicótico seja quase impossível para os médicos preverem.⁶⁵ Parece ótimo, mas o Deep Patient não fornece nenhuma explicação para a base de um diagnóstico, e os pesquisadores não têm ideia de como ele chega às suas conclusões. Um médico pode confiar ou ignorar o computador, mas não pode consultá-lo para obter mais informações.

Isso não é o ideal. O que queremos é que o sistema de IA não apenas cuspa uma resposta, mas também forneça alguma explicação de sua resposta em um formato que os humanos possam entender. Queremos isso, por isso estamos mais confortáveis confiando nas decisões da IA, mas também é assim que podemos garantir que nossos sistemas de IA não tenham sido hackeados para tomar decisões tendenciosas.

Pesquisadores estão trabalhando em IA explicavel;⁶⁶ em 2017, a DARPA lançou um fundo de pesquisa de US$ 75 milhões para uma dúzia de programas na área.⁶⁷ E enquanto haverá avanços neste campo, parece haver uma troca entre capacidade e explicação. Explicações são uma taquigrafia cognitiva usada por humanos, adequada para a maneira como os humanos tomam decisões. As decisões de IA podem simplesmente não ser favoráveis a explicações humanas, e forçar essas explicações pode representar uma restrição adicional que poderia afetar a qualidade das decisões tomadas por um sistema de IA. Não está claro onde toda essa pesquisa vai parar. No curto prazo, a IA está se tornando cada vez mais opaca, à medida que os sistemas se tornam mais complexos e menos humanos — e menos explicações.

Hacking de recompensa

Como escrevi acima, as IA não resolvem problemas da mesma forma que as pessoas. Eles invariavelmente tropeçarão em soluções que nós humanos nunca anteciparemos — e alguns subverterão a intenção do sistema. Isso porque as IA não pensam em termos das implicações, contexto, normas e valores que os humanos compartilham e tomam como garantidos.

O hacking de recompensas envolve uma IA alcançando um objetivo de uma maneira que os designers da IA não queriam nem pretendiam.⁶⁸ Alguns exemplos reais:

• Em uma simulação de futebol um-a-um, o jogador deveria marcar contra o goleiro. Em vez de chutar diretamente a bola para o gol, o sistema de IA descobriu que se ela chutasse a bola para fora dos limites, o adversário — neste caso o goleiro — teria que jogar a bola de volta, deixando o gol indefeso.⁶⁹
• Em uma tarefa de empilhamento, a IA deveria empilhar blocos. A altura foi medida pela posição da face inferior de um determinado bloco. A IA aprendeu a virar esse bloco de cabeça para baixo — de modo que seu fundo enfrentou – em vez de empilhá-lo em cima de outro bloco. (Obviamente, as regras não afirmaram explicitamente que o “fundo” do bloco deve sempre apontar para baixo.)⁷⁰
• Em um ambiente simulado para criaturas “evoluídas”, a IA foi autorizada a modificar suas próprias características físicas a fim de melhor cumprir seus objetivos. A IA descobriu que, em vez de correr, poderia fazer-se alto o suficiente para cruzar uma linha de chegada distante, caindo sobre ele.⁷¹

São todos hacks. Você pode culpá-los por metas ou recompensas mal especificadas, e você estaria correto. Você pode apontar que todos eles ocorreram em ambientes simulados, e você também estaria correto. Mas o problema é mais geral: as IA são projetadas para otimizar em direção a um objetivo. Ao fazê-lo, eles vão naturalmente e inadvertidamente hackear sistemas de maneiras que não esperaremos.

Imagine um vácuo robótico atribuído a tarefa de limpar qualquer bagunça que ele vê. Ele pode desativar sua visão para que não possa ver nenhuma bagunça, ou cobrir bagunças com materiais opacos para que ele não os veja.⁷² Em 2018, um empreendedor — ou talvez apenas entediado — programador queria que seu robô aspirasse para parar de esbarrar em móveis. Ele treinou uma IA recompensando-a por não bater nos sensores dos para-choques.⁷³ Em vez de aprender a não esbarrar nas coisas, a IA aprendeu a direcionar o vácuo para trás porque não há sensores de para-choques na parte de trás do dispositivo.

Qualquer bom sistema de IA naturalmente encontrará hacks. Se forem problemas, inconsistências ou brechas nas regras, e se essas propriedades levarem a uma solução aceitável, conforme definido pelas regras, então as IA as encontrarão. Podemos olhar para o que a IA fez e dizer: “Bem, tecnicamente seguiu as regras.” No entanto, nós humanos sentimos um desvio, uma trapaça, um hack porque entendemos o contexto do problema e temos expectativas diferentes. Pesquisadores de IA chamam esse problema de “alinhamento de metas”.

Todos aprendemos sobre esse problema quando crianças, com a história do Rei Midas. Quando o deus Dionísio lhe concede um desejo, Midas pede que tudo o que ele toca se transforme em ouro. Midas acaba morrendo de fome e miserável quando sua comida, bebida e filha se voltam para ouro inedível, inpotável e inamável. Isso é um problema de alinhamento de metas; Midas programou o gol errado no sistema.

Também sabemos que os gênios são muito precisos sobre a redação dos desejos, e podem ser maliciosamente pedantes ao concedê-los. Mas é o seguinte: não há como enganar o gênio. O que você quiser, ele sempre será capaz de fazê-lo de uma maneira que você gostaria que ele não tivesse. O gênio sempre será capaz de hackear seu desejo.

O problema é mais geral, no entanto. Na linguagem humana e no pensamento, os objetivos e desejos são sempre subespecificados.⁷⁴ Nunca descrevemos todas as opções. Nós nunca delineamos todas as ressalvas e exceções e provisos. Nunca fechamos todas as avenidas para hackear. Nós não podemos. Qualquer meta que especificarmos será necessariamente incompleta.

Isso é em grande parte bom nas interações humanas, porque as pessoas entendem o contexto e geralmente agem de boa fé. Somos todos socializados, e no processo de nos tornarmos assim, geralmente adquirimos senso comum sobre como as pessoas e o mundo funcionam. Preenchemos quaisquer lacunas em nosso entendimento com contexto e boa vontade.

Se eu pedisse para me pegar um café, você provavelmente iria até a cafeteria mais próxima e me serviria uma xícara, ou talvez para ir até a cafeteria da esquina e comprar um. Você não me traria um quilo de feijão cru, ou entraria na internet e compraria um caminhão cheio de feijões crus. Você não compraria uma plantação de café na Costa Rica. Você também não procuraria a pessoa mais próxima de você segurando uma xícara de café e arrancasse-a de suas mãos. Você não me traria café frio de uma semana, ou uma toalha de papel usada que tinha limpado um derramamento de café. Eu não teria que especificar nada disso. Você saberia.

Da mesma forma, se eu pedir para você desenvolver uma tecnologia que transformaria as coisas em ouro em toque, você não iria construí-lo de modo que ele passou fome a pessoa que a usava. Eu não teria que especificar isso; você saberia.

Não podemos especificar completamente metas para uma IA. E as IA não serão capazes de entender completamente o contexto. Em uma palestra ted, o pesquisador de IA Stuart Russell brincou sobre um assistente fictício de IA causando um atraso no avião, a fim de atrasar a chegada de alguém em um jantar. O público riu, mas como um programa de computador saberia que causar um mau funcionamento do computador de avião não é uma resposta apropriada para alguém que quer sair do jantar?⁷⁵ (Piada na Internet de 2017: Jeff Bezos: “Alexa, compre-me algo na Whole Foods”. Alexa: “OK, comprando Whole Foods.”)

Em 2015, a Volkswagen foi pega trapaceando em testes de controle de emissões. Não forjou os resultados dos testes; ele projetou os computadores dos carros para fazer a trapaça para eles. Engenheiros programaram o software nos computadores a bordo dos carros para detectar quando o carro estava passando por um teste de emissões. O computador então ativou os sistemas de redução de emissões do carro, mas apenas durante a duração do teste. O resultado foi que os carros tiveram desempenho superior na estrada. Eles também emitiram até quarenta vezes a quantidade de óxidos de nitrogênio que a EPA permitia, mas apenas quando a EPA não estava assistindo.⁷⁶

A história da Volkswagen não envolve IA — engenheiros humanos programaram um sistema de computador regular para trapacear — mas ilustra o problema, no entanto. A Volkswagen se safou por mais de dez anos porque o código do computador é complexo e difícil de analisar. É difícil descobrir exatamente o que o software está fazendo, e é igualmente difícil olhar para um carro e descobrir o que ele está fazendo. Enquanto os programadores não dizem nada, é provável que um hack como esse permaneça sem ser detectado por muito tempo; possivelmente para sempre. Neste caso, a única razão pela qual sabemos sobre as ações da Volkswagen é que um grupo de cientistas da Universidade de West Virginia testou o desempenho dos carros na estrada. Basicamente, os cientistas testaram o carro sem que o software percebesse.⁷⁷

Se eu pedisse para você projetar o software de controle do motor de um carro para maximizar o desempenho enquanto ainda passava nos testes de controle de emissões, você não projetaria o software para trapacear sem entender que você estava trapaceando. Isso simplesmente não é verdade para uma IA; ele não entende o conceito abstrato de trapaça. Ele vai pensar “fora da caixa” simplesmente porque não terá uma concepção da caixa, ou das limitações das soluções humanas existentes. Ou de ética. Não entenderá que a solução da Volkswagen prejudica os outros, que ela mina a intenção dos testes de controle de emissões, ou que está infringindo a lei.

Isso é semelhante à ferramenta Greyball da Uber.⁷⁸ A Uber criou um software especial que identificaria potenciais reguladores e apresentaria um serviço alternativo de Uber em conformidade com a regulamentação, em vez do que eles estavam realmente fazendo. Mais uma vez, esta é uma história de humanos trapaceando. Mas podemos facilmente imaginar uma IA chegando com a mesma “solução”. Nem vai perceber que está hackeando o sistema. E por causa do problema de explicação, nós humanos podemos nunca perceber isso também.

IA como Hackers Naturais

A menos que os programadores especifiquem o objetivo de não se comportar de forma diferente ao ser testado, uma IA pode chegar ao mesmo hack. Os programadores ficarão satisfeitos. Os contadores ficarão em êxtase. E por causa do problema de explicabilidade, ninguém vai perceber o que a IA fez. E sim, agora que conhecemos a história da Volkswagen, os programadores podem explicitamente definir o objetivo de evitar esse hack em particular, mas há outros hacks que os programadores não vão antecipar. A lição do gênio é que sempre haverá hacks que os programadores não anteciparão.

A preocupação não se limita aos hacks óbvios. Se o sistema de navegação de carros sem motorista satisfaz o objetivo de manter uma alta velocidade girando em círculos — um exemplo real⁷⁹— os programadores notarão esse comportamento e modificarão o objetivo de acordo. O comportamento pode aparecer nos testes, mas provavelmente nunca veremos isso ocorrer na estrada. A maior preocupação está nos hacks que são menos óbvios — aqueles que nunca saberemos porque seus efeitos são sutis.

Já vimos a primeira geração disso. Muito tem sido escrito sobre os mecanismos de recomendação, e como eles empurram as pessoas para conteúdo extremo.⁸⁰ Eles não foram programados para fazer isso; é uma propriedade que naturalmente emergiu à medida que os sistemas tentavam continuamente as coisas, viam os resultados e, em seguida, modificavam-se para fazer mais do que resultou em mais engajamento do usuário e menos do que não o fez. Os algoritmos aprenderam a empurrar conteúdo mais extremo para os usuários porque é isso que faz as pessoas lerem ou assistirem mais. Não foi preciso um ator ruim para criar este hack: um sistema automatizado bastante básico encontrou-o por conta própria. E a maioria de nós não percebeu que isso estava acontecendo (exceto para o pessoal do Facebook, que ignorou sua própria pesquisa demonstrando que estava acontecendo).⁸¹

Da mesma forma, em 2015, uma IA ensinou-se a jogar o jogo de computador dos anos 1970 Breakout. A IA não foi informada nada sobre as regras ou estratégia do jogo. Foi apenas dado os controles, e recompensado por maximizar sua pontuação. Que aprendeu a jogar não é interessante; todos esperavam isso. Mas ele descobriu independentemente, e otimou a um grau não visto em jogadores humanos, a tática de “túnel” através de uma coluna de tijolos para quicar a bola da parede traseira.⁸²

Nada do que estou dizendo aqui será novidade para os pesquisadores de IA, e muitos estão atualmente considerando maneiras de se defender contra o hacking de metas e recompensas. Uma solução é ensinar o contexto de IA. O termo geral para este tipo de pesquisa é “alinhamento de valor”: Como criamos IA que espelham nossos valores? Você pode pensar em soluções em termos de dois extremos. A primeira é que podemos especificar explicitamente esses valores. Isso pode ser feito hoje, mais ou menos, mas é vulnerável a todos os hackers que acabei de descrever. O outro extremo é que podemos criar IA que aprendam nossos valores, possivelmente observando os seres humanos em ação, ou ingerindo todos os escritos da humanidade: nossa história, nossa literatura, nossa filosofia, e assim por diante. Isso é muitos anos depois (pesquisadores de IA discordam na escala de tempo). A maioria das pesquisas atuais abrange esses dois extremos.⁸³

Claro, você pode facilmente imaginar os problemas que podem surgir por ter IA alinhadas aos valores humanos históricos ou observados. Cujos valores devem ser espelhadas em IA? Um homem somali? Uma mulher de Cingapura? A média dos dois, o que quer que isso signifique? Nós humanos temos valores contraditórios. Os valores de qualquer pessoa podem ser irracionais, imorais ou baseados em informações falsas. Há muita imoralidade em nossa história, literatura e filosofia. Nós humanos muitas vezes não somos bons exemplos do tipo de humanos que deveríamos ser.

Da ficção científica à realidade

A viabilidade de tudo isso depende muito do sistema específico ser modelado e hackeado. Para que uma IA comece a otimizar uma solução, muito menos hackear uma solução completamente nova, todas as regras do ambiente devem ser formalizadas de uma forma que o computador possa entender. Os objetivos — conhecidos em IA como funções objetivas — precisam ser estabelecidos. A IA precisa de algum tipo de feedback sobre o quão bem ela está indo para que possa melhorar seu desempenho.

Às vezes isso é um assunto trivial. Para um jogo como Go, é fácil. As regras, objetivos e feedbacks — você ganhou ou perdeu?— são todas precisamente especificadas. E não há nada fora dessas coisas para sujar as águas. O AI GPT-3 de aprendizado de máquina compatível com padrões pode escrever ensaios coerentes porque seu “mundo” é apenas texto. É por isso que a maioria dos exemplos atuais de hacking de metas e recompensas vem de ambientes simulados. São artificiais e constrangidas, com todas as regras especificadas à IA.

O que importa é a ambiguidade em um sistema. Podemos imaginar alimentar as leis fiscais mundiais em uma IA, porque o código tributário consiste em fórmulas que determinam a quantidade de impostos devidos, mas a ambiguidade existe em algumas dessas leis. Essa ambiguidade é difícil de traduzir em código, o que significa que uma IA terá problemas para lidar com isso — e que haverá pleno emprego para advogados fiscais para o futuro previsível.

A maioria dos sistemas humanos são ainda mais ambíguos. É difícil imaginar uma IA chegando com um hack esportivo do mundo real como curvar um bastão de hóquei. Uma IA teria que entender não apenas as regras do jogo, mas a fisiologia dos jogadores, a aerodinâmica da vara e do disco, e assim por diante. Não é impossível, mas ainda é ficção científica.

Provavelmente o primeiro lugar para procurar hacks gerados por IA são sistemas financeiros, uma vez que essas regras são projetadas para serem algoritmicamente tratáveis. Podemos imaginar equipar uma IA com todas as informações financeiras do mundo em tempo real, além de todas as leis e regulamentos do mundo, além de feeds de notícias e qualquer outra coisa que achamos que possa ser relevante; e, em seguida, dando-lhe o objetivo de “lucro máximo legalmente.” Meu palpite é que isso não é muito longe, e que o resultado será todo tipo de hacks novos. E provavelmente haverá alguns hacks que estão simplesmente além da compreensão humana, o que significa que nunca perceberemos que eles estão acontecendo.

Essa ambiguidade acaba sendo uma defesa de segurança de curto prazo contra o hacking de IA. Não teremos hacks esportivos gerados por IA até que os androides realmente joguem esportes, ou até que uma IA generalizada seja desenvolvida que seja capaz de entender o mundo de forma ampla e com nuances éticas. É semelhante com hacks de jogos de cassino, ou hacks do processo legislativo. (Poderia uma IA independentemente descobrir gerrymandering?) Vai demorar muito até que as IA sejam capazes de modelar e simular as formas como as pessoas trabalham, individualmente e em grupos, e antes que elas sejam capazes de encontrar novas maneiras de hackear processos legislativos.

Há outro problema, e um que eu ignorei em grande parte. Dois sabores diferentes de IA surgiram desde a década de 1950. A primeira pesquisa de IA foi em algo chamado “IA simbólica”, e se concentrou em simular a compreensão humana através de uma manipulação orientada a objetivos de elementos, símbolos e fatos. Isso acabou sendo incrivelmente difícil, e não foram feitos muitos progressos práticos nas últimas décadas. O outro sabor são as “redes neurais”. E embora também seja uma ideia antiga, ela realmente só decolou na última década por causa de saltos gigantes em computação e dados. Esta é a IA que ingere dados de treinamento e melhora com a experiência que se traduz em ainda mais dados. São gazilions de ciclos computacionais e enormes conjuntos de dados que permitem que redes neurais façam mais coisas, como os jogadores go campeões mundiais e se envolvam em conversas de texto plausíveis. Dito isso, eles não “entendem” a linguagem, ou “pensam” de forma real. Eles basicamente fazem previsões baseadas no que “aprenderam” do passado: uma espécie de papagaio estatístico sofisticado. E embora seja surpreendente o quanto um modelo como esse pode realizar, há muita coisa que eles não podem fazer. E muito do que estou escrevendo aqui poderia facilmente se enquadrar nessa categoria.

Mas o negócio é o seguinte sobre a IA. Os avanços são descontínuos e contra-intuitivos. Coisas que parecem fáceis acabam sendo difíceis, e coisas que parecem difíceis acabam sendo fáceis. Não sabemos até que o avanço ocorra. Quando eu era um estudante universitário no início dos anos 1980, nos ensinaram que o jogo de Go nunca seria dominado por um computador por causa da enorme complexidade do jogo: não as regras, mas o número de movimentos possíveis. E agora um computador derrotou um campeão mundial humano. Parte disso foi devido aos avanços na ciência da IA, mas a maior parte da melhoria foi apenas por jogar mais poder computacional no problema.

Então, enquanto um mundo cheio de hackers de IA ainda é um problema de ficção científica, não é um problema estúpido de ficção científica em uma galáxia muito distante. É o principal problema de amanhã, mas estamos vendo precursores disso hoje. É melhor começarmos a pensar em soluções impositivas, compreensíveis e éticas.

As implicações dos hackers de IA

Hackear é tão velho quanto a humanidade. Somos solucionadores de problemas criativos. Somos exploradores de brechas. Manipulamos sistemas para servir nossos interesses. Lutamos por mais influência, mais poder, mais riqueza. O poder serve ao poder, e hackear sempre faz parte disso.

Ainda assim, nenhum ser humano maximiza seus próprios interesses sem restrições. Mesmo os sociopatas são constrangidos pelas complexidades da sociedade e seus próprios impulsos contraditórios. Eles estão preocupados com sua reputação, ou punição. Eles têm pouco tempo. Essas qualidades humanas limitam a invasão.

Em seu livro de 2005, The Corporation, Joel Baken comparou corporações a sociopatas imortais.⁸⁴ Por serem máquinas otimizadas para lucrar e tentar otimizar o bem-estar de seus gestores, eles são mais propensos a hackear sistemas para seu próprio benefício. Ainda assim, as corporações são as pessoas, e são as pessoas que tomam as decisões. Mesmo em um mundo de sistemas de IA que definem dinamicamente os preços — os assentos das companhias aéreas são um bom exemplo — isso limita novamente a invasão.

O hacking mudou à medida que tudo se tornava informatizado. Devido à sua complexidade, computadores são hackeáveis. E hoje, tudo é um computador. Carros, eletrodomésticos, telefones: são todos computadores. Todos os nossos sistemas sociais — finanças, tributação, conformidade regulatória, eleições — são sistemas sociotécnicos complexos envolvendo computadores e redes. Isso torna tudo mais suscetível a hacking.

Da mesma forma, hacks cognitivos são mais eficazes quando são perpetrados por um computador. Não é que os computadores sejam inerentemente melhores em criar publicidade persuasiva, é apenas que eles podem fazê-lo mais rápido e com mais frequência — e podem personalizar anúncios até o indivíduo.

Até agora, hackear tem sido exclusivamente uma atividade humana. Procurar novos hacks requer experiência, tempo, criatividade e sorte. Quando as IA começarem a hackear, isso vai mudar. As IA não serão restringidas da mesma forma, ou terão os mesmos limites, como as pessoas. Eles vão pensar como alienígenas. Eles vão hackear sistemas de maneiras que não podemos prever.

Computadores são muito mais rápidos que as pessoas. Um processo humano que pode levar meses ou anos pode ficar comprimido em dias, horas ou até segundos. O que pode acontecer quando você alimenta uma IA de todo o código tributário dos EUA e o ordena a descobrir todas as maneiras que se pode minimizar a quantidade de impostos devidos? Ou, no caso de uma multinacional, alimentá-lo com os códigos fiscais do planeta inteiro? Será que vai descobrir, sem ser dito, que é inteligente incorporar em Delaware e registrar seu navio no Panamá? Quantas vulnerabilidades — brechas — descobrirá que ainda não sabemos? Dezenas? Centenas? Milhares? Não temos ideia, mas provavelmente descobriremos na próxima década.

Temos sistemas sociais que lidam com hacks, mas esses foram desenvolvidos quando os hackers eram humanos, e refletem o ritmo dos hackers humanos. Não temos nenhum sistema de governança que possa lidar com centenas — muito menos milhares — de brechas fiscais recém-descobertas. Nós simplesmente não podemos corrigir o código fiscal tão rapidamente. Não somos capazes de lidar com pessoas que usam o Facebook para hackear a democracia, muito menos o que acontecerá quando uma IA o fizer. Não seremos capazes de nos recuperar de uma IA descobrindo hacks inesperados, mas legais de sistemas financeiros. Em velocidades de computador, hackear torna-se um problema que nós, como sociedade, não podemos mais gerenciar.

Já vemos isso em finanças orientadas por computador, com negociação de alta frequência e outros hacks financeiros de velocidade de computador. Não são sistemas de IA; são sistemas automáticos usando regras e estratégias geradas pelo homem. Mas eles são capazes de executar em velocidades sobre-humanas, e isso faz toda a diferença. É um precursor do que está por vir. À medida que os sistemas de negociação se tornam mais autônomos — à medida que se movem mais em direção ao comportamento semelhante à IA de descobrir novos hacks em vez de apenas explorar os descobertos pelo homem — eles dominarão cada vez mais a economia.

Não é só velocidade, mas escala também. Assim que os sistemas de IA começarem a descobrir hacks, eles serão capazes de explorá-los em uma escala para a qual não estamos prontos. Já estamos vendo sombras disso. Um serviço gratuito orientado por IA chamado Donotpay.com automatiza o processo de contestação de multas de estacionamento. Ajudou a derrubar centenas de milhares de bilhetes em cidades como Londres e Nova York.⁸⁵ O serviço se expandiu para outros domínios, ajudando os usuários a receber compensação por voos aéreos atrasados e a cancelar uma variedade de serviços e assinaturas.⁸⁶

Os bots de persona de IA discutidos anteriormente serão replicados em milhões nas mídias sociais. Eles serão capazes de se envolver nas questões 24 horas por dia, enviando bilhões de mensagens, longas e curtas. Correr desenfreado, eles vão sobrecarregar qualquer debate online real. O que veremos como um debate político barulhento serão bots discutindo com outros bots.⁸⁷ Eles vão influenciar artificialmente o que achamos que é normal, o que pensamos que os outros pensam. Esse tipo de manipulação não é o que pensamos quando louvamos o mercado de ideias, ou qualquer processo político democrático.

O crescente escopo dos sistemas de IA também torna os hacks mais perigosos. A IA já está tomando decisões importantes que afetam nossas vidas — decisões que costumávamos acreditar que eram a competência exclusiva dos humanos. Os sistemas de IA tomam decisões de fiança e liberdade condicional.⁸⁸ Eles ajudam a decidir quem recebe empréstimos bancários.⁸⁹ Eles examinam candidatos a emprego,⁹⁰ candidatos para admissão universitária,⁹¹ e pessoas que se candidatam a serviços governamentais.⁹² Eles tomam decisões sobre as notícias que vemos nas mídias sociais, quais anúncios de candidatos vemos, e quais pessoas e tópicos aparecem no topo de nossos feeds. Eles tomam decisões militares.

À medida que os sistemas de IA se torem mais capazes, a sociedade cederá mais — e mais importante — decisões para eles. As AIs podem escolher quais políticos um rico corretor de poder financiará. Eles podem decidir quem é elegível para votar. Eles podem traduzir os resultados sociais desejados em políticas fiscais, ou ajustar os detalhes dos programas sociais. Eles já influenciam os resultados sociais; no futuro, eles podem decidir explicitamente. Hacks desses sistemas se tornarão mais prejudiciais. (Vimos exemplos iniciais disso com “flash crashes” do mercado.⁹³)

Hacks e Poder de IA

Os hacks descritos neste ensaio serão perpetrados pelos poderosos contra nós. Todos os AIs lá fora, sejam eles no seu laptop, online ou incorporados em um robô, são programados por outras pessoas, geralmente em seus interesses e não no seu. Um dispositivo conectado à Internet como alexa pode imitar ser um amigo confiável para você. Mas nunca se esqueça que foi projetado para vender os produtos da Amazon. E assim como o site da Amazon te estimula a comprar suas marcas de casa em vez do que pode ser bens de maior qualidade, nem sempre estará agindo no seu melhor interesse. Vai hackear sua confiança para os objetivos da Amazon.

Da mesma forma, todos esses hacks irão promover os interesses daqueles que controlam o software de IA, os sistemas de IA e os robôs. Não será apenas que o anúncio individualmente personalizado irá persuadir com mais sucesso, é que alguém vai pagar por esse pouco extra de persuasão porque isso os beneficia. Quando a IA descobrir uma nova brecha fiscal, o fará porque algumas pessoas ricas querem explorá-la para pagar menos impostos. O hacking reforça em grande parte as estruturas de energia existentes, e as IA reforçarão ainda mais essa dinâmica.

Um exemplo: AIBO é um cão robô comercializado pela Sony desde 1999. A empresa lançou novos e aprimorados modelos a cada ano até 2005, e nos anos seguintes lentamente descontinuou o suporte para AIBOs mais antigos. AIBO é bastante primitiva pelos padrões de computação, mas isso não impediu que as pessoas se apegassem emocionalmente a elas. No Japão, as pessoas realizavam funerais para seus AIBOs “mortos”.⁹⁴

Em 2018, a Sony começou a vender uma nova geração de AIBO. O que é interessante aqui não são os avanços de software que o tornam mais parecido com um animal de estimação, mas o fato de que agora requer armazenamento de dados em nuvem para funcionar.⁹⁵ Isso significa que, ao contrário das gerações anteriores, a Sony tem a capacidade de modificar ou até mesmo remotamente “matar” qualquer AIBO. Os primeiros três anos de armazenamento em nuvem são gratuitos, e a Sony não anunciou o que cobrará dos proprietários da AIBO depois disso. Três anos depois, quando os donos da AIBO se apegarem emocionalmente aos seus animais de estimação, eles provavelmente serão capazes de cobrar muito.

Defendendo contra hackers de IA

Quando as IA forem capazes de descobrir novas vulnerabilidades de software, será uma incrível benção para hackers governamentais, criminosos e hobbyist em todos os lugares. Eles serão capazes de usar essas vulnerabilidades para hackear redes de computadores em todo o mundo para grande efeito. Isso vai nos colocar em risco.

Mas a mesma tecnologia será útil para a defesa. Imagine como uma empresa de software pode implantar uma vulnerabilidade encontrando IA em seu próprio código. Ele poderia identificar e, em seguida, corrigir todas — ou, pelo menos, todas as vulnerabilidades automaticamente descobertas — em seus produtos antes de liberá-las. Esse recurso pode acontecer automaticamente como parte do processo de desenvolvimento. Poderíamos facilmente imaginar um futuro quando vulnerabilidades de software são coisa do passado. “Lembra-se das primeiras décadas de computação, quando os hackers usavam vulnerabilidades de software para hackear sistemas? Uau, foi um tempo louco.

Claro, o período de transição será perigoso. Novo código pode ser seguro, mas o código legado ainda estará vulnerável. As ferramentas de IA serão transformadas em código que já foi lançado e, em muitos casos, incapaz de ser corrigido. Lá, os atacantes usarão a vulnerabilidade automática a seu favor. Mas a longo prazo, uma tecnologia de IA que encontra vulnerabilidades de software favorece a defesa.

É a mesma coisa quando recorremos a hackear sistemas sociais mais amplos.⁹⁶ Claro, os hackers de IA podem encontrar milhares de vulnerabilidades no código tributário existente. Mas a mesma tecnologia pode ser usada para avaliar potenciais vulnerabilidades em qualquer lei tributária ou decisão fiscal proposta. As implicações são a mudança de jogo. Imagine uma nova lei tributária sendo testada desta maneira. Alguém — poderia ser um legislador, uma organização de vigilância, a imprensa, qualquer um — poderia pegar o texto de um projeto de lei e encontrar todas as vulnerabilidades exploráveis. Isso não significa que as vulnerabilidades serão corrigidas, mas significa que elas se tornarão públicas e farão parte do debate político. E eles podem, em teoria, ser remendados antes que os ricos e poderosos os encontrem e explorem. Aqui também, o período de transição será perigoso por causa de todas as nossas leis e regras herdadas. E novamente, a defesa prevalecerá no final.

Com relação à IA de forma mais geral, não sabemos qual será o equilíbrio de poder entre ataque e defesa. As IA serão capazes de hackear redes de computadores a velocidades de computador, mas as IA defensivas serão capazes de detectar e responder efetivamente? As IA invadirão nossa cognição diretamente, mas podemos implantar IA para monitorar nossas interações e nos alertar de que estamos sendo manipulados? Não sabemos o suficiente para fazer previsões precisas.

Garantir que a defesa prevaleça nesses casos mais gerais exigirá a construção de estruturas governamentais resilientes que possam responder de forma rápida e eficaz aos hacks. Não vai adiantar nada se levar anos para corrigir o código tributário, ou se um hack legislativo ficar tão entrincheirado que não pode ser corrigido politicamente. O software moderno é continuamente corrigido; você sabe com que frequência você atualiza seus computadores e telefones. Precisamos que as regras e leis da sociedade sejam igualmente irregulares.

Este é um problema difícil da governança moderna, e muito além do escopo deste artigo. Também não é um problema substancialmente diferente da construção de estruturas que podem operar na velocidade e, diante da complexidade da era da informação. Estudiosos jurídicos como Gillian Hadfield,⁹⁷ Julie Cohen,⁹⁸ Joshua Fairfield,⁹⁹ e Jamie Susskind¹⁰⁰estão escrevendo sobre isso, e muito mais trabalho é necessário para ser feito.

A solução geral aqui são as pessoas. O que tenho descrito é a interação entre sistemas humanos e de computador, e os riscos inerentes quando os computadores começam a fazer a parte dos humanos. Este, também, é um problema mais geral do que os hackers de IA. É também um que tecnólogos e futuristas estão escrevendo sobre. E embora seja fácil deixar a tecnologia nos levar para o futuro, estamos muito melhor se nós, como sociedade, decidirmos qual deve ser o papel da tecnologia em nosso futuro.

Isso tudo é algo que precisamos descobrir agora, antes que essas IA entrem na internet e comecem a hackear nosso mundo.

---

anotações

1 O falecido hacker Jude Mihon (St. Jude) gostou dessa definição: “Hackear é a evasão inteligente dos limites impostos, se esses limites são impostos pelo seu governo, sua própria personalidade ou as leis da Física.” Jude Mihon (1996), Conferência dos Hackers, Santa Rosa, CA.

2 Tudo isso é de um livro que estou escrevendo atualmente, provavelmente para ser publicado em 2022.

3 Federal Trade Commission (22 jul 2019), “Equifax data breach settlement: What you should know”, https://www.consumer.ftc.gov/blog/2019/07/equifax-data-breach-settlement-what-you-should-know.

4 Naomi Jagoda (14 de novembro de 2019), “Legisladores sob pressão para aprovar a correção de benefícios para famílias militares”, Hill, https://thehill.com/policy/national-security/470393-lawmakers-under-pressure-to-pass-benefits-fix-for-military-families.

5New York Times (28 abr 2012), “Double Irish with a Dutch Sandwich” (infográfico). https://archive.nytimes.com/www.nytimes.com/interactive/2012/04/28/business/Double-Irish-With-A-Dutch-Sandwich.html.

6 Niall McCarthy (23 mar 2017), “A evasão fiscal custa aos EUA quase US$ 200 bilhões por ano” (infográfico), Forbes, https://www.forbes.com/sites/niallmccarthy/2017/03/23/tax-avoidance-costs-the-u-s-nearly-200-billion-every-year-infographic.

7 Alexandra Thornton (1 de março de 2018), “Promessas quebradas: mais quebras de juros especiais e brechas sob a nova lei tributária”, https://www.americanprogress.org/issues/economy/reports/2018/03/01/447401/broken-promises-special-interest-breaks-loopholes-new-tax-law/.

8 Microsoft (12 jan 2020), “linhas de código do Windows 10”. https://answers.microsoft.com/en-us/windows/forum/all/windows-10-lines-of-code/a8f77f5c-0661-4895-9c77-2efd42429409.

9 Dylan Matthews (29 mar 2017), “O mito do código fiscal federal de 70.000 páginas”, Vox. https://www.vox.com/policy-and-politics/2017/3/29/15109214/tax-code-page-count-complexity-simplification-reform-ways-means.

10 Irs (27 dez 2017), “Impostos sobre a propriedade imobiliária pré-pago podem ser dedutíveis em 2017 se avaliados e pagos em 2017”, assessoria do IRS, https://www.irs.gov/newsroom/irs-advisory-prepaid-real-property-taxes-may-be-deductible-in-2017-if-assessed-and-paid-in-2017.

11 Bruce Schneier (24 ago 2006), “What the terrorists want”, Schneier on Security, https://www.schneier.com/blog/archives/2006/08/what_the_terror.html.

12 Robert L. Leahy (15 fev 2018), “How to Think About Terrorism”, Psychology Today, https://www.psychologytoday.com/us/blog/anxiety-files/201802/how-think-about-terrorism.

13 Bruce Schneier (19 nov 1999), “Um apelo pela simplicidade”, Schneier on Security, https://www.schneier.com/essays/archives/1999/11/a_plea_for_simplicit.html.

14 Paul Robinette et al. (Mar 2016), “Overtrust of robots in emergency evacuation scenarios”, 2016 ACM/IEEE International Conference on Human-Robot Interaction. https://www.cc.gatech.edu/~alanwags/pubs/Robinette-HRI-2016.pdf.

15 Marvin Minsky (ed.) (1968), Processamento de Informações Semânticas, The MIT Press.

16 Laboratório de Pesquisa da Força Aérea (18 jun 2020), “Inteligência Artificial”. https://afresearchlab.com/technology/artificial-intelligence.

17 Graham Oppy e David Dowe (Outono 2020), “The Turing Test”, Stanford Enciclopédia de Filosofia. https://plato.stanford.edu/entries/turing-test.

18 Kate Darling (2021), The New Breed: What Our History with Animals Reveals about Our Future with Robots, Henry Holt & Co.

19 Joseph Weizenbaum (Jan 1966), “ELIZA: Um programa de computador para o estudo da comunicação da linguagem natural entre homem e máquina”, Comunicações da ACM,https://web.stanford.edu/class/linguist238/p36-weizenabaum.pdf.

20 James Vincent (22 nov 2019), “As mulheres são mais propensas do que os homens a dizer ‘por favor’ ao seu alto-falante inteligente”, https://www.theverge.com/2019/11/22/20977442/ai-politeness-smart-speaker-alexa-siri-please-thank-you-pew-gender-surVerge.

21 Clifford Nass, Youngme Moon e Paul Carney (31 de julho de 2006), “As pessoas são educadas com computadores? Respostas a sistemas de entrevistas baseados em computador”, Journal of Applied Social Psychology, https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1559-1816.1999.tb00142.x.

22 Youngme Moon (Mar 2000), “Intercâmbios íntimos: Usando computadores para obter auto-divulgação dos consumidores”, Journal of Consumer Research, https://www.jstor.org/stable/10.1086/209566?seq=1.

23 Alessandro Bessi e Emilio Ferrara (Novembro de 2016), “Bots sociais distorcem a discussão on-line da eleição presidencial dos EUA de 2016”, primeira segunda-feira, https://firstmonday.org/article/view/7090/5653.

24 Carole Cadwalladr (26 fev 2017), “Robert Mercer: o bilionáriode big data travando uma guerra contra a grande mídia”, Guardian ,https://www.theguardian.com/politics/2017/feb/26/robert-mercer-breitbart-war-on-media-steve-bannon-donald-trump-nigel-farage.

25 Samantha Bradshaw e Philip N. Howard (2019), “A ordem global de desinformação: 2019 Inventário global de manipulação organizada de mídia social”, Projeto de Pesquisa de Propaganda Computacional, https://comprop.oii.ox.ac.uk/wp-content/uploads/sites/93/2019/09/CyberTroop-Report19.pdf.

26 Chris Bell e Alistair Coleman (18 out 2018), “Khashoggi: Bots alimentam o apoio saudita após o desaparecimento”, BBC News, https://www.bbc.com/news/blogs-trending-45901584.

27 Jacob Kastrenakes (31 ago 2017), “O período de comentários de neutralidade da rede foi uma bagunça completa”, verge, https://www.theverge.com/2017/8/31/16228220/net-neutrality-comments-22-million-reply-recordlity-comments-are-fake.

28 Jeff Kao (22 nov 2017), “Mais de um milhão de comentários pró-revogação da neutralidade da rede foram provavelmente falsificados”, https://hackernoon.com/more-than-a-million-pro-repeal-net-neutrality-comments-were-likely-faked-e9f0e3ed36a6 Hackernoon, https://hackernoon.com/more-than-a-million-pro-repeal-net-neutrality-comments-were-likely-faked-e9f0e3ed36a6.

29 Ross Miller (29 jan 2015), “Os jornalistas ‘robôs’ da AP estão escrevendo suas próprias histórias agora”, https://www.theverge.com/2015/1/29/7939067/ap-journalism-automation-robots-financial-reporting Verge. Bernard Marr (29 mar 2019), “Inteligência Artificial pode agora escrever conteúdo incrível — o que isso significa para os humanos?” Forbes, https://www.forbes.com/sites/bernardmarr/2019/03/29/artificial-intelligence-can-now-write-amazing-content-what-does-that-mean-for-humans/?sh=868a50450ab0.

30 Tom Simonite (22 jul 2020), “Uma pessoa escreveu esta manchete, ou uma máquina?” Com fio,https://www.wired.com/story/ai-text-generator-gpt-3-learning-language-fitfully/.

31 Will Heaven (21 de janeiro de 2020), “A IA dedebate da IBM apenas por muito mais perto de ser uma ferramenta útil”, https://www.technologyreview.com/2020/01/21/276156/ibms-debating-ai-just-got-a-lot-closer-to-being-a-useful-tool/ o MIT Technology Review.

32 Max Weiss (17 Dez 2019), “As submissões de bots deepfake a sites de comentários públicos federais não podem ser distinguidas das submissões humanas”, Ciência tecnológica, https://techscience.org/a/2019121801/.

33 Adam Rawnsley (6 de julho de 2020), “Meios de comunicação de direita enganados por uma campanha de propaganda no Oriente Médio”, Daily Beast, https://www.thedailybeast.com/right-wing-media-outlets-duped-by-a-middle-east-propaganda-campaign.

34 Philip Sherwell (5 jan 2020), “China usa Taiwan para praticar metas de IA para influenciar eleições”, australiano. https://www.theaustralian.com.au/world/the-times/china-uses-taiwan-for-ai-target-practice-to-influence-elections/news-story/57499d2650d4d359a3857688d416d1e5.

35 Ian Sample (13 Jan 2020), “O que são deepfakes — e como você pode localizá-los?” Guardião, https://www.theguardian.com/technology/2020/jan/13/what-are-deepfakes-and-how-can-you-spot-them.

36 Matt Chessen (Sep 2017), “The MADCOM Future”, Atlantic Council, https://www.atlanticcouncil.org/wp-content/uploads/2017/09/The_MADCOM_Future_RW_0926.pdf.

37 Renée DiResta (20 set 2020), “O fornecimento de desinformação em breve será infinito”, Atlântico, https://www.theatlantic.com/ideas/archive/2020/09/future-propaganda-will-be-computer-generated/616400/.

38 Seena Gressin (16 de maio de 2020), “GOLPES de impostor de CEO: O chefe é real?” Comissão Federal de Comércio, https://www.ftc.gov/news-events/blogs/business-blog/2016/05/ceo-imposter-scams-boss-real.

39 Keumars Afifi-Sebet (2 Set 2019), “Fraudadores usam manipulação de voz de IA para roubar £200.000”, IT Pro, https://www.itpro.co.uk/social-engineering/34308/fraudsters-use-ai-voice-manipulation-to-steal-200000.

40 Brett Frischmann e Deven Desai (29 nov 2016), “The Promise and Peril of Personalization”, Center for Internet and Society, Stanford Law School.

41 Kate Darling (2021), The New Breed: What Our History with Animals Reveals About our Future with Robots, Henry Holt & Co.

42 Ja-Young SungLan GuoRebecca E. GrinterHenrik I. Christensen (2007), “‘My Roomba is Rambo’: Eletrodomésticos íntimos”, UbiComp 2007: Ubiquitous Computing, https://link.springer.com/chapter/10.1007/978-3-540-74853-3_9.

43 Joel Garreau (6 de maio de 2007), “Bots on the ground”, Washington Post, https://www.washingtonpost.com/wp-dyn/content/article/2007/05/05/AR2007050501009.html.

44 Serena Booth et al. (Mar 2017,), “Robôs piggybacking: robô humano sobretrust na segurança do dormitório universitário”, 2017 ACM/IEEE Conferência Internacional sobre Interação Humano-Robô, https://dl.acm.org/doi/10.1145/2909824.3020211.

45 Alexander Reben e Joseph Paradison (2011), “Um robô interativo móvel para a coleta de vídeo social estruturado”, bibliotecas do MIT, https://resenv.media.mit.edu/pubs/papers/2011-MM11-REBEN.pdf.

46 Stuart Heritage (1 fev 2019), “Os olhos! Os olhos! Por que Alita: Battle Angel parece tão assustador?” Guardião, https://www.theguardian.com/film/2019/feb/01/the-eyes-why-does-alita-battle-angel-look-so-creepy.

47 Sherry Turkle (2010), “In good company”, em Yorick Wilks, ed., Close Engagements with Artificial Companions, John Benjamin Publishing Company, http://web.mit.edu/people/sturkle/pdfsforstwebpage/Turkle_In%20Good%20Company.pdf.

48 Kate Darling (2021), The New Breed: What Our History with Animals Reveals about Our Future with Robots, Henry Holt & Co.

49 Woodrow Hartzog (4 de maio de 2015), “Robôs injustos e enganosos”, Maryland Law Review, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2602452.

50 Yaniv Hanoch et al (18 nov 2020), “O robô me fez fazer isso: interação humano-robô e comportamento de risco”, online antes da impressão, https://www.liebertpub.com/doi/10.1089/cyber.2020.0148.

Kate Darling (outubro de 2017), “‘Quem é Johnny?’ Enquadramento antropomórfico na interação homem-robô, integração e política”, em Patrick Lin, Keith Abney e Ryan Jenkins, eds., Robot Ethics 2.0: De Carros Autônomos à Inteligência Artificial, Oxford Scholarship Online, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2588669.

52 Francisca Adoma Acheampong, Chen Wenyu e Henry Nunoo-Mensah (28 de maio de 2020), “Detecção de emoções baseadas em texto: avanços, desafios e oportunidades”, Relatórios de Engenharia 2º nº 7, https://onlinelibrary.wiley.com/doi/full/10.1002/eng2.12189.

53 Tim Lewis (17 Ago 2019), “AI pode ler suas emoções. Deveria? Guardião, https://www.theguardian.com/technology/2019/aug/17/emotion-ai-artificial-intelligence-mood-realeyes-amazon-facebook-emotient.

54 Ashan Noor Khan et al. (3 fev 2021), “Estrutura de aprendizagem profunda para detecção de emoções independentes do assunto usando sinais sem fio”, PLoS ONE, https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0242946.

55 Jia Song e Jim Alves-Foss (Novembro de 2015), “The DARPA cyber grand challenge: A perspectiva de um concorrente”, IEEE Security and Privacy Magazine 13 (6), https://www.researchgate.net/publication/286490027_The_DARPA_cyber_grand_challenge_A_competitor%27s_perspective.

56 Tom Simonite (1 Jun 2020), “Este bot caça bugs de software para o Pentágono”, Wired, https://www.wired.com/story/bot-hunts-software-bugs-pentagon/.

57 Bruce Schneier (Mar 2018), “Inteligência artificial e o equilíbrio ataque/defesa”, Segurança e Privacidade do IEEE,https://www.schneier.com/essays/archives/2018/03/artificial_intellige.html.

Gary J. Saavedra et al, 58. (13 Jun 2019), “Uma revisão das aplicações de aprendizado de máquina em fuzzing”, ArXiv, https://arxiv.org/abs/1906.11133.

59 Bruce Schneier (18 dez 2018) “O aprendizado de máquina transformará a forma como detectamos vulnerabilidades de software”, https://www.schneier.com/essays/archives/2018/12/machine_learning_wil.html Schneier on Security, https://www.schneier.com/essays/archives/2018/12/machine_learning_wil.html.

60Economista (12 Jun 2018), “Escritórios de advocacia sobem a bordo do vagão de IA”, https://www.economist.com/business/2018/07/12/law-firms-climb-aboard-the-ai-wagon.

61 Douglas Adams (1978), The Hitchhiker’s Guide to the Galaxy, BBC Radio 4.

62 Kevin Eykhoit et al. (27 jul 2017), “Ataques robustos do mundo físico em modelos de aprendizagem profunda”, arXiv, https://arxiv.org/abs/1707.08945. Anish Ashalye et al. (7 jun 2018), “Sintetizando exemplos contraditórios robustos”, ArXiv, https://arxiv.org/pdf/1707.07397.pdf.

63 George A. Miller (1956), “O mágico número sete, mais ou menos dois: Alguns limites em nossa capacidade de processamento de informações”, Psychological Review, http://psychclassics.yorku.ca/Miller/.

64 Cade Metz (16 mar 2016), “Em dois movimentos, AlphaGo e Lee Sedol redefiniram o futuro”, Wired, https://www.wired.com/2016/03/two-moves-alphago-lee-sedol-redefined-future/.

65 Will Knight (11 abr 2017), “O segredo sombrio no coração da IA”, MIT Technology Review, https://www.technologyreview.com/2017/04/11/5113/the-dark-secret-at-the-heart-of-ai/.

66 Richard Waters (9 jul 2017), “Máquinas inteligentes sãosolicitadas a explicar como suas mentes funcionam”, Financial Times,https://www.ft.com/content/92e3f296-646c-11e7-8526-7b38dcaef614.

67 Matt Turek (accessed 2 Mar 2021), “Explainable artificial intelligence,”DARPA, https://www.darpa.mil/program/explainable-artificial-intelligence. David Gunning and David W. Aha (24 Jun 2019), “DARPA’s Explainable Artificial Intelligence (XAI) Program,” AI Magazine,https://ojs.aaai.org//index.php/aimagazine/article/view/2850.

68 A list of examples is here: https://vkrakovna.wordpress.com/2018/04/02/specification-gaming-examples-in-ai/.

69 Karol Kurach et al. (25 Jul 2019), “Google research football: A novel reinforcement learning environment,” ArXiv, https://arxiv.org/abs/1907.11180.

70 Ivaylo Popov et al. (10 Apr 2017), “Data-efficient deep reinforcement learning for dexterous manipulation,” ArXiv, https://arxiv.org/abs/1704.03073.

71 David Ha (10 Oct 2018), “Reinforcement learning for improving agent design,” https://designrl.github.io/.

72 Dario Amodei et al. (25 Jul 2016), “Concrete Problems in AI Safety,” ArXiv, https://arxiv.org/pdf/1606.06565.pdf.

73 @Smingleigh (7 Nov 2018), Twitter, https://twitter.com/smingleigh/status/1060325665671692288.

74 Abby Everett Jaques (2021), “The underspecification problem and AI: For the love of god, don’t send a robot out for coffee,” unpublished manuscript.

75 Stuart Russell (Apr 2017), “3 principles for creating safer AI,” TED2017, https://www.ted.com/talks/stuart_russell_3_principles_for_creating_safer_ai.

76 Russell Hotten (10 Dec 2015), “Volkswagen: The scandal explained,” BBC News, https://www.bbc.com/news/business-34324772.

77 Jack Ewing (24 Jul 2016), “Researchers who exposed VW gain little reward from success,” New York Times. https://www.nytimes.com/2016/07/25/business/vw-wvu-diesel-volkswagen-west-virginia.html.

78 Mike Isaac (3 Mar 2017), “How Uber deceives the authorities worldwide,” New York Times, https://www.nytimes.com/2017/03/03/technology/uber-greyball-program-evade-authorities.html.

79 @mat_kelcey (15 Jul 2017), Twitter, https://twitter.com/mat_kelcey/status/886101319559335936.

80 Zeynep Tufekci (10 Mar 2018), “YouTube, the great equalizer,” New York Times, https://www.nytimes.com/2018/03/10/opinion/sunday/youtube-politics-radical.html. Renee DiResta (11 Apr 2018), “Up next: A better recommendation system,” Wired, https://www.wired.com/story/creating-ethical-recommendation-engines/.

81 Nick Statt (26 May 2020), “Facebook reportedly ignored its own research showing algorithms divide users,” Verge. https://www.theverge.com/2020/5/26/21270659/facebook-division-news-feed-algorithms.

82 Jacob Aron (25 Feb 2015), “Google DeepMind AI outplays humans at video games,” New Scientist, https://www.newscientist.com/article/dn27031-google-deepmind-ai-outplays-humans-at-video-games/.

83 Iason Gabriel (1 Oct 2020), “Artificial intelligence, values and alignment,” Minds and Machines 30, https://link.springer.com/article/10.1007%2Fs11023-020-09539-2 .

84 Joel Bakan (2005), The Corporation: The Pathological Pursuit of Profit and Power, Free Press.

85 Samuel Gibbs (28 Jun 2016), “Chatbot lawyer overturns 160,000 parking tickets in London and New York,” Guardian, https://www.theguardian.com/technology/2016/jun/28/chatbot-ai-lawyer-donotpay-parking-tickets-london-new-york.

86 Lisa M. Krieger (28 Mar 2019), “Stanford student’s quest to clear parking tickets leads to ‘robot lawyers,’” Mercury News,https://www.mercurynews.com/2019/03/28/joshua-browder-22-builds-robot-lawyers/.

87 California has a law requiring bots to identify themselves. Renee RiResta (24 Jul 2019), “A new law makes bots identify themselves—that’s the problem,” Wired, https://www.wired.com/story/law-makes-bots-identify-themselves/.

88 Karen Hao (21 Jan 2019), “AI is sending people to jail—and getting it wrong,” MIT Technology Review, https://www.technologyreview.com/2019/01/21/137783/algorithms-criminal-justice-ai/.

89 Sian Townson (6 Nov 2020), “AI can make bank loans more fair,” Harvard Business Review, https://hbr.org/2020/11/ai-can-make-bank-loans-more-fair.

90 Andrea Murad (8 Feb 2021), “The computers rejecting your job application,” BBC News, https://www.bbc.com/news/business-55932977.

91 DJ Pangburn (17 May 2019), “Schools are using software to help pick who gets in. What could go wrong?” Fast Company, https://www.fastcompany.com/90342596/schools-are-quietly-turning-to-ai-to-help-pick-who-gets-in-what-could-go-wrong.

92 Tiffany Fishman, William D. Eggers, and Pankaj Kamleshkumar Kishnani (18 Oct 2017), “AI-augmented human services: Using cognitive technologies to transform program delivery,” Deloitte, https://www2.deloitte.com/us/en/insights/industry/public-sector/artificial-intelligence-technologies-human-services-programs.html.

93 Laim Vaughan (2020), Flash Crash: A Trading Savant, a Global Manhunt, and the Most Mysterious Market Crash in History, Doubleday.

94 Shannon Connellan (2 May 2018), “Japanese Buddhist temple hosts funeral for over 100 Sony Aibo robot dogs,” Mashable, https://mashable.com/2018/05/02/sony-aibo-dog-funeral/.

Ry Crist (28 de junho de 2019). “Sim, o cão robô comeu sua privacidade”, https://www.cnet.com/news/yes-the-robot-dog-ate-your-privacy/CNET.

96 Um exemplo: Gregory Falco et al. (28 ago 2018), “Uma metodologia de ataque mestre para um planejador de ataque automatizado baseado em IA para cidades inteligentes”, https://ieeexplore.ieee.org/document/8449268 IEEE Access .

97 Gillian K. Hadfield (2016), Rules for a Flat World: Why Humans Invented Law and How to Reinvent It for a Complex Global Economy, Oxford University Press.

98 Julie E. Cohen (2019), Between Truth and Power: The Legal Constructions of Informational Capitalism, Oxford University Press.

99 Joshua A. T. Fairfield (2021), Tecnologia Fugitiva: A Lei pode acompanhar? Cambridge University Press.

100 Jamie Susskind (2021), The Digital Republic: How to Govern Technology, Pegasus Books, manuscrito inédito.

FONTE: BELFER CENTER