O Tribunal Distrital de Haia (Rechtbank Den Haag) emitiu uma sentença, datada de 5 de fevereiro de 2020, que estabelece que um sistema algorítmico usado pelo Governo da Holanda, para avaliar o risco de fraude na segurança social ou financeira, não atende aos requisitos de proporcionalidade e transparência necessários e viola as disposições sobre respeito à privacidade que reconhecem o artigo 8 da Convenção Europeia dos Direitos Humanos (LAW 16/1950). Portanto, é contrário à lei .
Se trata da primeira sentença conhecida na Europa que declara ilegal um algoritmo de avaliação das características pessoais dos cidadãos. A sua divulgação também coincidiu com o anúncio da Comissão de que, em pouco tempo, apresentará uma proposta de regulamentação da IA na União e com uma decisão muito recente do Parlamento Europeu solicitando à Comissão, que aprove um regulamento sobre processos automatizados de tomada de decisão, a fim de garantir a proteção dos consumidores e a livre circulação de bens e serviços. E, em nível nacional, com o anúncio da publicação pela AEPD (Agência Europeia de Proteção de Dados) de um Guia de Adaptação ao GDPR para tratamentos que incorporam Inteligência Artificial.
Os fatos
De acordo com a decisão, cujo texto está disponível em holandês, o chamado Sistema de Indicação de Risco (Systeem Risico Indicatie, SyRI, em nada relacionado com o assistente de voz da Apple) é um instrumento legal que o governo holandês usa para prevenir e combater fraudes no domínio da segurança social e regimes relacionados com o rendimento, impostos e contribuições para a segurança social e legislação laboral.
O sistema baseia-se na atribuição do nível de risco de uma determinada pessoa cometer fraude contra a fazenda pública, com base em uma série de parâmetros analisados e relacionados entre si.
Essa medida, estabelecida a pedido de certas agências e órgãos públicos, tendo em vista o alto volume de fraudes detectadas no país, baseia-se na chamada Lei de Organização de Implementação e Estrutura de Renda (Wet structuur uitvoeringsorganisatie en inkomen, SUWI), cujo artigo 65.2 permite a preparação de relatórios de risco para avaliar o risco de uma pessoa física ou jurídica fazer uso ilegal de fundos governamentais no campo da previdência social e esquemas relacionados à renda pública.
De acordo com o Regulamento de Desenvolvimento da Lei, o sistema utiliza um algoritmo que processa dados como nome, endereço, local de residência, endereço postal, data de nascimento, gênero e características administrativas das pessoas; informações relacionadas ao seu trabalho; medidas administrativas e sanções aplicadas; suas informações fiscais, incluindo informações sobre bens móveis e imóveis; dados sobre motivos de exclusão de assistência ou benefícios; dados comerciais; dados de integração, que podem ser usados para determinar se as obrigações de integração foram impostas a uma pessoa; histórico de conformidade com leis e regulamentos; dados sobre bolsas recebidas e pensões; sobre a obrigação de reembolsar benefícios públicos; dados de endividamento; dados de benefícios, subvenções e subsídios recebidos; autorizações e isenções recebidas para a realização de atividades e dados de seguro de saúde, entendidos exclusivamente como aqueles que podem ser usados para determinar se uma pessoa está segurada de acordo com a Lei de Seguro de Saúde.
O processamento desses dados é realizado em duas fases. No primeiro, são coletados e pseudonimizados, substituindo o nome pessoal, números de previdência social e endereços por um código (pseudônimo). Os dados são, então, comparados com o modelo de risco criado e os possíveis fatores de risco são identificados. Se uma pessoa, física ou jurídica, ou um endereço, for classificado como de alto risco, seus dados serão descriptografados novamente usando o arquivo de chaves e transferidos para uma segunda fase da análise de risco por uma unidade específica de análise. Na segunda fase, os dados descriptografados são analisados por esta unidade de análise, que atribui um nível definitivo de risco.
A decisão do tribunal
Este sistema foi contestado por várias organizações de defesa dos direitos humanos e civis holandeses e, de acordo com o julgamento do tribunal local de Haia, a legislação que apóia a aplicação desse algoritmo, não cumpre o requisito estabelecido no artigo 8, parágrafo 2, da CEDH (LEI 16/1950), que é necessária uma interferência no exercício do direito ao respeito pela vida privada em uma sociedade democrática. Ou seja, tem que ser necessária e proporcional em relação ao objetivo pretendido.
Considerou-se que esta legislação não está em conformidade com o “equilíbrio justo” (equilíbrio justo, no original) que, de acordo com a CEDH (LEI 16/1950), deve existir entre o interesse social atendido pelos regulamentos em questão e a violação da vida privada que ela implica, para poder estimar que essa interferência seja minimamente justificada.
Na sua avaliação, o tribunal teve em conta os princípios fundamentais em que a proteção de dados se baseia no direito da União (CEDH (LAW 16/1950) e GDPR), em particular nos princípios da transparência, da limitação do tratamento de minimização de dados, e conclui que os regulamentos que regem o uso do SyRI são insuficientemente claros e verificáveis e, portanto, declaram-no contrário à lei.
A seguir, apresentamos os diferentes argumentos que apóiam essa decisão.
O alcance do direito ao respeito pela vida privada dos cidadãos na CEDH (LEI 16/1950) e no RGPD
O artigo 8 da Convenção Europeia dos Direitos Humanos (Direito ao respeito pela vida privada e familiar) declara:
1. Toda pessoa tem direito ao respeito à sua vida privada e familiar, seu domicílio e sua correspondência.
2. Não pode haver interferência da autoridade pública no exercício desse direito, exceto enquanto essa interferência for prevista em lei e constituir uma medida que, em uma sociedade democrática, seja necessária para a segurança nacional, a segurança pública, o bem-estar econômico do país, a defesa da ordem e a prevenção de ofensas criminais, a proteção da saúde ou da moral ou a proteção dos direitos e liberdades de terceiros.
A este respeito, o tribunal aprecia, em primeiro lugar, que os direitos garantidos pela CEDH (LEI 16/1950) fazem parte do direito da UE como princípios gerais do mesmo (artigo 6.3 do Tratado UE). Segundo, que a CEDH (LEI 16/1950) estabelece uma proteção mínima do direito fundamental à privacidade, de modo que a proteção do direito do cidadão da UE à proteção de dados pessoais seja determinada em mais detalhes acordo com a Carta e o GDPR, indo em alguns aspectos além de alguns aspectos da CEDH (LEI 16/1950).
Efeitos do relatório de riscos na vida privada das pessoas
Na opinião do tribunal, embora o relatório de riscos gerado pelo algoritmo não tenha, por si só, dado ensejo a uma conseqüência jurídica direta, civil, administrativa ou criminal, ele tem um efeito significativo na vida privada da pessoa a quem ele se refere.
O tribunal também deriva essa conclusão das diretrizes do Artigo 29 do Grupo de Trabalho da Proteção de Dados de 4 de dezembro de 2008, segundo as quais se deve entender que o processamento de dados afetam significativamente uma pessoa quando: os seus efeitos são grandes o suficiente ou importante para afetar significativamente o comportamento ou as decisões das pessoas envolvidas; ter um efeito a longo prazo ou duradouro na pessoa em causa, ou, no caso mais extremo, levar à sua exclusão ou discriminação.
Um objetivo legítimo, perseguido por meios desproporcionais
O tribunal considera que o volume de fraudes no sistema de previdência social na Holanda justifica a aplicação de mecanismos de controle e supervisão que limitam ou eliminam seus efeitos. Especificamente, o desenvolvimento de novas tecnologias fornece ao governo, entre outras coisas, opções digitais para vincular arquivos e analisar dados com a ajuda de algoritmos e, portanto, exercendo uma supervisão mais eficaz.
Porém, acrescenta, nesse desenvolvimento, o direito à proteção de dados é cada vez mais importante, em parte devido à velocidade desse desenvolvimento, uma vez que a coleta e análise de dados com a ajuda dessas novas tecnologias podem afetar profundamente à vida privada daqueles com quem esses dados se relacionam.
Portanto, o legislador também tem uma responsabilidade especial no caso do uso de um instrumento como o SyRI. E, nesse sentido, o tribunal também aprecia que o método aplicado neste caso não respeite o princípio do “equilíbrio justo” que deve existir entre os objetivos perseguidos e a violação da vida privada das pessoas que causa, pois não é necessário e proporcional aos fins que persegue.
Especificamente, as garantias previstas na legislação com o objetivo de proteger a privacidade daqueles cujos dados podem ser processados com o sistema SyRI são insuficientes, levando em consideração os princípios de transparência, limitação de processamento e minimização de dados, princípios fundamentais de proteção. de dados.
Falta de transparência do algoritmo
O princípio da transparência é o princípio orientador da proteção de dados subjacente e consagrado na CEDH (LEI 16/1950) e no RGPD (arts. 5.1 a) e 12).
O tribunal considera que o governo holandês não tornou público o tipo de algoritmo usado no modelo de risco, nem forneceu informações sobre o método de análise de risco usado, com a desculpa de impedir que os cidadãos ajustem seu comportamento de acordo.
Além disso, considera que a norma reguladora do algoritmo não fornece nenhuma obrigação de informação às pessoas cujos dados são processados, de modo que não é razoavelmente esperado que essas pessoas saibam que seus dados são usados ou foram usados para esse fim. Além disso, este regulamento não prevê nenhuma obrigação de informar individualmente as partes interessadas, quando apropriado, do fato de que sua avaliação de risco foi positiva.
Por outro lado, existe apenas uma obrigação legal de publicar o início de um projeto SyRI, publicando-o no Staatscourant (Diário Oficial do Estado) e dando acesso ao registro de notificações de risco, mediante solicitação.
No julgamento do tribunal, esse princípio não foi suficientemente observado na legislação da SyRI à luz do artigo 8, parágrafo 2, da CEDH (LEI 16/1950). O tribunal considera que a legislação da SyRI não fornece informações sobre dados factuais que possam justificar a presença de uma circunstância específica, ou que dados objetivos objetivos podem justificar a conclusão de que há um risco maior. Na documentação fornecida, acrescenta-se, existem apenas alguns exemplos de indicadores que podem indicar um risco maior e um possível impacto.
Relevância da falta de transparência
Como resultado do exposto acima, o tribunal conclui que é impossível verificar como a árvore de decisão que usa o algoritmo é projetada e em quais etapas ela consiste. Uma circunstância que dificulta a defesa de uma pessoa afetada pelo fato de que um relatório de risco foi feito com relação a ela.
É igualmente difícil saber como o proprietário dos dados que foram processados com o SyRI, mas que não levaram a um relatório de risco, pode estar ciente de que seus dados foram processados corretamente. O fato de que, nesta última situação, os dados não levaram a um relatório de risco e, além disso, que foram destruídos no prazo de quatro semanas após a análise, não altera a falta de transparência exigida em relação a esse tratamento.
Essa falta de transparência também apresenta problemas de verificabilidade em relação a possíveis efeitos discriminatórios (não intencionais), principalmente porque o estudo é realizado em determinadas populações consideradas sensíveis. Dada a grande quantidade de dados usados pelo algoritmo, incluindo dados pessoais de categoria especial e o fato de serem usados perfis de risco, existe o risco de conexões involuntárias baseadas em vieses. E, com base na legislação aplicável, não é possível avaliar se esse risco foi adequadamente tratado.
FONTE: SIGILO