Artigo no Conjur

Inúmeros são os exemplos de como decisões antes tomadas por seres humanos agora dependem de modelos de risco preditivo, sistemas automatizados de ranking e de elegibilidade. Dentre eles se encontram as possibilidades de concessão de crédito na compra de um automóvel ou mesmo da casa própria, o cálculo do valor dos juros, a seleção de currículos para acesso ao primeiro emprego ou recolocação no mercado de trabalho e até mesmo o direcionamento de uma investigação por fraude ou a escolha de uma determinada região para a ronda policial. Ao fim e ao cabo, esses sistemas podem promover desigualdade injustificada no tratamento dado ao cidadão, seja na esfera pública ou na esfera privada, como bem mostra Virginia Eubanks, em seu livro “Automating Inequality: How high-tech tools profile, police, and punish the poor”[1].

Tomando por base esse contexto, a Lei Geral de Proteção de Dados (LGPD), Lei 13.709/2018, prevê em seu artigo 20 o direito à revisão das decisões tomadas unicamente com base em tratamento automatizado.

No entanto, diferentemente de outras legislações ao redor do mundo, ao apreciar as alterações legislativas propostas pelo Congresso Nacional e que gerou a Lei nº. 13.853/2019, o Presidente da República entendeu por bem vetar o dispositivo que continha a previsão de revisão por pessoa humana.

Tendo por objeto essa problemática, a reflexão proposta na Coluna de hoje traz algumas questões críticas e desafios acerca da predominância das decisões automatizadas e suas consequências, para fins de compreender as bases de uma regulação jurídica constitucionalmente adequada e conectada às conquistas da era digital.

Com o mencionado avanço da tecnologia, mais decisões essenciais sobre a vida de uma pessoa vem sendo tomadas automaticamente a partir de algoritmos comandados por Inteligência Artificial (IA). Em tese, esses algoritmos são programados para produzir um resultado melhor, a partir de técnicas como o machine learning e o deep learning.

O machine learning[2] ou aprendizagem de máquina, “faz com que a máquina aprenda certas funções a ponto de conseguir agir sem a interferência humana.”[3]. Isto é, a máquina aprende com base em suas experiências pretéritas, podendo chegar, por isso, a resultados sequer previsíveis pelos seus programadores.

Com o crescente desenvolvimento, chegou-se à subespécie do deep learning, ou aprendizagem profunda, que envolve a criação de redes neurais artificiais que permitem dotar a máquina de estruturas similares ao cérebro humano[4]. Ainda que baseada em uma racionalidade formal e probabilística, a máquina seria capaz de realizar análises cada diz mais complexas e aprender com a experiência.

A premissa para a utilização desses sistemas é de que as escolhas feitas por tais algoritmos seriam mais eficientes, objetivas e imparciais. Logo, acabariam se mostrando melhores do que as decisões humanas, que tenderiam ao enviesamento e estariam mais sujeitas a falhas.[5]

Entretanto, o que tem se visto é que, em verdade, a neutralidade é aparente: as máquinas herdam o conteúdo a que possuem contato, seja por carregamento inicial de programadores, seja por aprendizado na interação humana, inclusive o preconceito.

Sem capacidade de análise crítica, elas podem ainda aprender por si própria, nas técnicas mais avançadas de machine learning. Isso porque os dados desempenham o papel de combustível para a decisão dos algoritmos que, com base nas técnicas descritas acima, vão gerando novos conhecimentos, numa inteligência formal própria da IA.

Sendo assim, como esperar a neutralidade de um algoritmo, se o banco de dados que o alimenta for enviesado? Exemplos não faltam.

Basta pensar no recurso do Google Fotos, que identificou pessoas negras como sendo gorilas[6] ou em sistemas de credit score que discriminam o acesso ao crédito com base em critérios como localidade, nacionalidade e gênero.[7] Ou, ainda, o programa de classificação de desempregados por grupos na Polônia, que acabou discriminando as pessoas com base em critérios inicialmente pouco claros[8].

Para além do preconceito, a IA também pode cometer erros, seja por deficiência tecnológica, seja por um acesso limitado a dados, que levam a aparentes verdades matemáticas que, na realidade, mostram-se falsas, incompletas ou inexatas.

O grande problema por trás desses algoritmos está na sua opacidade decisória: quais são os critérios utilizados para a tomada de decisões? Haveria um direito à explicação algorítmica[9], tendo em vista o impacto que essas decisões podem ter na vida das pessoas? Ou, de outro lado, haveria um direito à explicação e à revisão humana?

Frank Pasquale, em seu livro “The black box society: The secret algorithms that control money and information” alude à chamada “caixa preta dos algoritmos”, advertindo dos riscos de se acabar criando uma sociedade controlada por decisões automatizadas de nenhum ou pouco controle.

Por certo, um limite é o segredo comercial e industrial. Isto é, se uma grande rede social divulgasse como seus algoritmos funcionam, acabaria abrindo mão do segredo que, efetivamente, a faz operar. O §1º do art. 20 da LGPD é nesse exato sentido.[10]

Além disso, se o funcionamento do algoritmo é conhecido, corre-se o risco de que as pessoas passem a manipulá-lo. Um paralelo interessante é o sistema de distribuição de processos num Tribunal: se as fórmulas matemáticas dos algoritmos fossem de conhecimento público, as demandas acabariam sendo direcionadas. O ponto, assim, é uma avaliação funcionalizada da opacidade.

O art. 22 da GDPR europeia é tão sensível a isso que, inversamente à LGPD brasileira, dispõe que o tratamento automatizado de dados deve ser sempre excepcional, sendo admitido tão somente nas exceções legais, ressalvado sempre o direito à revisão humana.

O que se quer garantir é que importantes decisões da vida humana não sejam delegadas a máquinas pretensamente neutras, que acabam apenas por reforçar os preconceitos que já existem na sociedade.

Por que a revisão humana foi suprimida? A Lei nº. 13.853, de 2019, que aprovou a Medida Provisória 869/2018, alterando a Lei Geral de Proteção de Dados (LGPD), trouxe de volta à LGPD a figura da Autoridade Nacional de Proteção de Dados (ANPD), que havia sido vetada pelo então Presidente Michel Temer, dentre outras modificações.

Antes da análise presidencial, o texto aprovado no Parlamento reincorporava à lei a obrigatoriedade de revisão de decisões automatizadas por pessoa natural, que constava da redação original da LGPD. A nova redação dispunha que:

Art. 20 “ O titular dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade.

§ 3º A revisão de que trata o caput deste artigo deverá ser realizada por pessoa natural, conforme previsto em regulamentação da autoridade nacional, que levará em consideração a natureza e o porte da entidade ou o volume de operações de tratamento de dados.”(NR)

Com o novo texto, a revisão de dados por pessoa natural passaria a depender da regulamentação da ANPD, a qual deveria levar em consideração dois critérios: (i) a natureza e o porte da entidade ou (ii) o volume de operações de tratamento de dados.

A adoção desses critérios surgia para atender os anseios daqueles que, durante o processo legislativo, manifestaram a preocupação de que a revisão por pessoa natural inviabilizasse estratégias e modelos de negócio inovadores, como startups e fintechs (empresas que utilizam inovações tecnológicas para aperfeiçoar o mercado financeiro).

Os argumentos principais para a volta da revisão humana, segundo o Parecer do Relator na Câmara Federal, eram:[11]

(i) a retirada da pessoa humana enfraqueceria o exercício dos direitos humanos, de cidadania e do consumidor previstos no art. 2º, VI e VII da LGPD;

(ii) a interação de pessoas com deficiência de julgamento ou falta experiência com controladores seria dificultada, pois a inexistência de contato com revisores humanos poderia levar a práticas abusivas;

(iii) que os algoritmos que processam os dados são baseados em cálculos probabilísticos e estatísticas e que, por não englobarem o universo dos titulares e seus comportamentos, poderiam levar a erros e desvios padrões, já que se baseiam apenas em amostras e intervalos de confiança, além de estarem sujeitos a incorreções próprias do desenvolvimento tecnológico;

(iv) que a retirada vai de encontro ao que prevê a (colocar o nome completo do ato normativo e depois a Regulamentação Geral de Proteção de Dados – GDPR europeia (equivalente à LGPD brasileira) em seu art. 22[12], o que poderia dificultar a integração comercial e a geração de oportunidades e investimentos.

No entanto, o Presidente da República vetou o §3º, que previa a revisão humana, sob o seguinte fundamento:

A propositura legislativa, ao dispor que toda e qualquer decisão baseada unicamente no tratamento automatizado seja suscetível de revisão humana, contraria o interesse público, tendo em vista que tal exigência inviabilizará os modelos atuais de planos de negócios de muitas empresas, notadamente das startups, bem como impacta na análise de risco de crédito e de novos modelos de negócios de instituições financeiras, gerando efeito negativo na oferta de crédito aos consumidores, tanto no que diz respeito à qualidade das garantias, ao volume de crédito contratado e à composição de preços, com reflexos, ainda, nos índices de inflação e na condução da política monetária.[13]

Como se pode observar, os fundamentos erigidos nas razões do veto já haviam sido sopesados pelo legislador. Não obstante, entendeu o Chefe do Executivo que a revisão por pessoa natural deveria ser suprimida. Com isso, essa revisão deixa de ser uma obrigatoriedade e passa a ser mera faculdade, na contramão de outras legislações, como é o caso do Regulamento Geral de Proteção de Dados da União Europeia, a GDPR (artigo 22, nº 3).

Mais do que dificultar o acesso ao crédito[14], essas decisões podem impactar em setores como segurança pública, acesso ao mercado de trabalho[15] e, por que não dizer, até mesmo na saúde e na liberdade pessoal. É uma nova forma de controle da sociedade, agora exercido através dos dados: dataveillance.[16]

A obrigatoriedade de revisão humana, caso solicitada pela pessoa afetada, não viria para impedir a delegação tout court, mas para se criar mecanismos e salvaguardas para que não haja violação a direitos. Ao contrário, essa obrigatoriedade deveria ser agente de sua promoção.

Enfim, considerando a ausência de transparência e os efeitos perversos das análises exclusivamente automatizadas, a revisão humana acerca das decisões tomadas a partir de dados pessoais é uma salvaguarda constitucional e democrática que tenderia a evitar danos aos cidadãos mais carentes que não possuem outro acesso a bens que geram cidadania e ficam dependentes da análise do “sistema”.

Na era da tecnologia, é preciso realçar a importância do direito à explicação e à revisão humana das decisões automatizadas que impactam a vida das pessoas.

Desta feita, tendo em vista o atual estado da arte, o veto presidencial se revela um grave equívoco de entendimento político acerca da importância da obrigatoriedade da revisão humana. Pelo menos até que as IAs evoluam e possuam demonstrar de forma segura as motivações de suas conclusões, sujeitando-se a algum tipo de controle.

[1] EUBANKS, Virginia. Automatinginequality: How high-tech tools profile, police,andpunishthepoor. St. Martin’s Press, 2018, p. 7.

[2] “O machine learning consiste na capacidade de os sistemas se adaptarem a novas circunstâncias e extrapolar padrões previamente estabelecidos, “aprendendo” com os dados já conhecidos e disso produzindo novas informações aptas a subsidiarem tomadas de decisão futuras. O machine learning diz respeito, portanto, à possibilidade de a análise estatística dos dados levar a soluções sequer cogitadas por seus programadores no desenvolvimento do software, aprimorando as decisões do sistema a partir de erros e acertos da própria máquina. Por esse motivo, tendo em conta as demandas sociais – e mesmo do mundo jurídico – por soluções que facilitem a solução ótima de problemas, o machine learning constitui peça fundamental dos sistemas de inteligência artificial.” (CARVALHO, Angelo Gamba Prata de. O uso da inteligência artificial no mundo jurídico. Limites e perspectivas – Parte 1. In: JOTA, 16 jun. 2017. Disponível em Acesso em 20 mai. 2018)

[3] NUNES, Ana Carolina de Assis. Entre redes neurais naturais e artificiais: estudo antropológico sobre humanidade e inteligência artificial em algumas revistas brasileiras. Dissertação de Mestrado. Universidade Federal de Goiás, Faculdade de Ciências Sociais, Programa de Pós-Graduação em Antropologia Social. Goiânia, 2018, p. 49

[4] Disponível em: Acesso em 17 mai. 2018

[5] FRAZÃO, Ana. Algoritmos e inteligência artificial, Jota, publicado em 15 de maio de 2018. Disponível em: Acesso em 08 fev. 2019

[6]Disponível em: Acesso em 17 mai. 2018

[7] https://www.theatlantic.com/technology/archive/2016/12/how-algorithms-can-bring-down-minorities-credit-scores/509333/

[8] Ver mais em: https://panoptykon.org/sites/default/files/leadimage-biblioteka/panoptykon_profiling_report_final.pdf

[9] Ver mais em: MONTEIRO, Renato Leite. Existe um direito à explicação na Lei Geral de Proteção de Dados Pessoais?, Instituto Igarapé, Artigo Estratégico nº 39, Dezembro de 2018.

[10] § 1º O controlador deverá fornecer, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão automatizada, observados os segredos comercial e industrial.

[11] Disponível em:

[12] Artigo 22.o Decisões individuais automatizadas, incluindo definição de perfis

1.O titular dos dados tem o direito de não ficar sujeito a nenhuma decisão tomada exclusivamente com base no tratamento automatizado, incluindo a definição de perfis, que produza efeitos na sua esfera jurídica ou que o afete significativamente de forma similar.

2.O nº 1 não se aplica se a decisão:

a) For necessária para a celebração ou a execução de um contrato entre o titular dos dados e um responsável pelo tratamento;

b) For autorizada pelo direito da União ou do Estado-Membro a que o responsável pelo tratamento estiver sujeito, e na qual estejam igualmente previstas medidas adequadas para salvaguardar os direitos e liberdades e os legítimos interesses do titular dos dados; ou

c) For baseada no consentimento explícito do titular dos dados.

3.Nos casos a que se referem o n.o 2, alíneas a) e c), o responsável pelo tratamento aplica medidas adequadas para salvaguardar os direitos e liberdades e legítimos interesses do titular dos dados, designadamente o direito de, pelo menos, obter intervenção humana por parte do responsável, manifestar o seu ponto de vista e contestar a decisão.

4.As decisões a que se refere o n.o 2 não se baseiam nas categorias especiais de dados pessoais a que se refere o artigo 9.o, n.o 1, a não ser que o n.o 2, alínea a) ou g), do mesmo artigo sejam aplicáveis e sejam aplicadas medidas adequadas para salvaguardar os direitos e liberdades e os legítimos interesses do titular.

[13] Disponível em: < http://www.planalto.gov.br/ccivil_03/_Ato2019-2022/2019/Msg/VEP/VEP-288.htm> Acesso em 03 ago. 2019

[14] ZANATTA, Rafael A. F. Perfilização, Discriminação e Direitos: do Código de Defesa do Consumidor à Lei Geral de Proteção de Dados Pessoais. Disponível em:

[15] MCKENZIE, Raub. Bots, Bias and Big Data: Artificial Intelligence, Algorithmic Bias and Disparate ImpactLiability in HiringPractices. Arkansas Law Review, vol. 71, n. 2, 2018, pp. 528-570

[16] MORAIS, José Luis Bolzan de; NETO, Elias Jacob de Menezes. Análises computacionais preditivas como um novo biopoder: modificações do tempo na sociedade dos sensores. Revista Novos Estudos Jurídicos – Eletrônica, vol. 24, n. 3, set-dez. 2018, pp. 1129-1154

Referências

• Acesse esse artigo no Conjur
• Marco Marrafon está entre os autores desse artigo