Artigo no Conjur

Os sistemas de inteligência artificial permeiam nossa vida em todos os campos. No entanto, um âmbito que vem gerando maiores preocupações é o de seu uso na tomada de decisões sensíveis.

Em várias outras oportunidades já descortinei os problemas dos vieses dos modelos algorítmicos [2], ou seja, dos equívocos sistemáticos e repetíveis em um sistema de computador que criam resultados injustos ao privilegiar, por problemas variados, um grupo de usuários em detrimento de outros, por datasets incompletos ou adulterados, existência de padrões ocultos que deturpam a realidade dos fatos promovendo generalizações equivocadas, opacidade (não compreensão de como se chegou aos resultados) e geração de preconceito e discriminação.

Estes problemas ganham maior preocupação em face da ampliação de seu uso no campo jurídico.

Os problemas dos vieses dos modelos algorítmicos de IA já vêm gerando inúmeras pesquisas e iniciativas para o desenviesamento dos modelos [3] e criação de IAs explicáveis (XAI) [4], além de tentativas de se criar normatizações que buscam exigir o cumprimento de princípios éticos, como a própria resolução 332 do CNJ [5].

No atual estado da arte é recorrente a afirmação que estes enviesamentos não seriam tão problemáticos na medida em que, no campo jurídico ainda estaríamos longe de alcançar o estágio de modelos de IA que desempenhassem funções de legal reasoning [6] (verdadeiros juízes robôs) [7] e que não se buscaria com estes sistemas a substituição da função desempenhada por nós humanos na prolação das decisões sensíveis; sendo o emprego dos modelos de IA mera ferramenta de suporte.

Porém, como advertem Green e Kak, é um falso conforto a ideia da supervisão humana como um antídoto por danos perpetrados pela IA. A aposta que vem permeando propostas legislativas, como a recente da Comissão Europeia, é de que “'sistemas de IA de alto risco' (como reconhecimento facial e algoritmos que determinam a elegibilidade para benefícios públicos) devem ser projetados para permitir a supervisão por humanos que serão encarregados de prevenir ou minimizar riscos” [8].

Ocorre que a crença no controle e supervisão humana das decisões algorítmicas, que costumeiramente se propõe, despreza inúmeros fatores.

O primeiro é o de que inúmeros exemplos escandalosos de preconceito perpetrado por máquinas como o do Compas (Perfil Corretivo de Gerenciamento de Ofensores para Sanções Alternativas), software de justiça criminal (oferecido pela Northpointe Inc.) que usa algoritmos, estatísticas e o histórico para realizar uma avaliação de risco de detentos nos Estados Unidos e que já foi demonstrado erros graves em seus resultados que prejudicam pessoas pretas e latinas [9], foram sempre utilizadas como ferramenta auxiliar de juízes humanos e não como software de atuação não supervisionada.

Em segundo lugar, novamente com Green e Kak, as propostas “formas mais 'significativas' de supervisão humana são incrivelmente difíceis de se realizar na prática”, pois mesmo que humanos recebam um treinamento significativo de como operar a IA se torna muito complexo “intervir para equilibrar adequadamente as percepções humanas e algorítmicas” [10].

Especialmente aqui se ingressa no terreno dos erros de pensamento humano em relação aos resultados ofertados por modelos de IA, quais sejam, o viés de automação, a aversão algorítmica e/ou prevalência de preconceitos.

Como já se sabe, vieses de cognição são fenômenos da (ir)racionalidade humana, estudados pelos psicólogos cognitivos e comportamentais, e representam os desvios cognitivos decorrentes de equívocos em simplificações (heurísticas) realizadas pela mente humana diante de questões que necessitariam de um raciocínio complexo para serem respondidas. Tais simplificações (heurísticas) são um atalho cognitivo de que se vale a mente para facilitar uma série de atividades do dia a dia, inclusive no tocante à tomada de decisão [11].

Esses erros sistemáticos de pensamento em relação à racionalidade, ao pensamento e aos comportamentos ideais, lógicos e sensatos conduzem a decisões sub-ótimas a todo momento, desde a escolha de uma alimentação mais apetitosa, em detrimento de uma mais saudável, até opções de como julgar uma pessoa. O cérebro ao decidir tende a seguir o caminho que lhe parece mais confortável e que lhe despenda menos energia.

A partir de tal constatação o viés de automação se apresenta como uma das espécies dos vieses cognitivos humanos que ocorre pela propensão de favorecer sugestões de sistemas automatizados de tomada de decisão. Isso ocorre quando o humano sobrevaloriza a resposta da máquina e passa a não refletir acerca da correção de seus resultados. Tal viés conduz as pessoas a não reconhecerem quando os sistemas automatizados erram e a seguirem seus resultados quando apresentadas informações contraditórias [12]. Se isto já ocorre em relação a questões cotidianas, como anuência irrefletida ao trajeto fornecido pelo Waze como o melhor, coloca-se em pauta se juízes e assessores humanos refletiriam a cada resultado ofertado por um modelo de IA para apuração de sua correção.

Como pontua Cummings, modelos de suporte para decisões automatizadas são projetadas para melhorar a eficácia e reduzir o erro humano, mas “podem fazer com que os operadores renunciem a seu senso de responsabilidade” em face da “percepção de que a automação está no comando” [13].

No entanto, do mesmo modo que, por automatismo mental, tenderíamos a seguir os resultados apresentados pelas máquinas, existem pesquisas que indicam uma aversão algorítmica a seus resultados em face da baixa tolerância aos erros das máquinas [14] e que demostram que apesar de evidências indicarem que modelos algorítmicos predizem o futuro com mais precisão do que humanos decisores geralmente escolhem os últimos [15]; ou pela tendência de só seguirem os resultados que corroborem seus preconceitos, contrariando quando ele os rechaça [16]. Tal percepção é inclusive comprovada nas avaliações de risco implantadas no sistema de Justiça Criminal dos EUA, no qual juízes, por preconceito racial, usaram os resultados de previsões de risco mais alto sobre réus negros e mais baixas sobre réus brancos [17].

Em síntese, se demonstra que a atribuição de decisões sensíveis às máquinas deve ser absorvida com bastante cuidado e que a crença na atribuição de controle pela supervisão humana não é suficiente e deve ser objeto de um monitoramento rigoroso na implementação de automação decisória, para que modelos algorítmicos enviesados não possam gerar erros em escala exponencial ou que modelos precisos não sejam utilizados com o intuito de agravar a situação de alguns grupos que já sofrem preconceito.

[1] ZIMMERMANN, Annette, DI ROSA, Elena; KIM, Hochan. Technology Can't Fix Algorithmic Injustice. https://bostonreview.net/science-nature-politics/annette-zimmermann-elena-di-rosa-hochan-kim-technology-cant-fix-algorithmic. Acesso em 10/1/2020.

[2] NUNES, Dierle; VIANA, Aurélio. Deslocar função estritamente decisória para máquinas é muito perigoso. Revista Conjur. NUNES, Dierle; LUD, Natanael; PEDRON, Flávio. Desconfiando da imparcialidade dos sujeitos processuais um estudo sobre os vieses cognitivos, a mitigação de seus efeitos e o debiasing. Salvador: JusPodivm, 2018/2020. NUNES, Dierle; MARQUES, Ana Luiza. Inteligência artificial e direito processual: vieses algorítmicos e os riscos de atribuição de função decisória às máquinas. RePro. v. 285/2018, p. 421 – 447.

[3] XU, Joyce. Algorithmic Solutions to Algorithmic Bias: A Technical Guide. https://towardsdatascience.com/algorithmic-solutions-to-algorithmic-bias-aef59eaf6565

[4] “A XAI criará um conjunto de técnicas de aprendizado de máquina que permitirá que os usuários humanos entendam, confiem de forma adequada e gerenciem com eficácia a geração emergente de parceiros com inteligência artificial.” GUNNING, David. Explainable Artificial Intelligence (XAI) DARPA/I2O. Website da Defense Advanced Research Projects Agency (DARPA), 2016

[5] https://atos.cnj.jus.br/atos/detalhar/3429

[6] NUNES, Dierle; MARQUES, Ana Luiza. Decisão judicial e inteligência artificial: é possível a automação. Da fundamentação? In NUNES, Dierle; et al (orgs). Inteligência Artificial e Direito Processual: os impactos da virada tecnológica no direito processual. 2nd ed. Salvador: Juspodivm, 2021.

[7] Pontue-se que robôs como v.g. o Victor do STF são apenas classificadores de recursos extraordinários, estando longe da capacidade de julgar.

[8] GREEN, Ben; KAK, Amba.The False Comfort of Human Oversight as an Antidote to A.I. Harm. https://slate.com/technology/2021/06/human-oversight-artificial-intelligence-laws.html

[9] NUNES, Dierle; MARQUES, Ana Luiza. Inteligência artificial e direito processual. cit.

[10] GREEN, Ben; KAK, Amba. Cit.

[11] NUNES; LUD; PEDRON. Desconfiando da imparcialidade dos sujeitos processuais. p. 36.

[12] GREEN, Ben; CHEN, Yiling. Disparate Interactions: An Algorithm-in-the-Loop Analysis of Fairness in Risk Assessments. FAT*, January, 2019, Atlanta, GA, USA, p. 30.

[13] CUMMINGS, Mary L. Automation and Accountability in Decision Support System Interface Design. Journal of Technology Studies, 2006.

[14] “Imagine that you are driving to work via your normal route. You run into traffic and you predict that a different route will be faster. You get to work 20 minutes later than usual, and you learn from a coworker that your decision to abandon your route was costly; the traffic was not as bad as it seemed. Many of us have made mistakes like this one, and most would shrug it off. Very few people would decide to never again trust their own judgment in such situations. Now imagine the same scenario, but instead of you having wrongly decided to abandon your route, your traffic-sensitive GPS made the error. Upon learning that the GPS made a mistake, many of us would lose confidence in the machine, becoming reluctant to use it again in a similar situation. It seems that the errors that we tolerate in humans become less tolerable when machines make them. We believe that this example highlights a general tendency for people to more quickly lose confidence in algorithmic than human forecasters after seeing them make the same mistake. We propose that this tendency plays an important role in algorithm aversion. If this is true, then algorithm aversion should (partially) hinge on people's experience with the algorithm.” SIMMONS, Joseph P.; MASSEY, Cade. Algorithm Aversion: People Erroneously Avoid Algorithms after Seeing Them Err. Journal of Experimental Psychology: General, 2014. 114

[15] Cit.

[16] GREEN, Ben; CHEN, Yiling. Disparate Interactions: An Algorithm-in-the-Loop Analysis of Fairness in Risk Assessments. cit.

[17] “A particular danger of judicial discretion about how to incorporate risk assessments into decisions is the potential for disparate interactions: biases that emerge as an algorithmic prediction filters through a person into a decision. Our experiment participants were25.9% more strongly influenced by the risk assessment to increase their risk prediction when evaluating black defendants than white ones, leading to a 20.3% larger average increase for black than white defendants due the risk assessment. Moreover, participants were 36.4% more likely to deviate positively from the risk assessment and 21.5% less likely to deviate negatively from the risk assessment when evaluating black defendants.” GREEN, Ben; CHEN, Yiling.

Referências

• Acesse esse artigo no Conjur
• Dierle Nunes está entre os autores desse artigo