Artigo no Conjur

Na atualidade, a percepção do uso da inteligência artificial (IA) na nossa vida se tornou um tema recorrente e, com ela, a necessidade de dimensionarmos os riscos de sua implementação.

Ao percebermos tal situação precisamos colocar em pauta o questionamento realizado por Zimmermann, Rosa e Kim, qual seja, “que responsabilidades e obrigações temos pelas consequências sociais da IA no presente?” [3].

Para um Estado democrático de Direito tal debate é essencial, pois a discussão do uso da IA deve levar em consideração seus avanços e potencialidades de melhoria para todos os cidadãos, mas ao mesmo tempo a necessidade de criarmos salvaguardas e princípios éticos que garantam que tais modelos de IA respeitem e garantam: a responsabilidade, a prestação de contas, a transparência, a redução das desigualdades e a potencialização dos seres humanos enquanto sujeitos de especial proteção.

Em assim sendo, os desafios que permeiam as novas tecnologias devem sempre ser monitorados, a partir de tais parâmetros normativos e referenciais éticos, a fim de nortear os caminhos que queremos traçar para a utilização e desenvolvimento do uso de uma IA responsável e sustentável.

Preocupações com princípios éticos se revelam primordiais e já são pauta comum na discussão em diversos países. Iniciativas como as diretrizes de G20, OCDE e do Projeto de Lei 21/2020 em trâmite no Congresso Nacional nos permitem refletir sobre potencialidades e riscos da IA [4], a fim de que estruturemos uma base normativa que busque controlá-la, sem impedir a inovação tecnológica.

Na área técnica, é comum a alusão de que devemos sempre respeitar os fundamentos do acrônimo FAT (fairness, accountability, transparency), como ideais norteadores de uma concepção legítima de seus conteúdos. Embora não haja consenso sobre em que consiste cada um dos três princípios, a Carta Europeia de ética sobre o uso de IA no sistema de justiça vem se apresentando como um dos mais conhecidos documentos sobre o tema [5], o qual, inclusive, no âmbito administrativo do Judiciário brasileiro, ganhou destaque por representar a base na formulação dos princípios explicitados, pelo Conselho Nacional de Justiça (CNJ), na Resolução n° 332/2020 e sua regulamentação [6], a Portaria n° 271/2020 [7].

No entanto, precisa ficar evidente que não bastará enunciar tais princípios éticos em normas sem verificar como dar-se-á sua implementação na modelagem de tais tecnologias e no controle de seu respeito. Assim sendo, o convite que aqui suscitamos é o de sondar como fazê-lo na prática.

De imediato, temos de afastar uma abordagem única e exclusivamente tecnocêntrica, ou seja, de crença de que apenas com medidas de mitigação de viés técnico (debiasing) conseguiremos prevenir toda a gama de danos relacionados à IA.

Ao pensarmos, por exemplo, numa métrica legítima de fairness precisamos pensar na dificuldade de traduzir uma concepção jurídica complexa (“justiça”) para uma ótica matemática. Ademais, é essencial uma abordagem multidisciplinar que leve a sério a percepção das próprias desigualdades presentes na nossa sociedade como um verdadeiro problema político a ser resolvido, sem limitar tais questões (e soluções) a entradas e saídas algorítmicas, com redução do problema social ao mero domínio do design pelos principais atores comerciais e desenvolvedores das tecnologias [8], que já possuem de modo inerente vantagens evidentes em relação aos usuários.

Essas medidas técnicas ou métricas vêm sendo indicadas por estudiosos para o alcance da concretização de fairness às aplicações de IA. Recentemente, relatório do European Digital Rights (EDRi), denominado “Beyond Debiasing: Regulating AI and it´s inequalities” [9], publicado em 21 de setembro, além de abordar atuais políticas para IA, discriminação e desigualdades estruturais, explicita métodos de fluxo de trabalho, a partir de determinadas “métricas de justiça” ou “métricas de polarização”, com o propósito de mitigar a injustiça e/ou discriminação criadas, a partir de sistemas de tomada de decisão. Para tanto, utilizam-se de três principais indicadores: a métrica estatística de grupo, a similaridade individual e as métricas causais.

O primeiro indicador, a métrica da justiça da estatística de grupo, depende da observação das diferentes inferências feitas pelos modelos de aprendizado de máquina para os vários grupos de amostras representativas de diferentes grupos de indivíduos [10]. A avaliação de vieses perpassa pela escolha das variáveis, atributos e dados sensíveis, como raça, gênero, idade, estado civil. Assim, uma das possibilidades seria avaliar as taxas de erro, precisão e acurácia por grupos diferenciados, a partir dos rótulos e proporções. Observar as probabilidades na obtenção de resultados positivos ou negativos para grupos diferentes, a partir da denominada “paridade demográfica” seria bastante relevante.

Inclusive, nessa perspectiva, os acadêmicos do Oxford Internet Institute Sandra Wachter, Brent Mittelstadt e Chris Russell [11] propuseram um novo teste com o propósito de garantir a justiça na modelagem algorítmica e nas decisões baseadas em dados, chamado Disparidade Demográfica Condicional (DDC). Utilizando-se da métrica de justiça DDC, enquanto média ponderada das disparidades demográficas para cada um dos subgrupos de avaliação, faz-se possível questionar se classes menos favorecidas possuem maior proporção de obtenção de resultados rejeitados (negativos) em relação à proporção de resultados aceitos (positivos). Assim, desenvolveram o SageMaker Clarify, que fornece aos desenvolvedores de software de aprendizado de máquina maior visibilidade aos dados de treinamento e modelos para que eles possam identificar e limitar preconceitos e explicar as previsões [12].

O segundo indicador tecnocêntrico de justiça, a similaridade individual, considera as diferenças entre os indivíduos de um mesmo grupo, o que pode ser relevante, uma vez que é possível que a métrica de paridade de grupo seja respeitada, porém, as especificidades de cada um não o sejam (como no caso de um banco que respeita a paridade estatística, conferindo percentagens iguais de empréstimos para o sexo masculino e feminino, porém escolhe, entre as mulheres, aquelas que possuem maior capacidade de adimplemento).

As métricas causais, ou de raciocínio causal, visam a ofertar análises sobre o contexto das decisões. Correlações exigem avaliações entre os atributos de um conjunto de dados e as saídas que reputamos aceitáveis ou não. Enquanto critério de justiça, respostas sem nexos de causa restam descaracterizadas em um regime democrático que deve primar pela explicabilidade e transparência das soluções.

A ideia central seria a de que, a partir das referidas métricas de fairness e do treinamento de um conjunto estruturado de dados imparcial, o problema dos vieses no modelo, além de ser abordado, provavelmente, seria potencialmente solucionado.

Embora não desconsiderarmos a necessidade da oferta de métricas, parâmetros e critérios de aplicação para o uso e desenvolvimento ético de modelos de IA (um avanço que deve ser levado em consideração), sabemos que as tentativas de ofertar respostas coerentes, preocupadas com o senso de fainess nas aplicações de IA, não dependem apenas de medidas técnicas para mitigar os danos potenciais, uma vez que enfrentamos problemas graves de desequilíbrio de poderes entre aqueles que desenvolvem ou implantam a tecnologia e aqueles que estão sujeitos a ela.

O mesmo relatório europeu mencionado critica a abordagem “tecnocrática” da União Europeia na regulamentação da IA, o Artificial Intelligence Act (AIA), publicado em abril deste ano [13]. Abordagens baseadas no risco para a escolha de regulamentação de determinado campo por IA por meio do estabelecimento de autoavaliações, procedimentos de transparência e vários padrões técnicos são importantes, mas não bastam por si só.

A eliminação do conjunto de dados reconhecido pelas métricas de fairness como discriminatórios não garante que os sistemas futuros estejam livres dos vieses (erros). Abordagens tecnocêntricas não levam em conta as necessidades variadas da complexidade humana, com a devida consideração dos diversos anseios das partes interessadas do sistema.

A efetividade de proteção democrática exige que os formuladores de políticas não simplesmente “reduzam os problemas sociais, políticos e econômicos complexos a questões meramente técnicas de qualidade de dados, cedendo poder e controle significativos sobre uma série de questões para empresas de tecnologia no processo” [14].

Afinal, do mesmo modo que não podemos nos limitar a enunciar princípios éticos em normas, que não são traduzíveis em boas práticas, a questão não deve ser igualmente reduzida em como as técnicas e métricas de fairness serão aplicadas, pois se queremos que a própria IA seja aplicada em determinado contexto específico, para determinadas decisões sensíveis, precisamos sopesar sob quais riscos, benefícios e consequências sociais.

Esse é um debate sério e urgente. As tecnologias são irrefreáveis e cabe aos juristas participar dele com a devida compreensão da complexidade e responsabilidade que o tema exige de nós.

[1] NUNES, Dierle; MARQUES, Ana Luiza Pinto Coelho. Inteligência artificial e direito processual: vieses algorítmicos e os riscos de atribuição de função decisória às máquinas. Revista de Processo, v.285, nov./2018. BURRELL, Jenna. How the machine 'thinks': Understanding opacity in machine learning algorithms. Big Data & Society. 06 de jan. de 2016.

[2] SUNSTEIN, Cass R. et.al. Discrimination in the age of algorithms. NBER working paper series. Massachusetts, February 2019. Disponível em: https://www.nber.org/papers/w25548.pdf Acesso em: 05 out.2021. O´NEIL, Cathy. Weapons of math destruction: how big data increases ineqality and threatens democracy. New York: Crown Publishers, 2016.

[3] ZIMMERMANN, Annette; DI ROSA, Elena; HOCHAN, Kim. Technology Can't Fix Algorithmic Injustice. Disponível: https://bostonreview.net/science-nature-politics/annette-zimmermann-elena-di-rosa-hochan-kim-technology-cant-fix-algorithmic#.XhhdVQd7yaY.linkedin Acesso em 06 out. 2021.

[4] SALOMÃO, Luis Felipe (coord.). Marco legal da Inteligência Artificial: nota técnica sobre o Projeto de Lei 21/2020. Rio de Janeiro: FGV conhecimento – Centro de inovação, administração e pesquisa do Judiciário, 2021. Disponível em: https://ciapj.fgv.br/sites/ciapj.fgv.br/files/ciapj_fgv_notatecnica_ia.pdf Acesso em 06 out. 2021.

[5] COMISSÃO EUROPEIA. Carta Europeia de Ética sobre o Uso da Inteligência Artificial em Sistemas Judiciais e seu ambiente. Estrasburgo, 3 dez. 2018. Disponível em: https://rm.coe.int/carta-etica-traduzida-para-portugues-revista/168093b7e0#_ftn12 Acesso em: 05 out. 2021.

[6] BRASIL. Conselho Nacional de Justiça. Resolução n. 332 de 21 de agosto de 2020. Dispõe sobre a ética, a transparência e a governança na produção e no uso de Inteligência Artificial no Poder Judiciário e dá outras providências. Brasília: DJe/CNJ, nº 274, de 25/08/2020. Disponível em: https://atos.cnj.jus.br/files/original191707202008255f4563b35f8e8.pdf Acesso em: 05 out. 2021.

[7] BRASIL. Conselho Nacional de Justiça: Portaria nº 271 de 04 de dezembro de 2020. Regulamenta o uso de Inteligência Artificial no âmbito do Poder Judiciário. Brasília: DJe/CNJ nº 393/2020, de 14/12/2020. Disponível em: https://atos.cnj.jus.br/files/original234208202012155fd949d04d990.pdf Acesso em 05 out. 2021.

[8] Nesse sentido, vide: AI cannot be regulated by technical measures alone, disponível em: https://www-computerweekly-com.cdn.ampproject.org/c/s/www.computerweekly.com/news/252507021/AI-cannot-be-regulated-by-technical-measures-alone?amp=1 Acesso em 06 out. 2021.

[9] BALAYN, Agathe Balayn, GÜRSES, Sede. Beyond Debiasing: Regulating AI and it´s inequalities. European Digital Rights (EDRi), 2021.

[10] Op.cit, p. 41.

[11] WACHTER, Sandra, MITTELSTADT, RUSSELL, Chris. Why Fairness Cannot Be Automated: Bridging the Gap Between EU Non-Discrimination Law and AI. Cornell University, 2020, disponível em: https://arxiv.org/abs/2005.05906 Acesso em 06 out. 2021.

[12] Vide em: https://aws.amazon.com/pt/sagemaker/clarify/ Acesso em 06 out. 2021.

[13] Cf. https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52021PC0206.

[14] Nesse sentido, vide: AI cannot be regulated by technical measures alone, disponível em: https://www-computerweekly-com.cdn.ampproject.org/c/s/www.computerweekly.com/news/252507021/AI-cannot-be-regulated-by-technical-measures-alone?amp=1 Acesso em 06 out. 2021.

Referências

• Acesse esse artigo no Conjur
• Dierle Nunes está entre os autores desse artigo