Artigo no Conjur

O avanço das tecnologias de inteligência artificial (IA) levanta uma série de desafios éticos e jurídicos sobre os processos decisórios inerentes a esses modelos. Questões como a responsabilização, a compreensão, o controle e a auditoria relativas às decisões tomadas por máquinas inteligentes permeiam o debate público acerca da aceitação e regulação dessas novas ferramentas.

Tal opacidade é irrelevante quando a ausência de explicação não traz riscos ao ser cumprida a funcionalidade da IA, como v.g. nos modelos de desbloqueio de telas de celulares, eis que nos basta saber se ele desbloqueia a tela ao se deparar com nossa biometria e não o faz diante de outro usuário.

Imagine-se, no entanto, o caso de um carro autômato controlado por IA que atropela um pedestre. Ou de um robô que produz julgamentos enviesados e propaga comentários racistas. Assim como ocorre nos erros humanos, será necessário adentrar a esfera das decisões para definir a culpabilidade das ações. Todavia, se um modelo de IA não é suficientemente acessível ou claro a respeito dos procedimentos e operações que o levaram a determinada decisão, isso pode dificultar a investigação e até mesmo a responsabilização nos casos em que a IA comete ou contribuiu para cometer uma infração.

A constatação de que os computadores não explicam suas previsões e de que isso seria uma barreira para a adoção do aprendizado de máquina nos leva a refletir sobre como dotar os sistemas de IA de ferramentas ou interfaces que lhes permitam explicar, ou pelo menos expor de maneira simplificada, seu processo decisório. A isso tem se chamado “explicabilidade”, característica ou funcionalidade de um modelo algorítmico, que nos permite compreender melhor os detalhes e motivos por trás do seu funcionamento [1] .

Como ocorre com as explicações em outras áreas do conhecimento, o entendimento dos processos internos da IA precisa se valer de representações comunicáveis, como, por exemplo, sentenças linguísticas ou lógicas, simplificações de expressões matemáticas e esquemas visuais. Enquanto a opacidade produz uma “caixa preta”, que limita a compreensão humana acerca das decisões de um sistema de IA, a explicabilidade criaria o contrário, ou seja, uma “caixa de vidro” que permite entender adequadamente os processos internos por trás de uma decisão algorítmica.

Partindo do conceito de explicabilidade, criou-se o termo explainable artificial intelligence (XAI), que pode ser traduzido como “inteligência artificial explicável”, assim descrita por Gunning, pesquisador e ex-diretor da Defense Advanced Research Projects Agency (Darpa):

“A XAI criará um conjunto de técnicas de aprendizado de máquina que permitirá que os usuários humanos entendam, confiem de forma adequada e gerenciem com eficácia a geração emergente de parceiros com inteligência artificial” [2].

Arrieta et al. esclarecem que não se deve confundir e intercambiar os termos “interpretabilidade” e “explicabilidade” [3]. A primeira tem a ver com “transparência”, e diz respeito a uma característica “passiva” de um sistema, referindo-se ao nível no qual determinado modelo faz sentido para um observador humano. A última, em contraste, deve ser vista como uma característica ativa do modelo, revelando um processo realizado intencionalmente para esclarecer ou detalhar as funções de seu algoritmo. Ou seja, enquanto a interpretabilidade seria a capacidade de um sistema ser compreendido, a explicabilidade está ligada a uma noção de fornecer, ativamente, uma interface através da qual o raciocínio de um sistema é compreendido pelo ser humano.

Nos últimos anos, a necessidade de se interpretar as ações dos sistemas de inteligência artificial tem ficado cada vez mais evidente. Isso porque a alta performance e as “façanhas” das mais diversas IAs têm suscitado preocupações sobre transparência e a confiabilidade destes sistemas. Tais preocupações são potencializadas pela detecção de vieses e preconceitos em alguns algoritmos, no contexto de uma sociedade cada vez mais preocupada com questões raciais, igualdade de gênero e diversidade [4].

A explicação das decisões auxiliadas por IA traz benefícios significativos, tanto para a sociedade como para as empresas que detêm ferramentas algorítmicas. No âmbito empresarial, a explicabilidade garante, por exemplo, a melhoria da conformidade legal das ferramentas utilizadas, reduzindo os riscos jurídicos associados ao descumprimento de normas regulatórias sobre IA [5].

De igual forma, a explicabilidade é de importância fundamental para os indivíduos e para a sociedade. Primeiro, porque o maior conhecimento público acerca dos processos algorítmicos possibilita um debate mais instruído e consciente sobre a adoção e o desenvolvimento das novas tecnologias. Em segundo lugar, porque ela permite a otimização das decisões de inteligência artificial, ajudando a mitigar resultados discriminatórios e a eliminar vieses de modelos algorítmicos [6].

Alguns pesquisadores defendem que, com a emergência das novas tecnologias e a penetração cada vez maior dos sistemas de apoio de decisão de IA na sociedade, a explicabilidade deveria ser condição sine qua non para a legitimação de tais decisões. Neste sentido, ressalta Villani:

“No longo prazo, a explicabilidade dessas tecnologias é uma das condições de sua aceitação social. (…) De fato, sem a possibilidade de explicar as decisões tomadas pelos sistemas autônomos, parece difícil justificá-las. Mas como aceitar o injustificável em áreas tão decisivas para a vida de um indivíduo quanto o acesso ao crédito, emprego, moradia, justiça ou saúde? Parece inconcebível” [7].

A explicabilidade, portanto, traz uma série de benefícios a usuários, desenvolvedores e à sociedade de modo geral, sobretudo no atual contexto de “digitalização da vida”, em que os algoritmos têm um grande volume de dados à sua disposição e enorme capacidade de influenciar condutas individuais e estruturar o campo das ações possíveis.

Muito se tem debatido acerca do direito de um cidadão ou da sociedade obter informações mais completas sobre as resoluções de um modelo de IA. Se parte da doutrina defende que as leis assegurem e façam valer uma espécie de “direito à explicação”, há também quem entenda que tal proteção seria desnecessária e poderia retardar a inovação. Estes últimos argumentam que haveria custos altíssimos para se explicar alguns algoritmos complexos, e que mesmo assim a interpretação fornecida poderia ser insatisfatória em alguns casos. Tais custos, dizem estes, colocam restrições desnecessárias ao desenvolvimento da inteligência artificial, sufocando uma série de benefícios sociais e econômicos da tecnologia [8].

Apesar das críticas à explicabilidade, o Regulamento Geral sobre a Proteção de Dados da União Europeia (GDPR-EU), aprovado em 2016 e em vigor desde 2018, incluiu algumas garantias sobre o direito do cidadão à explicação, como artigos que asseguram, ao usuário, detalhes sobre como seus dados foram tratados por sistemas automatizados. Analisadas em conjunto, essas e outras garantias vêm sendo chamadas por alguns autores de “direito à explicação” [9]. Assim, qualquer decisão que utilize modelos algorítmicos para realizar uma avaliação automatizada dos dados de um indivíduo, gerando efeitos jurídicos a seu respeito, deveria ser explicada, ao menos razoavelmente, ao titular desse direito, possibilitando também que este conteste a decisão. Na prática, isso poderia ser aplicado, v.g., aos casos em que um sistema recusa o crédito online ou seleciona, de forma autômata, um candidato a uma vaga de emprego.

Alguns avanços normativos vêm contribuindo para consolidar e expandir tais garantias. Em abril deste ano, a União Europeia revelou um projeto de regras bem mais detalhado para regular a aplicação da IA exigindo dos desenvolvedores uma espécie de “manual” sobre o funcionamento do sistema, como a descrição das etapas de funcionamento do algoritmo e o detalhamento de impactos potencialmente discriminatórios [10].

Na legislação brasileira, destaca-se o recente ingresso do tema no contexto regulatório nacional em 2020, através da Resolução nº 332 do Conselho Nacional de Justiça (CNJ), que determinou, em seu artigo 5º, inciso VI, o “fornecimento de explicação satisfatória e passível de auditoria por autoridade humana”, consolidando a explicabilidade como elemento constitutivo da transparência dos sistemas de inteligência artificial.

Dessa forma, é possível perceber a entrada do tema da explicabilidade da IA no contexto regulatório, muito embora ainda haja pouca especificação a respeito do assunto, particularmente no que diz respeito ao grau informacional que o indivíduo deve receber, bem como às sanções aplicáveis nos casos em que o direito à explicação é desrespeitado.

No entanto, nos parece que ainda resta a percepção de que a explicabilidade possa, em face das ampliações dos usos da IA como uma tecnologia de propósito geral que possa colocar em risco direitos fundamentais dos cidadãos, ser defendida como um evidente corolário da cláusula do devido processo legal (artigo 5º, LIV, CRFB/88).

Desde seu advento no decreto de 28 de maio de 1.037, editado pelo imperador romano-germânico Conrado II, denominado Edictum De Beneficiis Regni Italici, e na Magna Carta de 1215 [11], em seu capítulo 39 [12], que legitima o termo due process of the land ou per legem terrae, como um acordo formal embasado na negociação de interesses privados e de domínio eminente do estado [13], passando por sua enorme evolução como cláusula ampla de controle de atos decisórios do Estado e do particular (eficácias vertical e horizontal), o devido processual sofreu um constante aprendizado e ampliação com o intuito de servir como preciosa norma fundamental de controle do exercício de poderes.

E ao se perceber que a tomada de decisão algorítmica e os sistemas de suporte à decisão estão sendo implantados em muitos domínios de alto risco, desde a Justiça criminal, decisões de emprego até pontuação de crédito, mecanismos de acesso às escolas, assistência médica e avaliações de elegibilidade a benefícios públicos, torna-se imperativa a necessidade de uma ampliação das preocupações jurídicas, pois a IA já está entre nós, trabalhando nos bastidores de muitos de nossos sistemas sociais [14].

No âmbito das decisões sensíveis, o exercício do poder algoritmico, como nova modalidade de exercício de poderes, clama pela explicabilidade e pela transparência algorítimica como continentes do devido processo legal tecnológico, de modo a exigir que aos cidadãos sejam concedidas a possibilidade de controle deste exercício opaco de decisões que podem atingir de modo muito delicado sua esfera de direitos e que merece do jurista cada vez mais atenção.

Feitas essas considerações, acreditamos que a explicabilidade pode ajudar a identificar vieses, determinar responsabilidades e tornar os sistemas mais confiáveis e seguros. Os primeiros artigos e experimentos sobre explicabilidade surgiram, de forma incipiente, nas décadas de 1960 e 1970, e o avanço dos estudos nessa área tem possibilitado gradativamente o desenvolvimento de princípios e abordagens para facilitar a interpretação dos modelos de IA. Todavia, com o passar do tempo os algoritmos também se tornaram mais complexos, processando maiores volumes de dados em camadas de processamento cada vez mais profundas e numerosas, o que dificulta a tarefa de interpretá-los.

Dessa forma, há de se perceber que o desenvolvimento de uma melhor compreensão sobre o funcionamento dos sistemas de IA pode subsidiar o debate público sobre a conformação das novas tecnologias à ordem democrática, colaborando na regulação das ferramentas existentes e na definição de parâmetros éticos e legais para o design das que ainda estão por vir. Portanto, é extremamente importante pautar a discussão sobre explicabilidade no campo técnico e jurídico, considerados o crescente impacto da inteligência artificial na sociedade e as inúmeras implicações éticas e jurídicas que sua aplicação acarreta.

[1] MOLNAR, Christoph. Interpretable Machine Learning. A Guide for Making Black Box Models Explainable. 2021.

[2] GUNNING, David. Explainable Artificial Intelligence (XAI) Darpa/I2O. Defense Advanced Research Projects Agency, 2016.

[3] ARRIETA, Alejandro; et.al. Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Information Fusion Volume 58, p. 82-115, 2020.

[4] NUNES; MARQUES, Ana L. Inteligência artificial e direito processual: vieses algorítmicos e os riscos de atribuição de função decisória às máquinas. RePro, v. 285/2018.

[5] INFORMATION COMMISSIONER’S OFFICE & ALAN TURING INSTITUTE, 2020, p. 16.

[6] Cit. p. 17.

[7] VILLANI, Cédric. Donner uns sens à li’intelligence artificielle: pour une stratégie nationale et européenne. 2019. p. 141-142.

[8] KOZYRKOV, Cassie. Explainable AI won’t deliver. Here’s why. Hackernoon. 2018.

[9] GOODMAN, Bryce; FLAXMAN, Seth. European Union Regulations on Algorithmic Decision-Making and a “Right to Explanation”. AI Magazine 38(3), p. 50-57.

[10] COMISSÃO EUROPEIA. A definition of Artificial Intelligence: main capabilities and scientific disciplines. High-Level Expert Group on Artificial Intelligence. 2019.

[11] WOLFGANG, Egger. Monumenta Germaniae Historica: Constitutiones et Acta Publica Imperatorum et Regum. Hahnsche Buchhandlung: Hannover, 2003, p. 89-91.

[12] Cf. MILLER, Charles A. The forest of due process of law: the American constitutional tradition. Nomos, v. 18. p. 3-68, 1977, p. 4..

[13] BASTIANETTO, Lorena Machado Rogedo; NUNES, Dierle. Democracia processual sem constituição: Análise do devido processo legal internacional. Salvador: Juspodivm, 2022. (no prelo)

[14] Cf. ZIMMERMANN, Annette; DI ROSA, Elena; KIM, Hochan. Technology Can’t Fix Algorithmic Injustice. Boston Review. http://bostonreview.net/science-nature-politics/annette-zimmermann-elena-di-rosa-hochan-kim-technology-cant-fix-algorithmic.

Referências

• Acesse esse artigo no Conjur
• Dierle Nunes está entre os autores desse artigo