Supervisão humana da IA é tarefa do juiz ou do Judiciário? Da Resolução CNJ nº 615/2025

Principais tópicos abordados no artigo “Supervisão humana da IA é tarefa do juiz ou do Judiciário? Da Resolução CNJ nº 615/2025”, de André Luiz Bäuml Tesser e Daniel Ribeiro Surdi de Avelar.

• Avanço da inteligência artificial no Direito: Análise da incorporação da IA à pesquisa jurídica, à redação de decisões e ao apoio à atividade jurisdicional, com destaque para a necessidade de preservar a autoridade e a independência do julgador.
• Supervisão humana como salvaguarda: Discussão sobre o AI Act europeu e a Resolução CNJ nº 615/2025, que estabelecem a supervisão humana como mecanismo de proteção dos direitos fundamentais e de controle do uso da tecnologia.
• Human-in-the-loop e human-in-the-loophole: Exame da diferença entre a supervisão humana efetiva e a presença meramente formal do juiz, que pode funcionar como uma brecha para transferir ao magistrado a responsabilidade por falhas sistêmicas da IA.
• Conceito de moral crumple zone: Aplicação da ideia de “zona de deformação moral”, segundo a qual o operador humano absorve as consequências de falhas de sistemas complexos, mesmo sem controlar sua arquitetura, dados, parâmetros ou funcionamento.
• Modelos de interação entre humanos e máquinas: Apresentação dos modelos human-in-the-loop, human-on-the-loop e human-in-command, com destaque para as diferenças entre intervenção no caso concreto, monitoramento sistêmico e comando institucional sobre o uso da tecnologia.
• Responsabilidade do magistrado segundo a Resolução CNJ nº 615/2025: Análise dos artigos 19 e 20, que preservam a responsabilidade do juiz pelas decisões e informações nelas contidas, exigindo orientação, interpretação, verificação e revisão dos resultados produzidos pela IA.
• Paradoxo da responsabilidade individual: Discussão sobre a necessidade de conciliar a autoridade final do magistrado com a natureza distribuída dos riscos decorrentes do desenvolvimento, contratação, configuração e monitoramento dos sistemas de inteligência artificial.
• Limites práticos da supervisão humana: Avaliação dos efeitos da sobrecarga de trabalho, da pressão por produtividade, da opacidade dos sistemas e da assimetria informacional sobre a capacidade real de o juiz revisar criticamente os resultados da IA.
• Viés de automação: Explicação da tendência de confiar excessivamente nas respostas de sistemas computacionais, especialmente quando seus resultados aparentam objetividade, neutralidade ou coerência formal.
• Satisficing e decisões suficientemente boas: Análise de como restrições de tempo e excesso de informação podem levar o julgador a aceitar uma solução apenas satisfatória, em vez de buscar a alternativa mais adequada ao caso concreto.
• Risco de desqualificação profissional: Debate sobre a possível erosão das competências jurídicas quando tarefas de pesquisa, síntese e redação são delegadas continuamente à IA, reduzindo a capacidade de fiscalização e correção da ferramenta.
• Letramento digital e capacitação contínua: Exame das exigências de formação previstas na Resolução CNJ nº 615/2025, incluindo os artigos 3º, VIII, 19, § 3º, I, e 20, III, como condições para uma supervisão humana efetiva.
• Formação além de advertências formais: Comparação com o caso State v. Loomis, destacando que simples avisos sobre a opacidade de algoritmos não são suficientes para modificar o comportamento decisório sem treinamento adequado.
• Impactos empíricos dos sistemas de avaliação de risco: Consideração de estudos que apontam supervisão humana seletiva e inconsistente, além da reprodução de vieses socioeconômicos e raciais por ferramentas utilizadas em decisões criminais.
• Interação entre tecnologia, instituições e comportamento humano: Demonstração de que erros e vieses não decorrem exclusivamente da máquina ou do juiz, mas da combinação entre modelo algorítmico, interface, incentivos institucionais, condições organizacionais e conduta dos operadores.
• Princípio da precaução no uso judicial da IA: Análise da opção do CNJ de proibir determinadas aplicações de alto risco, em vez de confiar exclusivamente na capacidade do magistrado de corrigir seus efeitos após a utilização.
• Proibição do perfilamento e da previsão criminal: Exame do artigo 10 da Resolução CNJ nº 615/2025, que veda o uso de traços de personalidade, características ou comportamentos para prever crimes, reiteração delitiva ou plausibilidade de direitos e testemunhos.
• Revisibilidade como condição de admissibilidade: Destaque para a proibição de sistemas que não permitam revisão humana dos resultados, tornando a possibilidade de controle um requisito para o próprio uso da ferramenta.
• Comparação com Compas, Hart e OxRec: Contraste entre a experiência brasileira e sistemas estrangeiros de avaliação de risco, nos quais a expectativa de que o juiz corrigisse individualmente os vieses algorítmicos apresentou limitações e resultados discriminatórios.
• Governança compartilhada da inteligência artificial: Proposta de deslocamento do foco da supervisão isolada do juiz para uma estrutura institucional capaz de distribuir o controle e a responsabilidade ao longo do ciclo de vida da tecnologia.
• Comitê Nacional de Inteligência Artificial do Judiciário: Análise dos artigos 15 e 16 da Resolução, que instituem um colegiado com competências de reclassificação de riscos, auditoria, monitoramento, capacitação e gestão da plataforma Sinapses.
• Avaliação de impacto algorítmico: Discussão sobre a exigência prevista para sistemas de alto risco, com publicidade das conclusões e ampliação do escrutínio sobre os impactos e possíveis efeitos adversos das ferramentas.
• Comunicação de eventos adversos: Exame do dever de informar incidentes ao Comitê Nacional em até 72 horas, transformando falhas identificadas no caso concreto em dados para correção, suspensão ou descontinuidade do sistema.
• Transição para o modelo human-in-command: Demonstração de como a Resolução CNJ nº 615/2025 combina a autoridade decisória do magistrado com estruturas institucionais de monitoramento e comando sobre a tecnologia.
• Prioridades para o aperfeiçoamento da governança: Indicação de três frentes principais: ampliar a capacitação sobre limitações e vieses da IA, garantir tempo efetivo para revisão das decisões e fortalecer auditorias periódicas e transparentes.
• Supervisão humana como propriedade institucional: Conclusão de que o controle da IA no Judiciário não deve depender apenas da responsabilização individual do juiz, mas de uma estrutura institucional que compartilhe o gerenciamento dos riscos tecnológicos.