Artigo no Conjur

Desde novembro de 2022, a utilização de aplicações de inteligência artificial generativa (IA Gen), como o ChatGPT, para escrita se tornou um hábito na grande maioria das atividades e profissões. E na área do direito, isso não foi diferente.

Tal fenômeno se deu pela facilidade de uso destes sistemas de IA mediante plataformas com altíssimo grau de usabilidade e que requerem, em princípio, apenas a utilização de simples comandos (prompts) para alcançar respostas escritas que aparentam correção.

Ocorre que, atrelado a este fenômeno, se tornou comum sua utilização sem qualquer treinamento prévio que garantisse o conhecimento das potencialidades, juntamente com os riscos.

Neste artigo, tratarei especificamente sobre o problema delicado que vem se tornando cada vez mais comum na área do direito: as alucinações de IA, fenômeno em que um sistema de IA gera informações imprecisas, irreais ou fabricadas, apresentando-as como se fossem verdadeiras. [1] Tal problema vem sendo diagnosticado com recorrência mediante a percepção do uso em peças e decisões de julgados “inventados”.

Julgados inexistentes rende multa

Em 12 de maio de 2025, o STJ, no julgamento do REsp 2.207.929/MG (2025/0127144-4), o relator ministro Falcão reconheceu que a peça recursal continha referências a julgados inexistentes, possivelmente fabricadas por IA, sem a devida revisão pelo advogado subscritor. Diante da violação à boa-fé processual e à lealdade, foi aplicada multa de 5% sobre o valor atualizado da causa, com fundamento nos artigos 5º, 80, II, e 81 do CPC/2015, além da remessa de cópia da decisão à OAB/MG, nos termos do artigo 34, XIV, do Estatuto da Advocacia, para apuração de eventual infração disciplinar.

No dia 15 de maio, o “Valor” noticiou que o ministro Cristiano Zanin (STF) enviou ofício à OAB solicitando apuração sobre o uso indevido de IA em uma petição que citava decisões inexistentes do TST. A peça processual, com trechos gerados por IA, apresentava supostos precedentes qualificados que não foram encontrados. Zanin apontou possível má-fé e violação ao Estatuto da Advocacia. [2]

Nos EUA, dois escritórios de advocacia foram multados em US$ 31 mil por apresentarem à Justiça da Califórnia uma petição contendo citações jurídicas falsas geradas por IA, sem qualquer verificação. O juiz Michael Wilner destacou que 9 das 27 referências estavam erradas — incluindo decisões inexistentes — e advertiu para o risco real de tais conteúdos indevidos contaminarem decisões judiciais, reforçando a necessidade de forte campanha contra o uso negligente de ferramentas de IA na prática forense. [3]

Os casos narrados são apenas os mais recentes de uma chaga que vem se implementando às sombras da prática jurídica ao redor do mundo, desde 2023 [4], com a utilização de aplicações de IA generativa sem que advogados e juízes [5] possuam um treinamento adequado para sua utilização: a falta de letramento digital com a IA.

Respostas de IA não são exatas

Para início de análise, é preciso destacar que muitos desconhecem o fato de que as respostas geradas por modelos ou aplicações de IA são probabilísticas — e não necessariamente corretas —, pois se baseiam na identificação de padrões e correlações em grandes volumes de dados, sem garantir a veracidade ou precisão dos conteúdos produzidos. Por isso, é frequente a advertência de que tais ferramentas só devem ser utilizadas em contextos profissionais por quem detenha domínio técnico sobre o tema, sob pena de se deixar enganar pela aparência de plausibilidade das respostas geradas. Ou seja, toda a produção de IA deve ser rigorosamente supervisionada por um especialista humano. [6]

Obviamente que esta advertência não se aplica para o uso da máquina em questões simples. No entanto, no campo profissional jurídico e para questões mais sofisticadas é essencial um preparo adequado.

Para que advogados e juízes utilizem de forma eficaz e responsável os sistemas de IA baseados em linguagem natural para atuações mais sofisticadas, é essencial adotar práticas rigorosas de engenharia de prompt [7] que podem reduzir o risco de alucinações. A primeira medida preventiva é formular comandos com escopo bem delimitado e linguagem jurídica precisa, informando com clareza o tipo de peça ou manifestação desejada (petição, sentença, parecer, voto etc.), os fundamentos legais aplicáveis e os parâmetros argumentativos. Sempre que possível, o profissional deve fornecer o texto-base ou o excerto normativo/jurisprudencial que deseja que seja analisado ou expandido, evitando solicitar à IA que “busque” julgados ou dispositivos sem apresentar referência concreta.

Adicionalmente, recomenda-se evitar perguntas genéricas como “cite jurisprudência recente do STJ sobre simulação contratual”, substituindo-as por instruções mais seguras: “como advogado especializado na área processual reformule o argumento com base no julgado RESP N. X/MG, já citado no texto abaixo ou ora anexado”. A verificação humana posterior é indispensável: todo conteúdo gerado deve ser conferido quanto à existência e integralidade de citações legislativas e jurisprudenciais.

Pode-se também solicitar à IA que identifique possíveis inconsistências argumentativas ou erros materiais, mas jamais confiar cegamente na sua capacidade de localizar precedentes/julgados ou interpretar fatos complexos sem supervisão. Assim, o uso estratégico e criterioso da engenharia de prompt, aliado ao controle humano ativo, é o caminho mais seguro para incorporar a IA com responsabilidade na prática jurídica.

Busca de informações com cautela

As inovações trazidas mediante ferramentas de pesquisa profunda (deep research) por agentes de IA (como os do ChatGPT, Gemini ou Manus) podem ser utilizadas para obtenção de informações, mas com a cautela de buscar uma verificação mediante sua conferência nas fontes apresentadas.

A engenharia de prompt para mitigação de alucinações é um bom começo. No entanto, para reduzir as alucinações ainda pode exigir a adoção de estratégias que combinem supervisão humana qualificada e técnicas computacionais avançadas. A abordagem Human-in-the-Loop (HITL) tem se mostrado particularmente eficaz ao integrar especialistas no ciclo de vida da IA, desde a rotulagem e curadoria de dados até a revisão das respostas geradas, mitigando vieses e erros factuais. [8]

Em áreas sensíveis como o direito, a atuação humana é indispensável para garantir que as inferências automatizadas respeitem os limites normativos e contextuais. Práticas como o aprendizado por reforço com feedback humano (RLHF) e a revisão por especialistas têm sido amplamente utilizadas para aprimorar a precisão e a confiabilidade dos sistemas generativos. [9]

Além da intervenção humana direta, técnicas complementares vêm sendo aplicadas para aumentar a robustez das respostas. Entre elas, destaca-se a Retrieval-Augmented Generation (RAG), que associa os LLMs a bases externas de conhecimento para sustentar as respostas com dados verificáveis. [10] Também são relevantes a cadeia de verificação (Chain-of-Verification) e a modulação de parâmetros como a temperatura, que influencia o grau de criatividade e precisão das respostas. [11] Tais estratégias demonstram que, sobretudo no campo jurídico, a confiabilidade das aplicações de IA depende de estruturas que combinem controle técnico, curadoria humana e critérios epistemológicos rigorosos.

Há de se pontuar que vem se tornando recorrente no mundo inteiro a adoção de ferramentas de mercado, especialmente para o uso no direito, com a promessa de eliminação completa das alucinações.

Sistemas imunes a alucinações

No entanto, recente estudo da Universidade de Stanford [12] afastou a crença de que sistemas de IA criados para o direito nos EUA baseados em RAG seriam imunes a alucinações. Apesar das promessas publicitárias de que suas ferramentas eliminam ou evitam alucinações, a pesquisa empírica revelou que os sistemas continuam a produzir respostas incorretas ou mal fundamentadas com frequência relevante. Em testes controlados, as taxas de alucinação variaram entre 17% e 33% e, em alguns casos, os modelos associaram proposições jurídicas a fontes que não as sustentavam, mascarando o erro sob aparência de autoridade. Isso demonstra que a simples presença de links para decisões reais não garante correção ou aderência ao conteúdo citado, tornando tais erros ainda mais perigosos.

Além disso, o estudo evidenciou que os erros não se limitam à invenção de julgados inexistentes, mas incluíram falhas sutis como confundir as partes ou atribuir fundamentos determinantes errôneos a precedentes de tribunais superiores. Tais distorções são particularmente preocupantes em contextos de alta complexidade interpretativa, onde a compreensão precisa de precedentes é essencial. A promessa de ferramentas “livres de alucinação” cria uma falsa sensação de segurança e pode induzir operadores do direito a renunciar à verificação crítica dos resultados, em descompasso com seu dever ético de supervisão.

Outro estudo da Universidade de Yale [13] demonstra que a eliminação completa das alucinações, permanece — tanto em termos teóricos quanto práticos — uma impossibilidade estrutural, de modo que, mesmo com avanços tecnológicos, os LLMs continuarão propensos a produzir respostas falsas com aparência de plausibilidade. De modo que, em síntese, a confiabilidade plena dos LLMs, em especial para tarefas críticas como pesquisa jurídica, depende estruturalmente da presença de agentes humanos no ciclo de uso.

Diante disso, reforça-se a necessidade de letramento técnico-jurídico para o uso responsável da IA generativa no campo jurídico.

Escrita distante

Todos os aspectos acima apresentados, devem ser somados à percepção de Luciano Floridi sobre uma nova prática de geração de textos, que tende a atingir igualmente a elaboração no campo jurídico: a chamada escrita distante com IA. [14]

O conceito de escrita distante (distant writing), segundo o autor, refere-se a uma prática de criação de textos na qual o autor humano atua principalmente como designer narrativo, enquanto a produção textual efetiva é realizada por IA Gen. Diferente da autoria tradicional — ou “escrita próxima” —, o autor na escrita distante não é o redator direto do texto, mas sim o arquiteto das possibilidades narrativas: define os requisitos, limitações e potencialidades, dirige as respostas e realiza a curadoria do conteúdo gerado pela IA. Trata-se, portanto, não apenas de uma mediação tecnológica, mas de uma reconfiguração conceitual do que significa ser autor. [15]

Para o exercício desta nova meta-autoria, é essencial conhecer os limites e potencialidades da IA Gen em seus aspectos gerais, mas de cada aplicação a ser utilizada.

Todas as nuances expostas mostram a evidente percepção de que, em face da virada tecnológica do direito processual, vivenciamos uma tendência de mudanças profundas na prática jurídica atual pelo uso da IA Generativa e que seu uso exige retreinamento dos profissionais.

Letramento digital em IA

Daí nossa insistência de que nossas instituições (OAB, CNJ e Tribunais) se preocupem cada vez mais com o letramento digital em IA, evitando a oferta de ferramentas, mesmo que desenvolvidas internamente, [16] sem prévio treinamento dos usuários e sem que se invista, com seriedade, em monitoramento e governança.

É extremamente relevante que os advogados analisem as diretrizes para o uso ético da inteligência artificial generativa na prática jurídica, trazidos pela Recomendação nº 001/2024 do Conselho Federal da OAB, [17] pelos riscos de responsabilização pessoal e de seus clientes, e que juízes se inteirem dos ditames da Resolução 615/2025 CNJ, que estabelece diretrizes para o desenvolvimento, utilização e governança de soluções desenvolvidas com recursos de inteligência artificial no Poder Judiciário. [18]

Mas isto não basta: é imperativo se ter responsabilidade e buscar um treinamento contínuo, até pelo aprimoramento contínuo das aplicações e dos modelos.

Como ainda é arriscado depositar confiança irrestrita nos resultados apresentados pelas aplicações de IA, o que nos resta é adotá-las com o máximo cuidado.

Apesar de muitos insistirem que hoje elas seriam tão boas quanto os melhores experts da área do direito, prefiro continuar a tratar seus resultados como os apresentados por um profissional iniciante: com respeito, mas algum grau de desconfiança.

[1] NUNES, Dierle. IA generativa no Judiciário brasileiro: realidade e alguns desafios. ConJur. Disponível aqui

[2] ANGELO, Tiago. STF oficia OAB sobre suspeita de uso indevido de IA em petição. Valor Econômico, Brasília, 15 maio 2025. Aqui

[3] FUTURISM. Law Firms Caught and Punished for Passing Around “Bogus” AI Slop in Court: aqui.

[4] O primeiro caso noticiado foi o Roberto Mata v. Avianca Inc. Weiser, Benjamin. Here’s what happens when your lawyer uses ChatGPT. The New York Times, Nova York, 27 maio 2023: aqui.

[5] CNJ vai investigar juiz que usou tese inventada pelo ChatGPT para escrever decisão. ConJur. Aqui

[6] Sobre os dilemas da supervisão humana: NUNES, Dierle. A supervisão humana das decisões de inteligência artificial reduz os riscos? Aqui. NUNES, Dierle. IA generativa no Judiciário brasileiro: realidade e alguns desafios. Aqui

[7] A própria OPEN AI desenvolveu instruções simples para uma boa engenharia (construção) de prompts: aqui

[8] GOOGLE CLOUD. Human-in-the-loop. Disponível aqui

[9] Aqui

[10] SHAH, Deval. AI Hallucinations: What They Are and How to Reduce Them. Aqui

[11] PRIMER.AI. Chain-of-Thought as a Secret Weapon Against Hallucinations. Aqui

[12] MAGESH, Varun; et al. Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Journal of Empirical Legal Studies, 2025.: aqui.

[13] KARBASI, Amin et al. (Im)possibility of Automated Hallucination Detection in Large Language Models. Yale University, 2025. Disponível aqui

[14] FLORIDI. Distant Writing: Literary Production in the Age of Artificial Intelligence: aqui

[15] Cit.

[16] NUNES, Dierle. IA generativa no Judiciário brasileiro. Cit.

[17] Aqui

[18] Aqui

Referências

• Acesse esse artigo no Conjur
• Dierle Nunes está entre os autores desse artigo