Blackbox e manipulação de sistemas de IA na prática forense
O artigo aborda a crescente importância da inteligência artificial (IA) na prática forense, destacando tanto suas potencialidades quanto os riscos associados à manipulação ilegal de sistemas de IA. Os autores discutem a opacidade dos modelos de “caixa preta” e suas implicações para a transparência e a integridade das evidências, bem como a necessidade de respeitar normas éticas e legais ao utilizar esses sistemas. Por fim, enfatiza a importância de filtros robustos nos sistemas de IA para garantir a conformidade com os direitos fundamentais e o devido processo legal.
Artigo no Conjur
São cada vez mais intensas e controversas as discussões de como a inteligência artificial (IA) tem se tornado uma ferramenta essencial na prática forense, facilitando a resolução de crimes e a análise de evidências (Russell; Norvig, 2016). No entanto, surgem preocupações éticas e de segurança quando se tenta contornar os “filtros” internos de sistemas de IA, como o ChatGPT, para obter informações de forma ilegal. Este Op-Ed examina brevemente os riscos ocultos dessas práticas e como a opacidade dos modelos de “caixa preta” pode minar a confiança nas análises forenses.
As discussões sobre a utilização de modelos de IA já estão focadas na produção de decisões judiciais em matéria penal, ou seja, no debate sobre as (im)possibilidades de modelos de apoio à decisão penal. O Conselho Nacional de Justiça (CNJ) editou as Resoluções 332/2020 e 363/2021 e a Portaria 271/2020, regulamentando a pesquisa, o desenvolvimento e a implementação de Modelos nos Tribunais (Peixoto, 2020). No entanto, muitas iniciativas acontecem “fora do radar”, sem um mínimo de maturidade tecnológica, no “oba-oba” da aparente facilidade da inteligência artificial generativa.
Embora não proibida no domínio penal, a IA “não deve ser estimulada, sobretudo com relação à sugestão de modelos de decisões preditivas” (Resolução 332/2020, artigo 23). Confira a publicação sobre “O Manto de Invisibilidade do uso da Inteligência Artificial no Processo Penal” ler (aqui) pois, este artigo já chamava a atenção para a complexidade do tema e para a questão relevante e pouco problematizada do “uso” de prova adquirida por “Modelos de Inteligência Artificial” implementados pelos Órgãos de Investigação e de Controle, em desconformidade com as normas de transparência, produção, tratamento de dados e auditabilidade algorítmica.
Filtros
Os filtros internos são cruciais para impedir o uso mal-intencionado da IA protegendo a integridade dos dados e garantindo conformidade com normas legais e éticas (Floridi; Cowls, 2019). Esses filtros atuam como barreiras, evitando que informações sensíveis ou ilegais sejam acessadas ou manipuladas. A transparência desses filtros é essencial para manter a confiabilidade e a legitimidade das ferramentas de IA na prática forense (Goodman; Flaxman, 2017).
Qualquer uso de IA em contextos forenses deve respeitar as regras do jogo para evitar abusos e garantir a integridade das provas. No entanto, oportunistas operam sob o manto aparente da invisibilidade, mas deixam pegadas digitais que podem ser identificadas. Basta saber pedir as informações de acesso [logs, p.ex.].
Onde está o problema? Os modelos de “caixa preta” são frequentemente criticados pela falta de explicabilidade e transparência. Na prática forense tanto clareza quanto precisão são indispensáveis, razão pela qual a utilização desses modelos pode ser problemática (Doshi-Velez; Kim, 2017).
A incapacidade de explicar como um modelo de IA chegou a uma determinada conclusão compromete a integridade das análises forenses e a confiança pública nos resultados apresentados em tribunal (Lipton, 2018). Além disso, a utilização de modelos de IA por órgãos estatais sem a devida conformidade com normas de transparência e auditabilidade algorítmica impõe um sério risco à concretização de direitos fundamentais e ao devido processo legal.
A ausência de controle efetivo sobre a aquisição e o processamento de dados materializados em provas judiciais pode “legitimar” comportamentos oportunistas e abusivos, criando um “Manto da Invisibilidade” (Bierrenbach, 2021).
Contornar os filtros internos de sistemas de IA não só compromete a segurança, mas também a legalidade das operações forenses. Vamos além…a manipulação desses filtros pode levar a falhas graves na análise de evidências, prejudicando investigações e julgamentos. Além disso, tais práticas podem resultar em sanções legais severas e minar a confiança na aplicação da lei e na justiça (Mittelstadt et al., 2016).
A questão do “uso de prova”, por exemplo, já dito anteriormente, adquirida por “Modelos de Inteligência Artificial” implementados pelos Órgãos de Investigação e de Controle em desconformidade com a normativa do CNJ e da Lei Geral de Proteção de Dados (LGPD) ilustra bem os perigos envolvidos. O paradoxo se estabelece quando práticas vedadas internamente são aceitas externamente, criando um dualismo incoerente.
Em face do exposto, manter filtros robustos e transparentes nos sistemas de IA é essencial para proteger contra o uso ilegal e antiético dessas tecnologias na prática forense. A confiança nas análises forenses depende de um equilíbrio (…) de práticas éticas e de segurança no desenvolvimento de IA. Qual é o desafio?
O desafio é desenvolver IA que seja ao mesmo tempo poderosa e transparente, promovendo uma prática forense que respeite tanto a precisão quanto a ética (Rudin, 2019). Ao que tudo indica, a utilização responsável da IA alinha-se melhor com a proteção dos direitos fundamentais e o Devido Processo Legal.
___________________
Referências
Conselho Nacional de Justiça (CNJ). Resoluções 332/2020 e 363/2021.
DOSHI-VELEZ, F.; KIM, B. Towards a Rigorous Science of Interpretable Machine Learning. [ArXiv:1702.08608], 2017. Disponível em: https://arxiv.org/abs/1702.08608. Acesso em: 18 jul. 2024.
FLORIDI, L.; COWLS, J. et al. An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles, and Recommendations. Minds and Machines, v. 28, n. 4, p. 689-707, 2018. Disponível em: https://link.springer.com/article/10.1007/s11023-018-9482-5. Acesso em: 18 jul. 2024.
GOODMAN, B.; FLAXMAN, S. European Union Regulations on Algorithmic Decision-Making and a “Right to Explanation”. AI Magazine, v. 38, n. 3, p. 50-57, 2017. Disponível em: https://ojs.aaai.org/index.php/aimagazine/article/view/2741. Acesso em: 18 jul. 2024.
LIPTON, Z. C. The Mythos of Model Interpretability. Communications of the ACM, v. 61, n. 10, p. 36-43, 2018. Disponível em: https://dl.acm.org/doi/10.1145/3233231. Acesso em: 18 jul. 2024.
MITTELSTADT, B. D.; ALLAIRE, J. C.; TSAMADOS, A. The Ethics of Algorithms: Mapping the Debate. Big Data & Society, v. 3, n. 2, p. 2053951716679679, 2016. Disponível em: https://journals.sagepub.com/doi/full/10.1177/2053951716679679. Acesso em: 18 jul. 2024.
PEIXOTO, Fabiano Hartmann. “Referenciais Básicos”.
RUDIN, C. Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead. Nature Machine Intelligence, v. 1, n. 5, p. 206-215, 2019. Disponível em: https://www.nature.com/articles/s42256-019-0048-x. Acesso em: 18 jul. 2024.
RUSSELL, S.; NORVIG, P. Artificial Intelligence: A Modern Approach. 3. ed. Upper Saddle River: Prentice Hall, 2016.
BIERRNEBACH, Juliana. Manto da Invisibilidade. Consultor Jurídico, 2021. Disponível em: https://www.conjur.com.br/2022-jan-07/limite-penal-manto-invisibilidade-uso-ia-processo-penal.
Referências
Comunidade Criminal Player
Elabore sua melhor defesa com apoio dos maiores nomes do Direito Criminal!
Junte-se aos mais de 1.000 membros da maior comunidade digital de advocacia criminal no Brasil. Experimente o ecossistema que já transforma a prática de advogados em todo o país, com mais de 5.000 conteúdos estratégicos e ferramentas avançadas de IA.
Converse com IAs treinadas nos acervos de Aury Lopes Jr, Alexandre Morais da Rosa, Rodrigo Faucz, Gabriel Bulhões, Cristiano Maronna e outros gigantes da área. Explore jurisprudência do STJ com busca inteligente, análise de ANPP, depoimentos e muito mais. Tudo com base em fontes reais e verificadas.

Ferramentas de IA para estratégias defensivas avançadas
- IAs dos Experts: Consulte as estratégias de Aury Lopes Jr, Alexandre Morais da Rosa, Rodrigo Faucz, Gabriel Bulhões e outros grandes nomes por meio de IAs treinadas em seus acervos
- IAs de Jurisprudência: Busque precedentes com IAs semânticas em uma base exclusiva com mais de 200 mil acórdãos do STJ, filtrados por ministro relator ou tema
- Ferramentas para criminalistas: Use IA para aplicar IRAC em decisões, interpretar depoimentos com CBCA e avaliar ANPP com precisão e rapidez

Por que essas ferramentas da Criminal Player são diferentes?
- GPT-4 com curadoria jurídica: Utilizamos IA de última geração, ajustada para respostas precisas, estratégicas e alinhadas à prática penal
- Fontes verificadas e linkadas: Sempre que um precedente é citado, mostramos o link direto para a decisão original no site do tribunal. Transparência total, sem risco de alucinações
- Base de conhecimento fechada: A IA responde apenas com conteúdos selecionados da Criminal Player, garantindo fidelidade à metodologia dos nossos especialistas
- Respostas com visão estratégica: As interações são treinadas para seguir o raciocínio dos experts e adaptar-se à realidade do caso
- Fácil de usar, rápido de aplicar: Acesso prático, linguagem clara e sem necessidade de dominar técnicas complexas de IA

Mais de 5.000 conteúdos para transformar sua atuação!
- Curso Teoria dos Jogos e Processo Penal Estratégico: Com Alexandre Morais da Rosa e essencial para quem busca estratégia aplicada no processo penal
- Curso Defesa em Alta Performance: Conteúdo do projeto Defesa Solidária, agora exclusivo na Criminal Player
- Aulas ao vivo e gravadas toda semana: Com os maiores nomes do Direito Criminal e Processo Penal
- Acervo com 130+ Experts: Aulas, artigos, vídeos, indicações de livros e materiais para todas as fases da defesa
- IA de Conteúdos: Acesso a todo o acervo e sugestão de conteúdos relevantes para a sua necessidade

A força da maior comunidade digital para criminalistas
- Ambiente de apoio real: Conecte-se com colegas em fóruns e grupos no WhatsApp para discutir casos, compartilhar estratégias e trocar experiências em tempo real
- Eventos presenciais exclusivos: Participe de imersões, congressos e experiências ao lado de Aury Lopes Jr, Alexandre Morais da Rosa e outros grandes nomes do Direito
- Benefícios para membros: Assinantes têm acesso antecipado, descontos e vantagens exclusivas nos eventos da comunidade
Assine e tenha acesso completo!
- 75+ ferramentas de IA para estratégias jurídicas com base em experts e jurisprudência real
- Busca inteligente em precedentes e legislações, com links diretos para as fontes oficiais
- Curso de Alexandre Morais da Rosa sobre Teoria dos Jogos e Processo Penal Estratégico
- Curso Defesa em Alta Performance com Jader Marques, Kakay, Min. Rogério Schietti, Faucz e outros
- 5.000+ conteúdos exclusivos com aulas ao vivo, aulas gravadas, grupos de estudo e muito mais
- Fóruns e grupos no WhatsApp para discutir casos e trocar experiências com outros criminalistas
- Condições especiais em eventos presenciais, imersões e congressos com grandes nomes do Direito
Para mais detalhes sobre os planos, fale com nosso atendimento.
Quero testar antes
Faça seu cadastro como visitante e teste GRÁTIS por 7 dias
- Ferramentas de IA com experts e jurisprudência do STJ
- Aulas ao vivo com grandes nomes do Direito Criminal
- Acesso aos conteúdos abertos da comunidade
Já sou visitante
Se você já é visitante e quer experimentar GRÁTIS por 7 dias as ferramentas, solicite seu acesso.