Artigo no Conjur

O impacto do emprego da tecnologia é cada vez mais surpreendente. Chamou bastante atenção quando a empresa americana Target, em 2012, alcançou um novo nível de rastreamento (e predição) do comportamento de seus clientes, com a ajuda do estatístico Andrew Pole, ao identificar 25 produtos que, quando comprados juntos, indicavam que uma mulher estaria provavelmente grávida; com essa informação, gerava-se um automático envio de cupons (por bots) para a “gestante”, o que potencializou de modo impactante suas vendas. O espanto nesse caso se deu quando o pai de uma adolescente procurou a empresa enraivecido pelo fato de a filha ter recebido os cupons. No entanto, após um tempo, acabou pedindo desculpas ao constatar que a filha realmente estava grávida[1].

Do mesmo modo, algumas pessoas ainda se surpreendem com o fato de, após pesquisar sobre um produto no Google, serem, na sequência, bombardeados com informações dos mesmos, de modo a induzi-los à aquisição.

Igualmente chama cada vez mais atenção e preocupação o uso da tecnologia na deturpação de informações.

Os riscos jurídicos do emprego de tecnologia em decisões públicas transcendem muito nosso comportamento de consumo, na medida em que envolvem um perigo para a própria democracia pela possibilidade de controle de dados, indução de comportamentos, emprego de fake news[2], entre muitas outras formas. Alguns especialistas falam mesmo do risco de um “Estado totalitário digital” mediante um policiamento algorítmico.

E é exatamente essa a questão que esse breve texto deseja abordar: alguns riscos que o emprego da tecnologia gera para nossas relações sociais e a evidente omissão dos juristas em estudar o fenômeno que já afeta inúmeros países em seus processos políticos e no convívio em sociedade.

Utilizarei, para tanto, uma abordagem indireta dos problemas, trabalhando prioritariamente com exemplos estrangeiros, já que falar de nossas questões internas (brasileiras) costuma gerar irracionalidades contaminadas pelas emoções dos leitores e de seus enviesamentos cognitivos[3].

Recente filme lançado pelo canal HBO intitulado Brexit: the uncivil war mostra de modo bastante elucidativo a campanha do referendo ocorrido em 2016 que conduziu a Grã-Bretanha a se desligar da União Europeia e do modo como seu principal articulador, Dominic Cummings, se valeu das redes sociais e de especialistas para hackear comportamentos dos eleitores e mediante, precipuamente, o uso de emoções dos mesmos obter a vitória. Para quem duvida que possa ser iludido mediante micromarketing direcionado e que ocorre o hackeamento de eleições, basta ver a referida película.

Mas tal preocupação já chama atenção de uma série de estudiosos. Neudert pontua os riscos do uso de bots em propagandas eleitorais:

A batalha contra os robôs de propaganda é uma queda de braço para a nossa Democracia. É uma luta que podemos estar prestes a perder. Os bots — simples scripts de computador — foram originalmente projetados para automatizar tarefas repetitivas, como organizar o conteúdo ou realizar a manutenção da rede, poupando horas de tédio aos humanos. Empresas e meios de comunicação também usam bots para operar contas de mídia social, para alertar instantaneamente os usuários sobre as últimas notícias ou promover material recém-publicado. Mas eles também podem ser usados para operar um grande número de contas falsas, o que as torna ideais para manipular pessoas.[…] Os bots provaram ser uma das melhores maneiras de transmitir pontos de vista extremistas nas mídias sociais, mas também amplificar essas visões de outras contas genuínas, gostando, compartilhando, retweetando, ouvindo e seguindo, da mesma maneira que um humano faria. Ao fazer isso, eles estão jogando os algoritmos e recompensando as postagens com as quais interagiram, dando-lhes mais visibilidade[4].

Christina Larson ao falar do estado chinês, pontua:

A ideia de usar a tecnologia em rede como ferramenta de governança na China remonta pelo menos a meados da década de 1980. Como o historiador de Harvard, Julian Gewirtz, explica: “Quando o governo chinês viu que a tecnologia da informação estava se tornando uma parte da vida diária, percebeu que teria uma nova ferramenta poderosa para reunir informação e controlar cultura, para tornar o povo chinês mais ‘moderno’ e mais ‘governável’ — que têm sido obsessões perenes da liderança.” Avanços subseqüentes, incluindo o progresso na IA e processadores mais rápidos, aproximaram essa visão. Até onde sabemos, não existe um único plano mestre ligando tecnologia e governança na China. Mas há várias iniciativas que compartilham uma estratégia comum de coleta de dados sobre pessoas e empresas para informar a tomada de decisões e criar sistemas de incentivos e punições para influenciar o comportamento. Essas iniciativas incluem o “Sistema de Crédito Social” do Conselho de Estado de 2014, a Lei de Cibersegurança de 2016, vários experimentos em nível local e iniciativa privada em planos de “crédito social”, “cidade inteligente” e policiamento orientado por tecnologia na região oeste de Xinjiang. Geralmente envolvem parcerias entre o governo e as empresas de tecnologia da China. O mais abrangente é o Sistema de Crédito Social, embora uma tradução melhor em inglês possa ser o sistema de “confiança” ou “reputação”. […] Até a data, é um trabalho em andamento, embora vários pilotos prevejam como ele pode trabalhar em 2020, quando é suposto ser totalmente implementado. Listas negras são as primeiras ferramentas do sistema. Nos últimos cinco anos, o sistema de tribunais da China publicou os nomes de pessoas que não pagaram multas ou cumpriram os julgamentos. Sob novas regulamentações de crédito social, essa lista é compartilhada com várias empresas e agências governamentais. As pessoas na lista se viram impedidas de pedir dinheiro emprestado, reservar voos e ficar em hotéis de luxo. As empresas nacionais de transporte da China criaram listas negras adicionais para punir os passageiros por comportamento como: bloquear as portas dos trens ou escolher brigas durante uma viagem; os infratores são impedidos de compras futuras de ingressos por seis ou 12 meses. No início deste ano, Pequim estreou uma série de listas negras para proibir empresas “desonestas” de serem premiadas com futuros contratos governamentais ou concessões de terras. Alguns governos locais experimentaram “pontuações” de crédito social, embora não esteja claro se eles farão parte do plano nacional. A cidade de Rongcheng, no norte do país, por exemplo, atribui uma pontuação a cada um dos seus 740 mil moradores, informou a Foreign Policy. Todo mundo começa com 1.000 pontos. Se você doar para uma instituição de caridade ou ganhar um prêmio do governo, você ganha pontos; Se você violar uma lei de trânsito, como por dirigir bêbado ou em uma faixa de pedestres, você perde pontos. Pessoas com boas pontuações podem ganhar descontos em suprimentos para aquecimento no Inverno ou obter melhores condições em hipotecas; aqueles com resultados ruins podem perder o acesso a empréstimos bancários ou promoções em empregos públicos. A Prefeitura exibe cartazes de modelos locais, que exibiram “virtude” e obtiveram altas pontuações. “A ideia do crédito social é monitorar e administrar como as pessoas e instituições se comportam”, diz Samantha Hoffman, do Instituto Mercator de Estudos da China, em Berlim. “Quando uma violação é registrada em uma parte do sistema, ela pode acionar respostas em outras partes do sistema. É um conceito concebido para apoiar tanto o desenvolvimento econômico quanto a gestão social, e é inerentemente político”. Alguns paralelos com partes do modelo da China já existem nos EUA: uma contagem de crédito ruim pode impedi-lo de contrair empréstimos imobiliários, enquanto condenação criminal suspende ou anula seu direito de voto, por exemplo. “Mas eles não estão todos conectados da mesma maneira – não há um plano abrangente”, aponta Hoffman. Uma das maiores preocupações é que, como a China carece de um Judiciário independente, os cidadãos não têm como contestar alegações falsas ou imprecisas. Alguns encontraram seus nomes adicionados para viajar listas negras sem notificação após uma decisão judicial. Peticionários e jornalistas investigativos são monitorados de acordo com outro sistema, e as pessoas que entraram na reabilitação de drogas são vigiadas por um sistema de monitoramento diferente. “Teoricamente, os bancos de dados de usuários de drogas deveriam apagar nomes depois de cinco ou sete anos, mas eu vi muitos casos em que isso não aconteceu”, diz Wang da Human Rights Watch. “É imensamente difícil se livrar de qualquer uma dessas listas”[5].

E o nível de sofisticação no emprego da inteligência artificial para esses fins permite assim, claramente, a indução de comportamentos. Já tivemos oportunidade de comentar o fenômeno do enviesamento cognitivo (e seu desenviesamento) em obra recente acerca do Direito Processual e as decorrências da virada cognitiva a partir da década de 1970 ao descortinar a (ir)racionalidade de processos decisórios humanos provenientes dessas deturpações cognitivas (bias) e dos gatilhos de pensamento (heurísticas)[6]. No entanto, com o emprego das tecnologias, o nível de controle das massas em processos decisórios (por exemplo, eleitorais) foi guindado a novo patamar.

Como explica Svoboda ao comentar o emprego de consultores em neuropolítica no EUA:

Maria Pocovi desliza seu laptop para mim com a webcam ligada. Meu rosto olha de volta para mim, coberto por uma grade de linhas brancas que mapeiam os contornos da minha expressão. Ao lado está uma janela sombreada que rastreia seis “emoções centrais”: felicidade, surpresa, repugnância, medo, raiva e tristeza. Cada vez que minha expressão muda, uma barra de medição ao lado de cada emoção flutua, como se meus sentimentos fossem um sinal de áudio. Após alguns segundos, uma palavra verde em negrito pisca na janela: ANSIEDADE. Quando olho para Pocovi, tenho a sensação de que ela sabe exatamente o que estou pensando com um único olhar. Com um sorriso acolhedor, Pocovi, o fundador do Emotion Research Lab, em Valência, Espanha, é um empreendedor global por excelência.[…]. Mas a tecnologia que ela está me mostrando está na vanguarda de uma revolução política silenciosa. Campanhas ao redor do mundo estão empregando o Emotion Research Lab e outros profissionais de marketing versados em neurociência para penetrar os sentimentos não declarados dos eleitores. Nesta Primavera, houve um clamor generalizado quando os usuários americanos do Facebook descobriram que as informações que haviam publicado na rede social — incluindo gostos, interesses e preferências políticas — haviam sido exploradas pela empresa de seleção de eleitores Cambridge Analytica. Embora não esteja claro o quão efetivos eles são, os algoritmos da empresa podem ter ajudado a abastecer a vitória de Donald Trump em 2016. Mas para cientistas de dados ambiciosos como Pocovi, que trabalhou com importantes partidos políticos na América Latina em recentes eleições, a Cambridge Analytica, que fechou em Maio, estava atrás da curva. Ao aferir a receptividade das pessoas às mensagens de campanha, analisando dados digitados no Facebook, os consultores “neuropolíticos” de hoje dizem que podem prender os sentimentos dos eleitores observando suas respostas espontâneas: um impulso elétrico de uma região do cérebro, uma careta de fração de segundo ou um momento de hesitação enquanto eles refletem sobre uma questão. Os especialistas pretendem adivinhar a intenção dos eleitores de sinais que não sabem que estão produzindo. Os conselheiros de um candidato podem então usar esses dados biológicos para influenciar as decisões de voto[7].

O escândalo do vazamento de dados do Facebook[8] mostra, como Hill já comentou, “sim, todos podemos usar camisetas dizendo: ‘Eu também sou um rato de laboratório do Facebook’”[9], e isso deveria levar a nós, juristas, a começar a nos preocupar seriamente com todos esses fenômenos e suas evidentes decorrências jurídicas.

Em decorrência de todas as questões que abrangem o fenômeno, a virada tecnológica do Direito[10] deve ser uma grande preocupação dos estudiosos, em especial do Direito Público, e podem auxiliar na descoberta e criação de meios de accountability para a irracionalidade decisória em decisões públicas (como nos processos políticos) e o perigoso fortalecimento de pautas extremistas no mundo inteiro. Fica aqui o convite a todos a pesquisar e procurar entender essa peculiar nova quadra histórica que se descortina e seus enormes riscos. Estamos sendo todos hackeados e, quase certamente, várias de suas atuais “certezas” (por exemplo, no campo político) provocadas por nossas emoções[11] decorrem de suas bolhas algorítmicas (redes sociais) e do uso de informações que lhe são direcionadas com o propósito de gerar determinadas escolhas. Cuidado!

[1] DUHHIG, Charles. How Companies Learn Your Secrets. The New York Times. Disponível em: https://goo.gl/hj4Bj1 [2] “Brody e Meier definem notícias falsas como informações inconsistentes com a realidade factual” cf. A mathematical model captures the political impact of fake news. Disponível em: https://goo.gl/2Yx89j [3] NUNES, Dierle; LUD, Natanael; PEDRON, Flávio. Desconfiando da (im)parcialidade dos sujeitos processuais: Um estudo sobre os vieses cognitivos, a mitigação de seus efeitos e o debiasing. Salvador, Jus Podium, 2018. [4] NEUDERT, Lisa-Maria. Future elections may be swayed by intelligent, weaponized chatbots. Disponível em: https://goo.gl/dmRkAC [5] LARSON, Christina. Who needs democracy when you have data? MIT Technology review. Disponível em: https://goo.gl/QTBt93 [6] NUNES, Dierle; LUD, Natanael; PEDRON, Flávio. Desconfiando da (im)parcialidade dos sujeitos processuais: Um estudo sobre os vieses cognitivos, a mitigação de seus efeitos e o debiasing. Salvador, Jus Podium, 2018. [7] SVOBODA, Elizabeth. The “neuropolitics” consultants who hack voters’ brains. MIT Technology review. Disponível em: https://goo.gl/RPQtTC [8] https://goo.gl/Tw6ETE [9] https://www.forbes.com/sites/kashmirhill/2014/07/10/facebook-experiments-on-users/#1f8d7a0d1c3d [10] NUNES, Dierle; MARQUES, Ana Luiza Pinto Coelho. Inteligência artificial e direito processual: vieses algorítmicos e os riscos de atribuição de função decisória às máquinas. Revista de Processo, v. 285, nov./2018. [11] Cf. estudo: BOND, R. et al. A 61-million-person experiment in social influence and political mobilization, Nature. v. 489, p.295–298. Set./ 2012: Disponivel em: https://goo.gl/AGCY9o

Referências

• Acesse esse artigo no Conjur
• Dierle Nunes está entre os autores desse artigo