Algoritmos racistas: quando a inteligência artificial discrimina
Descubra como os algoritmos de IA podem discriminar e quais são as causas. Exemplos práticos e soluções para uma inteligência artificial mais justa.
Uma simples nota falsificada leva à prisão de Robert Williams. Um erro no software de reconhecimento facial da polícia de Detroit desencadeia um pesadelo kafkiano que revela como os algoritmos podem ser mais racistas do que os humanos que os programam.
É janeiro de 2020 quando Robert Williams é preso no jardim de sua casa, diante de sua esposa e filhas. A acusação? Ter roubado relógios de luxo de uma loja. O problema? Williams não tem nada a ver com aquele roubo. Quem o incriminou foi um algoritmo de reconhecimento facial que confundiu seu rosto com o do verdadeiro ladrão. Depois de uma noite na cadeia e horas de interrogatório, a polícia percebe o erro: Williams nem de longe se parece com a pessoa procurada.
"Este computador acha que todos os negros são parecidos?", pergunta Williams aos detetives, mostrando-lhes a foto do suspeito. Sua pergunta, aparentemente irônica, esconde uma verdade perturbadora: os algoritmos policiais se tornaram sistematicamente racistas.
O software que só vê pessoas brancas
A história de Williams não é um caso isolado, mas a consequência previsível de uma discriminação algorítmica que permeia os sistemas de segurança americanos. O reconhecimento facial, aquela tecnologia que consideramos neutra e objetiva, na verdade aprendeu a "ver" melhor algumas pessoas do que outras.
Os números são inequívocos: de acordo com o estudo "Gender Shades" do MIT, a taxa de erro para homens de pele clara é de 0,8%, enquanto para mulheres de pele escura sobe para 34,7%. Uma diferença de 40 vezes que se transforma em vidas arruinadas quando esses sistemas acabam nas mãos da polícia.
Joy Buolamwini, a pesquisadora do MIT que descobriu esse problema, vivenciou-o em sua própria pele: o software de reconhecimento facial do laboratório não conseguia reconhecer seu rosto. "Eu literalmente tinha que usar uma máscara branca para ser detectada", conta Buolamwini, que fundou a Algorithmic Justice League para combater essas discriminações.
A América dos algoritmos que preveem o crime
Mas o problema vai muito além do reconhecimento facial. Em muitas cidades americanas, algoritmos cada vez mais sofisticados são usados não apenas para identificar criminosos, mas para prever quem cometerá crimes futuros.
COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) é um desses sistemas. Baseado em 137 perguntas, o algoritmo atribui uma pontuação de risco aos detentos que influencia as decisões dos juízes sobre liberdade provisória, sentenças e liberdade condicional.
Uma investigação da ProPublica revelou que o COMPAS é sistematicamente enviesado: os negros classificados erroneamente como "de alto risco" eram quase o dobro dos brancos (45% contra 23%). Por outro lado, os brancos classificados erroneamente como "de baixo risco" eram quase o dobro dos negros (48% contra 28%).
O caso mais emblemático é o de Eric Loomis, preso em 2013. O juiz baseou sua sentença também na pontuação do COMPAS, mas Loomis nunca pôde saber como o algoritmo chegou àquela avaliação: a empresa produtora considera o algoritmo como propriedade.
Chicago e a lista dos futuros criminosos
Chicago deu um passo além: o Strategic Subject Algorithm compila uma "lista de calor" de 1.500 pessoas que, segundo o algoritmo, têm maior probabilidade de cometer crimes. As pontuações vão de 0 (baixo risco) a 500 (alto risco).
A lista permite que a polícia monitore constantemente os movimentos desses indivíduos e intervenha se fizerem "algo suspeito". O problema? 84% das pessoas na lista de Los Angeles (que usa um sistema similar) são afro-americanas ou latinas, numa cidade onde os afro-americanos representam apenas 9% da população.
Ainda mais inquietante: cerca de metade dessas pessoas nunca tinha sido presa por posse de armas e 10% nunca tinha tido contato com a polícia. Estão na base de dados apenas por uma previsão algorítmica. Isso levanta questões profundas sobre a vigilância preditiva e seus riscos.
PredPol: quando a matemática se torna racista
PredPol, usado em mais de 60 departamentos de polícia americanos, promete prever onde os crimes ocorrerão com precisão quase científica. O algoritmo analisa dados históricos de crimes e indica as "zonas quentes" onde concentrar as patrulhas.
O problema é que o PredPol acaba por perpetuar e amplificar a discriminação existente. Como funciona? O algoritmo aprende com dados históricos de prisões, mas sabemos que a polícia prende mais pessoas nos bairros das minorias étnicas. Isso leva o algoritmo a direcionar cada vez mais patrulhas para essas áreas, gerando mais prisões, que por sua vez "confirmam" a previsão do algoritmo.
É o que os especialistas chamam de "feedback loop discriminatório": o algoritmo replica e amplifica os preconceitos existentes, transformando-os em profecias autorrealizáveis.
Em cidades espacialmente segregadas como as americanas, até o endereço de casa se torna um indicador de etnia e renda. O PredPol pode, portanto, aprender a ser racista sem nunca utilizar explicitamente categorias como raça ou classe social.
O viés oculto nos dados
O problema na raiz é que os algoritmos aprendem com os nossos dados, e os nossos dados refletem as desigualdades da sociedade. Como explica um especialista: "Se você ensinar a uma criança por décadas que as pessoas negras devem ser maltratadas, essa criança crescerá seguindo esses ensinamentos. O mesmo vale para os algoritmos".
Os dados sobre crimes não são neutros: refletem decisões humanas sobre quem prender, onde patrulhar, o que considerar suspeito. Quando a polícia controla com mais frequência determinados bairros, obviamente encontrará mais crimes nessas zonas, mesmo que a taxa de criminalidade real seja semelhante em todos os lugares.
Um estudo demonstrou que os homens afro-americanos e hispânicos entre 14 e 24 anos representam apenas 5% da população americana, mas sofrem 41% dos controles policiais. 90% desses controles terminam com uma liberação por inocência. Mas, entretanto, esses jovens acabam nas bases de dados como "contatos com a polícia", alimentando os algoritmos preditivos. A ACLU documentou amplamente como essas práticas alimentam círculos viciosos de discriminação.
A Itália e o KeyCrime: uma abordagem diferente?
A Itália também tem o seu algoritmo de polícia preditiva: o KeyCrime, desenvolvido por Mario Venturi e utilizado pela Questura de Milão. Os resultados parecem positivos: os roubos a supermercados, lojas e farmácias caíram 57%.
Ao contrário dos softwares americanos, o KeyCrime utiliza muito mais dados pessoais, concentrando-se nos indivíduos em vez de apenas nas zonas geográficas. Como explica o próprio Venturi: "A coleta meticulosa dessas informações tem como objetivo identificar traços característicos do evento criminoso e, portanto, daquele que o cometeu".
No entanto, justamente essa abordagem mais invasiva levanta questões sobre privacidade e vigilância. Se os dados de treinamento contêm vieses, o KeyCrime também corre o risco de perpetuá-los.
As consequências legais da discriminação algorítmica
O problema da discriminação algorítmica está finalmente chegando aos tribunais. Em 2021, o Tribunal de Bolonha condenou o algoritmo "Frank" da Deliveroo por discriminação contra os entregadores, estabelecendo um precedente importante: pela primeira vez, um algoritmo foi considerado legalmente responsável.
Nos Estados Unidos, ações coletivas como a contra a Workday estão se multiplicando. A empresa é acusada de usar algoritmos que discriminam candidatos com base em raça, idade e deficiência nos processos de contratação. Isso destaca como a IA no futuro do trabalho pode criar novas formas de discriminação.
Nova York aprovou uma portaria revolucionária: os empregadores não podem usar "ferramentas automatizadas para decisões trabalhistas" sem que elas tenham passado por uma auditoria de vieses no último ano. É a primeira lei desse tipo nos Estados Unidos.
A Europa reage com o AI Act
A União Europeia respondeu com a AI Act, o primeiro regulamento abrangente sobre inteligência artificial do mundo. As novas regras incluem disposições específicas contra a discriminação algorítmica:
- Artigo 5: proíbe o uso de IA que possa criar discriminação injustificada, especialmente em processos decisórios que envolvem pessoas
- Artigo 10: impõe que os dados usados para treinar algoritmos sejam livres de vieses e representativos da população
Para sistemas de reconhecimento facial em locais públicos, o AI Act exige "procedimentos de avaliação mais rigorosos" e "autorizações que abordem os riscos específicos". Um passo importante em direção à regulamentação da inteligência artificial.
O custo humano do algoritmo racista
Por trás de cada estatística, há uma história humana. Robert Williams teve que explicar às suas filhas por que o pai havia sido preso. Ele perdeu um dia de trabalho, sofreu a humilhação da prisão pública e teve que enfrentar a ansiedade de um processo criminal.
Kylese Perryman, o jovem representado pela ACLU de Minnesota, viveu um pesadelo semelhante: preso e detido com base exclusivamente em uma identificação facial incorreta.
Estes não são "erros do sistema" ou "falsos positivos" aceitáveis. São vidas arruinadas por algoritmos que aprenderam os nossos preconceitos e os aplicam com a eficiência impiedosa das máquinas.
Como parar a discriminação algorítmica
A solução não é eliminar os algoritmos, mas torná-los mais justos. Os especialistas sugerem várias estratégias:
Diversificar as equipas de desenvolvimento: Incluir pessoas com diferentes origens para identificar preconceitos que poderiam passar despercebidos.
Melhorar os conjuntos de dados: Garantir que os dados de treino representem efetivamente toda a população, não apenas os grupos dominantes.
Auditorias independentes: Controlos externos regulares para identificar discriminações emergentes.
Transparência algorítmica: Tornar compreensíveis os critérios de decisão, pelo menos para quem sofre as suas consequências.
Supervisão humana: Manter sempre um controlo humano sobre as decisões críticas, especialmente no âmbito penal.
Controlo dos ciclos de feedback: Interromper os círculos viciosos que amplificam os preconceitos existentes.
O futuro da justiça algorítmica
Algumas empresas já tomaram posição. Após os protestos por George Floyd, a IBM retirou completamente a sua tecnologia de reconhecimento facial, declarando que "não fornecerá mais tecnologias de reconhecimento facial aos departamentos de polícia para vigilância em massa e perfilamento racial".
A Microsoft e a Amazon suspenderam temporariamente a venda destes sistemas às forças da ordem, à espera de uma regulamentação mais clara.
Mas o problema vai além das empresas individuais. Como sublinha Joy Buolamwini: "Não se trata apenas de corrigir algoritmos defeituosos, mas de enfrentar os problemas estruturais que esses defeitos põem em evidência".
Rumo a uma inteligência artificial mais justa
A inteligência artificial não é neutra: é um espelho que reflete os preconceitos, as desigualdades e as prioridades da sociedade que a cria. Os algoritmos racistas não são um bug do sistema, mas uma característica que emerge dos dados discriminatórios com que os treinamos.
O desafio não é criar uma IA "perfeitamente neutra" – objetivo provavelmente inatingível – mas desenvolver sistemas que promovam ativamente a equidade e a justiça. Isto exige:
- Reconhecimento do problema: Admitir que a discriminação algorítmica existe e é difundida
- Responsabilidade compartilhada: Programadores, empresas, instituições e sociedade civil devem trabalhar juntos
- Controle democrático: Os cidadãos devem ter voz sobre como esses sistemas são utilizados
- Justiça restaurativa: Quem sofreu discriminação algorítmica deve poder obter reparações
Como diz Robert Williams, o homem preso por engano em Detroit: "Se a tecnologia não consegue distinguir entre um negro e outro, talvez não deva ser usada pela polícia".
É uma lição que vai além da tecnologia: em uma sociedade democrática, as ferramentas de poder devem ser justas para todos, ou não deveriam existir.
A discriminação algorítmica não é uma fatalidade tecnológica. É uma escolha humana que podemos e devemos mudar. Como destacam os princípios da ética da inteligência artificial, devemos construir sistemas que respeitem a dignidade humana e promovam a equidade para todos.
Para se manter atualizado sobre esses temas cruciais, organizações como o AI Now Institute e a Partnership on AI publicam regularmente pesquisas e diretrizes para um desenvolvimento responsável da inteligência artificial.