Algoritmos racistas: cuando la inteligencia artificial discrimina
Descubre cómo los algoritmos de IA pueden discriminar y sus causas. Ejemplos prácticos y soluciones para una inteligencia artificial más justa.
Un simple billete falso lleva al arresto de Robert Williams. Un error del software de reconocimiento facial de la policía de Detroit desencadena una pesadilla kafkiana que revela cuánto los algoritmos pueden ser más racistas que los humanos que los programan.
Es enero de 2020 cuando Robert Williams es arrestado en el jardín de su casa, frente a su esposa e hijas. ¿La acusación? Haber robado relojes de lujo de una tienda. ¿El problema? Williams no tiene nada que ver con ese robo. Lo incriminó un algoritmo de reconocimiento facial que confundió su rostro con el del verdadero ladrón. Después de una noche en la cárcel y horas de interrogatorio, la policía se da cuenta del error: Williams ni siquiera se parece remotamente a la persona buscada.
"¿Esta computadora cree que todos los negros se parecen?", pregunta Williams a los detectives mostrándoles la foto del sospechoso. Su pregunta, aparentemente irónica, esconde una verdad inquietante: los algoritmos policiales se han vuelto sistemáticamente racistas.
El software que solo ve a los blancos
La historia de Williams no es un caso aislado, sino la consecuencia predecible de una discriminación algorítmica que impregna los sistemas de seguridad estadounidenses. El reconocimiento facial, esa tecnología que consideramos neutral y objetiva, en realidad ha aprendido a "ver" mejor a algunas personas que a otras.
Los números son inequívocos: según el estudio "Gender Shades" del MIT, la tasa de error para los hombres de piel clara es del 0,8%, mientras que para las mujeres de piel oscura sube al 34,7%. Una brecha de 40 veces que se convierte en vidas arruinadas cuando estos sistemas caen en manos de la policía.
Joy Buolamwini, la investigadora del MIT que descubrió este problema, lo experimentó en carne propia: el software de reconocimiento facial del laboratorio no podía reconocer su rostro. "Tenía que usar literalmente una máscara blanca para ser detectada", cuenta Buolamwini, quien fundó la Algorithmic Justice League para combatir estas discriminaciones.
La América de los algoritmos que predicen el crimen
Pero el problema va mucho más allá del reconocimiento facial. En muchas ciudades estadounidenses, algoritmos cada vez más sofisticados se utilizan no solo para identificar criminales, sino para predecir quién cometerá delitos en el futuro.
COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) es uno de estos sistemas. Basado en 137 preguntas, el algoritmo asigna una puntuación de riesgo a los reclusos que influye en las decisiones de los jueces sobre libertad provisional, sentencias y libertad vigilada.
Una investigación de ProPublica reveló que COMPAS está sistemáticamente sesgado: los negros clasificados erróneamente como "de alto riesgo" eran casi el doble que los blancos (45% frente a 23%). Por el contrario, los blancos clasificados erróneamente como "de bajo riesgo" eran casi el doble que los negros (48% frente a 28%).
El caso más emblemático es el de Eric Loomis, arrestado en 2013. El juez basó su sentencia también en la puntuación COMPAS, pero Loomis nunca pudo saber cómo el algoritmo había llegado a esa evaluación: la empresa productora considera que el algoritmo es de su propiedad.
Chicago y la lista de futuros criminales
Chicago dio un paso más allá: el Strategic Subject Algorithm compila una "lista de calor" de 1.500 personas que, según el algoritmo, tienen mayores probabilidades de cometer delitos. Las puntuaciones van de 0 (bajo riesgo) a 500 (alto riesgo).
La lista permite a la policía controlar constantemente los movimientos de estos individuos e intervenir si hacen "algo sospechoso". ¿El problema? El 84% de las personas en la lista de Los Ángeles (que usa un sistema similar) es afroamericano o latino, en una ciudad donde los afroamericanos representan solo el 9% de la población.
Aún más inquietante: aproximadamente la mitad de estas personas nunca había sido arrestada por posesión de armas y el 10% nunca había tenido contacto con la policía. Están en la base de datos solo por una predicción algorítmica. Esto plantea cuestiones profundas sobre la vigilancia predictiva y sus riesgos.
PredPol: cuando las matemáticas se vuelven racistas
PredPol, utilizado en más de 60 departamentos de policía estadounidenses, promete predecir dónde ocurrirán los crímenes con una precisión casi científica. El algoritmo analiza los datos históricos sobre delitos e indica las "zonas calientes" donde concentrar las patrullas.
El problema es que PredPol termina perpetuando y amplificando la discriminación existente. ¿Cómo funciona? El algoritmo aprende de los datos históricos de arrestos, pero sabemos que la policía arresta a más personas en los barrios de minorías étnicas. Esto lleva al algoritmo a dirigir cada vez más patrullas a esas áreas, generando más arrestos, que a su vez "confirman" la predicción del algoritmo.
Es lo que los expertos llaman "bucle de retroalimentación discriminatorio": el algoritmo replica y amplifica los prejuicios existentes, transformándolos en profecías que se autorrealizan.
En ciudades espacialmente segregadas como las estadounidenses, incluso la dirección de casa se convierte en un indicador de etnia e ingresos. PredPol puede por lo tanto aprender a ser racista sin utilizar nunca explícitamente categorías como raza o clase social.
El sesgo oculto en los datos
El problema de raíz es que los algoritmos aprenden de nuestros datos, y nuestros datos reflejan las desigualdades de la sociedad. Como explica un experto: "Si a un niño le enseñas durante décadas que a las personas de color hay que tratarlas mal, ese niño crecerá siguiendo estas enseñanzas. Lo mismo vale para los algoritmos".
Los datos sobre crímenes no son neutrales: reflejan decisiones humanas sobre a quién arrestar, dónde patrullar, qué considerar sospechoso. Cuando la policía controla con más frecuencia determinados barrios, obviamente encontrará más crímenes en esas zonas, aunque la tasa de criminalidad real sea similar en todas partes.
Un estudio demostró que los varones afroamericanos e hispanos entre 14 y 24 años representan solo el 5% de la población estadounidense, pero sufren el 41% de los controles policiales. El 90% de estos controles termina con una liberación por inocencia. Pero mientras tanto, estos jóvenes terminan en las bases de datos como "contactos con la policía", alimentando los algoritmos predictivos. La ACLU ha documentado ampliamente cómo estas prácticas alimentan círculos viciosos de discriminación.
Italia y KeyCrime: ¿un enfoque diferente?
Italia también tiene su algoritmo de policía predictiva: KeyCrime, desarrollado por Mario Venturi y utilizado por la Questura de Milán. Los resultados parecen positivos: los robos a supermercados, tiendas y farmacias han disminuido un 57%.
A diferencia del software estadounidense, KeyCrime utiliza muchos más datos personales, concentrándose en los individuos concretos en lugar de solo en las zonas geográficas. Como explica el propio Venturi: "La recolección meticulosa de esta información tiene como finalidad identificar unos rasgos caracterizadores del evento criminal, y por lo tanto de quien lo ha cometido".
Sin embargo, este enfoque más invasivo plantea interrogantes sobre privacidad y vigilancia. Si los datos de entrenamiento contienen sesgos, KeyCrime también corre el riesgo de perpetuarlos.
Las consecuencias legales de la discriminación algorítmica
El problema de la discriminación algorítmica finalmente está llegando a los tribunales. En 2021, el Tribunal de Bolonia condenó al algoritmo "Frank" de Deliveroo por discriminación contra los repartidores, estableciendo un precedente importante: por primera vez un algoritmo fue considerado legalmente responsable.
En Estados Unidos, demandas colectivas como la presentada contra Workday se están multiplicando. La empresa es acusada de utilizar algoritmos que discriminan a candidatos por raza, edad y discapacidad en los procesos de contratación. Esto destaca cómo la IA en el futuro del trabajo puede crear nuevas formas de discriminación.
Nueva York aprobó una ordenanza revolucionaria: los empleadores no pueden utilizar "herramientas automatizadas para decisiones laborales" sin que hayan superado una auditoría sobre sesgos en el último año. Es la primera ley de este tipo en Estados Unidos.
Europa reacciona con la Ley de IA
La Unión Europea ha respondido con la Ley de IA, el primer reglamento integral sobre inteligencia artificial del mundo. Las nuevas normas incluyen disposiciones específicas contra la discriminación algorítmica:
- Artículo 5: prohíbe el uso de IA que pueda crear discriminaciones injustificadas, especialmente en procesos de toma de decisiones que afecten a personas
- Artículo 10: exige que los datos utilizados para entrenar algoritmos estén libres de sesgos y sean representativos de la población
Para los sistemas de reconocimiento facial en lugares públicos, la Ley de IA requiere "procedimientos de evaluación más rigurosos" y "autorizaciones que aborden los riesgos específicos". Un paso importante hacia la regulación de la inteligencia artificial.
El costo humano del algoritmo racista
Detrás de cada estadística hay una historia humana. Robert Williams tuvo que explicar a sus hijas por qué papá había sido arrestado. Perdió un día de trabajo, sufrió la humillación del arresto público, tuvo que enfrentar la ansiedad de un procedimiento penal.
Kylese Perryman, el joven representado por la ACLU de Minnesota, vivió una pesadilla similar: arrestado y detenido basándose únicamente en una identificación facial errónea.
Estos no son "errores del sistema" o "falsos positivos" aceptables. Son vidas arruinadas por algoritmos que han aprendido nuestros prejuicios y los aplican con la despiadada eficiencia de las máquinas.
Cómo detener la discriminación algorítmica
La solución no es eliminar los algoritmos, sino hacerlos más justos. Los expertos sugieren varias estrategias:
Diversificar los equipos de desarrollo: Incluir personas con diferentes antecedentes para detectar sesgos que podrían pasar desapercibidos.
Mejorar los conjuntos de datos: Garantizar que los datos de entrenamiento representen realmente a toda la población, no solo a los grupos dominantes.
Auditorías independientes: Controles externos regulares para identificar discriminaciones emergentes.
Transparencia algorítmica: Hacer comprensibles los criterios de decisión, al menos para quienes sufren sus consecuencias.
Supervisión humana: Mantener siempre un control humano sobre las decisiones críticas, especialmente en el ámbito penal.
Control de los bucles de retroalimentación: Interrumpir los círculos viciosos que amplifican los sesgos existentes.
El futuro de la justicia algorítmica
Algunas empresas ya han tomado posición. Tras las protestas por George Floyd, IBM retiró completamente su tecnología de reconocimiento facial, declarando que "ya no proporcionará tecnologías de reconocimiento facial a los departamentos de policía para la vigilancia masiva y la elaboración de perfiles raciales".
Microsoft y Amazon suspendieron temporalmente la venta de estos sistemas a las fuerzas del orden, a la espera de una regulación más clara.
Pero el problema va más allá de las empresas individuales. Como señala Joy Buolamwini: "No se trata solo de corregir algoritmos defectuosos, sino de abordar los problemas estructurales que esos defectos ponen de manifiesto".
Hacia una inteligencia artificial más justa
La inteligencia artificial no es neutral: es un espejo que refleja los sesgos, las desigualdades y las prioridades de la sociedad que la crea. Los algoritmos racistas no son un error del sistema, sino una característica que emerge de los datos discriminatorios con los que los entrenamos.
El desafío no es crear una IA "perfectamente neutral" – un objetivo probablemente inalcanzable – sino desarrollar sistemas que promuevan activamente la equidad y la justicia. Esto requiere:
- Reconocimiento del problema: Admitir que la discriminación algorítmica existe y está extendida
- Responsabilidad compartida: Programadores, empresas, instituciones y sociedad civil deben trabajar juntos
- Control democrático: Los ciudadanos deben tener voz en cómo se utilizan estos sistemas
- Justicia reparadora: Quienes han sufrido discriminación algorítmica deben poder obtener reparaciones
Como dice Robert Williams, el hombre arrestado por error en Detroit: "Si la tecnología no puede distinguir entre un hombre negro y otro, quizás no debería ser utilizada por la policía".
Es una lección que va más allá de la tecnología: en una sociedad democrática, las herramientas de poder deben ser justas para todos, o no deberían existir.
La discriminación algorítmica no es una fatalidad tecnológica. Es una elección humana que podemos y debemos cambiar. Como destacan los principios de la ética de la inteligencia artificial, debemos construir sistemas que respeten la dignidad humana y promuevan la equidad para todos.
Para mantenerse actualizado sobre estos temas cruciales, organizaciones como el AI Now Institute y la Partnership on AI publican regularmente investigaciones y directrices para un desarrollo responsable de la inteligencia artificial.