Algorithmes racistes : quand l'intelligence artificielle discrimine
Découvrez comment les algorithmes d'IA peuvent discriminer et quelles en sont les causes. Exemples concrets et solutions pour une intelligence artificielle plus équitable.
Un simple billet contrefait conduit à l'arrestation de Robert Williams. Une erreur du logiciel de reconnaissance faciale de la police de Detroit déclenche un cauchemar kafkaïen qui révèle à quel point les algorithmes peuvent être plus racistes que les humains qui les programment.
C'est en janvier 2020 que Robert Williams est arrêté dans le jardin de sa maison, devant sa femme et ses filles. L'accusation ? Avoir volé des montres de luxe dans un magasin. Le problème ? Williams n'a rien à voir avec ce vol. C'est un algorithme de reconnaissance faciale qui l'a piégé, confondant son visage avec celui du vrai voleur. Après une nuit en prison et des heures d'interrogatoire, la police se rend compte de l'erreur : Williams ne ressemble même pas de loin à la personne recherchée.
"Cet ordinateur pense que tous les Noirs se ressemblent ?", demande Williams aux détectives en leur montrant la photo du suspect. Sa question, apparemment ironique, cache une vérité troublante : les algorithmes policiers sont devenus systématiquement racistes.
Le logiciel qui ne voit que les Blancs
L'histoire de Williams n'est pas un cas isolé, mais la conséquence prévisible d'une discrimination algorithmique qui imprègne les systèmes de sécurité américains. La reconnaissance faciale, cette technologie que nous considérons neutre et objective, a en réalité appris à "voir" mieux certaines personnes que d'autres.
Les chiffres sont sans équivoque : selon l'étude "Gender Shades" du MIT, le taux d'erreur pour les hommes à la peau claire est de 0,8 %, tandis que pour les femmes à la peau foncée, il monte à 34,7 %. Un écart de 40 fois qui se transforme en vies ruinées lorsque ces systèmes se retrouvent entre les mains de la police.
Joy Buolamwini, la chercheuse du MIT qui a découvert ce problème, l'a expérimenté sur sa propre peau : le logiciel de reconnaissance faciale du laboratoire ne parvenait pas à reconnaître son visage. "Je devais littéralement porter un masque blanc pour être détectée", raconte Buolamwini, qui a fondé l'Algorithmic Justice League pour combattre ces discriminations.
L'Amérique des algorithmes qui prédisent le crime
Mais le problème va bien au-delà de la reconnaissance faciale. Dans de nombreuses villes américaines, des algorithmes de plus en plus sophistiqués sont utilisés non seulement pour identifier les criminels, mais pour prédire qui commettra des crimes futurs.
COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) est l'un de ces systèmes. Basé sur 137 questions, l'algorithme attribue un score de risque aux détenus qui influence les décisions des juges concernant la liberté provisoire, les peines et la liberté surveillée.
Une enquête de ProPublica a révélé que COMPAS est systématiquement biaisé : les Noirs classés à tort comme « à haut risque » étaient presque deux fois plus nombreux que les Blancs (45 % contre 23 %). À l'inverse, les Blancs classés à tort comme « à faible risque » étaient près de deux fois plus nombreux que les Noirs (48 % contre 28 %).
Le cas le plus emblématique est celui d'Eric Loomis, arrêté en 2013. Le juge a basé sa sentence en partie sur le score COMPAS, mais Loomis n'a jamais pu savoir comment l'algorithme était arrivé à cette évaluation : l'entreprise qui le produit considère l'algorithme comme sa propriété intellectuelle.
Chicago et la liste des futurs criminels
Chicago est allé plus loin : le Strategic Subject Algorithm compile une « heat list » (liste de surveillance prioritaire) de 1 500 personnes qui, selon l'algorithme, ont le plus de probabilités de commettre des crimes. Les scores vont de 0 (faible risque) à 500 (risque élevé).
La liste permet à la police de surveiller constamment les mouvements de ces individus et d'intervenir s'ils font « quelque chose de suspect ». Le problème ? 84 % des personnes sur la liste de Los Angeles (qui utilise un système similaire) sont afro-américaines ou latinos, dans une ville où les Afro-Américains ne représentent que 9 % de la population.
Encore plus inquiétant : environ la moitié de ces personnes n'avaient jamais été arrêtées pour possession d'armes et 10 % n'avaient jamais eu de contact avec la police. Elles sont dans la base de données uniquement sur la base d'une prédiction algorithmique. Cela soulève des questions profondes sur la surveillance prédictive et ses risques.
PredPol : quand les mathématiques deviennent racistes
PredPol, utilisé dans plus de 60 départements de police américains, promet de prédire où les crimes auront lieu avec une précision quasi scientifique. L'algorithme analyse les données historiques sur les délits et indique les « zones chaudes » où concentrer les patrouilles.
Le problème est que PredPol finit par perpétuer et amplifier la discrimination existante. Comment cela fonctionne-t-il ? L'algorithme apprend à partir des données historiques d'arrestations, mais nous savons que la police arrête plus de personnes dans les quartiers des minorités ethniques. Cela conduit l'algorithme à diriger toujours plus de patrouilles dans ces zones, générant plus d'arrestations, qui à leur tour "confirment" la prédiction de l'algorithme.
C'est ce que les experts appellent "une boucle de rétroaction discriminatoire" : l'algorithme réplique et amplifie les préjugés existants, les transformant en prophéties auto-réalisatrices.
Dans des villes spatialement ségréguées comme celles des États-Unis, même l'adresse du domicile devient un indicateur d'ethnicité et de revenu. PredPol peut donc apprendre à être raciste sans jamais utiliser explicitement des catégories comme la race ou la classe sociale.
Le biais caché dans les données
Le problème à la racine est que les algorithmes apprennent de nos données, et nos données reflètent les inégalités de la société. Comme l'explique un expert : "Si vous enseignez à un enfant pendant des décennies que les personnes de couleur doivent être maltraitées, cet enfant grandira en suivant ces enseignements. Il en va de même pour les algorithmes".
Les données sur les crimes ne sont pas neutres : elles reflètent des décisions humaines sur qui arrêter, où patrouiller, ce qui est considéré comme suspect. Lorsque la police contrôle plus souvent certains quartiers, elle y trouvera évidemment plus de crimes, même si le taux de criminalité réel est similaire partout.
Une étude a démontré que les hommes afro-américains et hispaniques âgés de 14 à 24 ans représentent seulement 5 % de la population américaine, mais subissent 41 % des contrôles de police. 90 % de ces contrôles se terminent par une libération pour innocence. Mais entre-temps, ces jeunes finissent dans les bases de données comme "contacts avec la police", alimentant les algorithmes prédictifs. L'ACLU a largement documenté comment ces pratiques alimentent des cercles vicieux de discrimination.
L'Italie et KeyCrime : une approche différente ?
L'Italie a aussi son algorithme de police prédictive : KeyCrime, développé par Mario Venturi et utilisé par la Questura de Milan. Les résultats semblent positifs : les vols dans les supermarchés, les magasins et les pharmacies ont chuté de 57 %.
Contrairement aux logiciels américains, KeyCrime utilise beaucoup plus de données personnelles, en se concentrant sur les individus plutôt que seulement sur les zones géographiques. Comme l'explique Venturi lui-même : "La collecte méticuleuse de ces informations vise à identifier des traits caractérisant l'événement criminel, et donc celui qui l'a commis".
Cependant, cette approche plus intrusive soulève précisément des questions sur la vie privée et la surveillance. Si les données d'entraînement contiennent des biais, KeyCrime risque également de les perpétuer.
Les conséquences juridiques de la discrimination algorithmique
Le problème de la discrimination algorithmique arrive enfin devant les tribunaux. En 2021, le tribunal de Bologne a condamné l'algorithme "Frank" de Deliveroo pour discrimination envers les livreurs, établissant un précédent important : pour la première fois, un algorithme était reconnu légalement responsable.
Aux États-Unis, des recours collectifs comme celui contre Workday se multiplient. L'entreprise est accusée d'utiliser des algorithmes qui discriminent les candidats en fonction de leur race, de leur âge et de leur handicap dans les processus de recrutement. Cela met en lumière comment l'IA dans l'avenir du travail peut créer de nouvelles formes de discrimination.
New York a adopté une ordonnance révolutionnaire : les employeurs ne peuvent pas utiliser "d'outils automatisés pour les décisions en matière d'emploi" sans que ceux-ci aient réussi un audit sur les biais au cours de l'année écoulée. C'est la première loi de ce type aux États-Unis.
L'Europe réagit avec l'AI Act
L'Union européenne a répondu avec l'AI Act, le premier règlement complet au monde sur l'intelligence artificielle. Les nouvelles règles incluent des dispositions spécifiques contre la discrimination algorithmique :
- Article 5 : interdit l'utilisation d'IA pouvant créer des discriminations injustifiées, en particulier dans les processus décisionnels concernant des personnes
- Article 10 : impose que les données utilisées pour entraîner les algorithmes soient exemptes de biais et représentatives de la population
Pour les systèmes de reconnaissance faciale dans les lieux publics, l'AI Act exige des "procédures d'évaluation plus rigoureuses" et des "autorisations traitant des risques spécifiques". Un pas important vers la réglementation de l'intelligence artificielle.
Le coût humain de l'algorithme raciste
Derrière chaque statistique, il y a une histoire humaine. Robert Williams a dû expliquer à ses filles pourquoi papa avait été arrêté. Il a perdu une journée de travail, a subi l'humiliation d'une arrestation publique, a dû faire face à l'anxiété d'une procédure pénale.
Kylese Perryman, le jeune homme représenté par l'ACLU du Minnesota, a vécu un cauchemar similaire : arrêté et détenu sur la base exclusive d'une identification faciale erronée.
Ce ne sont pas des "erreurs du système" ou des "faux positifs" acceptables. Ce sont des vies ruinées par des algorithmes qui ont appris nos préjugés et les appliquent avec l'efficacité impitoyable des machines.
Comment arrêter la discrimination algorithmique
La solution n'est pas d'éliminer les algorithmes, mais de les rendre plus justes. Les experts suggèrent plusieurs stratégies :
Diversifier les équipes de développement : Inclure des personnes ayant des parcours différents pour repérer des biais qui pourraient passer inaperçus.
Améliorer les jeux de données : Garantir que les données d'entraînement représentent effectivement toute la population, et pas seulement les groupes dominants.
Audits indépendants : Des contrôles externes réguliers pour identifier les discriminations émergentes.
Transparence algorithmique : Rendre compréhensibles les critères décisionnels, au moins pour ceux qui en subissent les conséquences.
Supervision humaine : Maintenir toujours un contrôle humain sur les décisions critiques, en particulier dans le domaine pénal.
Contrôle des boucles de rétroaction : Interrompre les cercles vicieux qui amplifient les biais existants.
L'avenir de la justice algorithmique
Certaines entreprises ont déjà pris position. Après les manifestations pour George Floyd, IBM a complètement retiré sa technologie de reconnaissance faciale, déclarant qu'elle "ne fournira plus de technologies de reconnaissance faciale aux services de police pour la surveillance de masse et le profilage racial".
Microsoft et Amazon ont temporairement suspendu la vente de ces systèmes aux forces de l'ordre, en attendant une réglementation plus claire.
Mais le problème va au-delà des entreprises individuelles. Comme le souligne Joy Buolamwini : "Il ne s'agit pas seulement de corriger des algorithmes défectueux, mais de s'attaquer aux problèmes structurels que ces défauts mettent en lumière".
Vers une intelligence artificielle plus juste
L'intelligence artificielle n'est pas neutre : c'est un miroir qui reflète les préjugés, les inégalités et les priorités de la société qui la crée. Les algorithmes racistes ne sont pas un bug du système, mais une caractéristique qui émerge des données discriminatoires avec lesquelles nous les entraînons.
Le défi n'est pas de créer une IA "parfaitement neutre" – un objectif probablement inatteignable – mais de développer des systèmes qui promeuvent activement l'équité et la justice. Cela nécessite :
- Reconnaissance du problème : Admettre que la discrimination algorithmique existe et est répandue
- Responsabilité partagée : Programmeurs, entreprises, institutions et société civile doivent travailler ensemble
- Contrôle démocratique : Les citoyens doivent avoir leur mot à dire sur l'utilisation de ces systèmes
- Justice réparatrice : Les victimes de discriminations algorithmiques doivent pouvoir obtenir réparation
Comme le dit Robert Williams, l'homme arrêté par erreur à Détroit : « Si la technologie ne peut pas distinguer un Noir d'un autre, peut-être ne devrait-elle pas être utilisée par la police ».
C'est une leçon qui va au-delà de la technologie : dans une société démocratique, les outils de pouvoir doivent être justes pour tous, ou ne pas exister.
La discrimination algorithmique n'est pas une fatalité technologique. C'est un choix humain que nous pouvons et devons changer. Comme le soulignent les principes de l'éthique de l'intelligence artificielle, nous devons construire des systèmes qui respectent la dignité humaine et promeuvent l'équité pour tous.
Pour rester informés sur ces sujets cruciaux, des organisations comme l'AI Now Institute et le Partnership on AI publient régulièrement des recherches et des lignes directrices pour un développement responsable de l'intelligence artificielle.