Rassistische Algorithmen: Wenn künstliche Intelligenz diskriminiert

Erfahren Sie, wie KI-Algorithmen diskriminieren können und welche Ursachen dahinterstecken. Praktische Beispiele und Lösungen für eine gerechtere künstliche Intelligenz.

Eine banale gefälschte Banknote führt zur Verhaftung von Robert Williams. Ein Fehler der Gesichtserkennungssoftware der Polizei von Detroit löst einen kafkaesken Albtraum aus, der zeigt, wie Algorithmen rassistischer sein können als die Menschen, die sie programmieren.

Es ist Januar 2020, als Robert Williams in seinem Vorgarten vor den Augen seiner Frau und Töchter verhaftet wird. Der Vorwurf? Luxusuhren aus einem Geschäft gestohlen zu haben. Das Problem? Williams hat nichts mit diesem Diebstahl zu tun. Ein Gesichtserkennungsalgorithmus hat ihn hereingelegt, indem er sein Gesicht mit dem des wahren Diebes verwechselte. Nach einer Nacht im Gefängnis und Stunden der Vernehmung erkennt die Polizei den Fehler: Williams ähnelt der gesuchten Person nicht einmal im Entferntesten.

"Denkt dieser Computer, dass alle Schwarzen gleich aussehen?", fragt Williams die Ermittler und zeigt ihnen das Foto des Verdächtigen. Seine scheinbar ironische Frage birgt eine beunruhigende Wahrheit: Polizeialgorithmen sind systematisch rassistisch geworden.

Die Software, die nur Weiße sieht

Die Geschichte von Williams ist kein Einzelfall, sondern die vorhersehbare Folge einer algorithmischen Diskriminierung, die die amerikanischen Sicherheitssysteme durchdringt. Die Gesichtserkennung, jene Technologie, die wir als neutral und objektiv betrachten, hat in Wirklichkeit gelernt, einige Menschen besser zu "sehen" als andere.

Die Zahlen sind eindeutig: Laut der MIT-Studie "Gender Shades" liegt die Fehlerrate für hellhäutige Männer bei 0,8 %, während sie für dunkelhäutige Frauen auf 34,7 % ansteigt. Eine 40-fache Kluft, die sich in zerstörte Leben verwandelt, wenn diese Systeme in die Hände der Polizei gelangen.

Joy Buolamwini, die MIT-Forscherin, die dieses Problem entdeckte, hat es am eigenen Leib erfahren: Die Gesichtserkennungssoftware im Labor konnte ihr Gesicht nicht erkennen. "Ich musste buchstäblich eine weiße Maske tragen, um erkannt zu werden", berichtet Buolamwini, die die Algorithmic Justice League gründete, um gegen diese Diskriminierungen zu kämpfen.

Amerika der Algorithmen, die Verbrechen vorhersagen

Das Problem geht jedoch weit über die Gesichtserkennung hinaus. In vielen amerikanischen Städten werden immer ausgefeiltere Algorithmen nicht nur zur Identifizierung von Straftätern eingesetzt, sondern auch zur Vorhersage, wer zukünftige Straftaten begehen wird.

COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) ist eines dieser Systeme. Basierend auf 137 Fragen weist der Algorithmus Häftlingen einen Risikoscore zu, der die Entscheidungen von Richtern über Haftverschonung, Urteile und Bewährung beeinflusst.

Eine Untersuchung von ProPublica ergab, dass COMPAS systematisch voreingenommen ist: Schwarze, die fälschlicherweise als "hochriskant" eingestuft wurden, waren fast doppelt so viele wie Weiße (45 % gegenüber 23 %). Umgekehrt waren Weiße, die fälschlicherweise als "geringes Risiko" eingestuft wurden, fast doppelt so viele wie Schwarze (48 % gegenüber 28 %).

Der emblematischste Fall ist der von Eric Loomis, der 2013 verhaftet wurde. Der Richter stützte sein Urteil auch auf den COMPAS-Score, aber Loomis konnte nie erfahren, wie der Algorithmus zu dieser Bewertung gelangt war: Das Herstellerunternehmen betrachtet den Algorithmus als sein Eigentum.

Chicago und die Liste der zukünftigen Straftäter

Chicago ging noch einen Schritt weiter: Der Strategic Subject Algorithm erstellt eine "Heat List" von 1.500 Personen, die laut dem Algorithmus mit höherer Wahrscheinlichkeit Straftaten begehen werden. Die Scores reichen von 0 (geringes Risiko) bis 500 (hohes Risiko).

Die Liste ermöglicht es der Polizei, die Bewegungen dieser Personen ständig zu überwachen und einzuschreiten, wenn sie "etwas Verdächtiges" tun. Das Problem? 84 % der Personen auf der Liste von Los Angeles (die ein ähnliches System verwendet) sind Afroamerikaner oder Latinos, in einer Stadt, in der Afroamerikaner nur 9 % der Bevölkerung ausmachen.

Noch beunruhigender: Etwa die Hälfte dieser Personen war nie wegen Waffenbesitzes verhaftet worden, und 10 % hatten nie Kontakt mit der Polizei. Sie stehen in der Datenbank nur aufgrund einer algorithmischen Vorhersage. Dies wirft tiefgreifende Fragen zur prädiktiven Überwachung und ihren Risiken auf.

PredPol: Wenn Mathematik rassistisch wird

PredPol, das in über 60 amerikanischen Polizeibehörden eingesetzt wird, verspricht, mit fast wissenschaftlicher Präzision vorherzusagen, wo Verbrechen geschehen werden. Der Algorithmus analysiert historische Kriminalitätsdaten und zeigt "Hotspots" an, in denen Streifen konzentriert werden sollen.

Das Problem ist, dass PredPol dazu neigt, bestehende Diskriminierung zu verewigen und zu verstärken. Wie funktioniert das? Der Algorithmus lernt aus historischen Verhaftungsdaten, aber wir wissen, dass die Polizei in Vierteln mit ethnischen Minderheiten mehr Menschen festnimmt. Dies führt dazu, dass der Algorithmus immer mehr Streifen in diese Gebiete schickt, was zu mehr Verhaftungen führt, die wiederum die Vorhersage des Algorithmus "bestätigen".

Das ist, was Experten als "diskriminierende Feedback-Schleife" bezeichnen: Der Algorithmus repliziert und verstärkt bestehende Vorurteile und verwandelt sie in sich selbst erfüllende Prophezeiungen.

In räumlich segregierten Städten wie den amerikanischen wird sogar die Wohnadresse zu einem Indikator für Ethnie und Einkommen. PredPol kann also lernen, rassistisch zu sein, ohne jemals explizit Kategorien wie Rasse oder soziale Klasse zu verwenden.

Die versteckte Verzerrung in den Daten

Das grundlegende Problem ist, dass Algorithmen aus unseren Daten lernen und unsere Daten die Ungleichheiten der Gesellschaft widerspiegeln. Wie ein Experte erklärt: "Wenn man einem Kind jahrzehntelang beibringt, dass farbige Menschen schlecht behandelt werden müssen, wird dieses Kind nach diesen Lehren aufwachsen. Dasselbe gilt für Algorithmen."

Kriminalitätsdaten sind nicht neutral: Sie spiegeln menschliche Entscheidungen darüber wider, wen man verhaftet, wo man patrouilliert, was man als verdächtig ansieht. Wenn die Polizei bestimmte Viertel häufiger kontrolliert, wird sie dort natürlich mehr Verbrechen finden, auch wenn die tatsächliche Kriminalitätsrate überall ähnlich ist.

Eine Studie zeigte, dass afroamerikanische und hispanische Männer im Alter von 14 bis 24 Jahren nur 5 % der amerikanischen Bevölkerung ausmachen, aber 41 % der Polizeikontrollen ausgesetzt sind. 90 % dieser Kontrollen enden mit einer Freilassung wegen Unschuld. Aber in der Zwischenzeit landen diese jungen Männer in Datenbanken als "Polizeikontakte" und speisen so prädiktive Algorithmen. Die ACLU hat umfassend dokumentiert, wie diese Praktiken Teufelskreise der Diskriminierung fördern.

Italien und KeyCrime: Ein anderer Ansatz?

Auch Italien hat seinen prädiktiven Polizeialgorithmus: KeyCrime, entwickelt von Mario Venturi und von der Mailänder Polizeidirektion verwendet. Die Ergebnisse scheinen positiv zu sein: Raubüberfälle auf Supermärkte, Geschäfte und Apotheken sind um 57 % zurückgegangen.

Im Gegensatz zu amerikanischer Software nutzt KeyCrime viel mehr personenbezogene Daten und konzentriert sich auf einzelne Personen, nicht nur auf geografische Gebiete. Wie Venturi selbst erklärt: "Die sorgfältige Sammlung dieser Informationen zielt darauf ab, charakteristische Merkmale des kriminellen Ereignisses und damit der Person, die es begangen hat, zu identifizieren."

Doch genau dieser invasive Ansatz wirft Fragen zu Privatsphäre und Überwachung auf. Wenn die Trainingsdaten Vorurteile enthalten, riskiert auch KeyCrime, diese fortzuschreiben.

Die rechtlichen Folgen algorithmischer Diskriminierung

Das Problem der algorithmischen Diskriminierung erreicht endlich die Gerichtssäle. Im Jahr 2021 verurteilte das Gericht in Bologna den Algorithmus "Frank" von Deliveroo wegen Diskriminierung von Fahrern und setzte damit einen wichtigen Präzedenzfall: Zum ersten Mal wurde ein Algorithmus für rechtlich verantwortlich erklärt.

In den USA häufen sich Sammelklagen wie die gegen Workday. Das Unternehmen wird beschuldigt, Algorithmen zu verwenden, die Bewerber in Einstellungsverfahren aufgrund von Rasse, Alter und Behinderung diskriminieren. Dies zeigt, wie KI in der Zukunft der Arbeit neue Formen der Diskriminierung schaffen kann.

New York hat eine bahnbrechende Verordnung verabschiedet: Arbeitgeber dürfen "automatisierte Tools für arbeitsbezogene Entscheidungen" nicht verwenden, ohne dass diese im letzten Jahr ein Audit auf Vorurteile bestanden haben. Es ist das erste Gesetz dieser Art in den USA.

Europa reagiert mit dem AI Act

Die Europäische Union hat mit dem AI Act geantwortet, der weltweit ersten umfassenden Verordnung zur künstlichen Intelligenz. Die neuen Regeln enthalten spezifische Bestimmungen gegen algorithmische Diskriminierung:

• Artikel 5: Verbietet den Einsatz von KI, die ungerechtfertigte Diskriminierung verursachen kann, insbesondere bei Entscheidungsprozessen, die Personen betreffen
• Artikel 10: Schreibt vor, dass die zum Training von Algorithmen verwendeten Daten frei von Vorurteilen und repräsentativ für die Bevölkerung sein müssen

Für Gesichtserkennungssysteme an öffentlichen Orten verlangt der AI Act "strengere Bewertungsverfahren" und "Genehmigungen, die die spezifischen Risiken angehen". Ein wichtiger Schritt hin zu einer Regulierung der künstlichen Intelligenz.

Die menschlichen Kosten des rassistischen Algorithmus

Hinter jeder Statistik steckt eine menschliche Geschichte. Robert Williams musste seinen Töchtern erklären, warum Papa verhaftet worden war. Er verlor einen Arbeitstag, erlitt die Demütigung einer öffentlichen Verhaftung und musste die Angst eines Strafverfahrens durchstehen.

Kylese Perryman, der junge Mann, der von der ACLU von Minnesota vertreten wird, erlebte einen ähnlichen Albtraum: Er wurde verhaftet und inhaftiert, basierend ausschließlich auf einer falschen Gesichtserkennung.

Dies sind keine akzeptablen "Systemfehler" oder "falsch-positiven Ergebnisse". Es sind zerstörte Leben, verursacht durch Algorithmen, die unsere Vorurteile gelernt haben und sie mit der gnadenlosen Effizienz von Maschinen anwenden.

Wie man algorithmische Diskriminierung stoppt

Die Lösung besteht nicht darin, Algorithmen abzuschaffen, sondern sie gerechter zu machen. Experten schlagen verschiedene Strategien vor:

Entwicklungsteams diversifizieren: Einbeziehung von Menschen mit unterschiedlichem Hintergrund, um Vorurteile zu erkennen, die sonst unbemerkt bleiben könnten.

Datensätze verbessern: Sicherstellen, dass die Trainingsdaten tatsächlich die gesamte Bevölkerung repräsentieren, nicht nur die dominierenden Gruppen.

Unabhängige Audits: Regelmäßige externe Überprüfungen, um aufkommende Diskriminierung zu identifizieren.

Algorithmische Transparenz: Die Entscheidungskriterien verständlich machen, zumindest für diejenigen, die die Konsequenzen tragen.

Menschliche Aufsicht: Stets eine menschliche Kontrolle über kritische Entscheidungen beibehalten, insbesondere im Strafrecht.

Kontrolle von Feedback-Schleifen: Unterbrechung der Teufelskreise, die bestehende Vorurteile verstärken.

Die Zukunft der algorithmischen Gerechtigkeit

Einige Unternehmen haben bereits Stellung bezogen. Nach den Protesten für George Floyd zog IBM seine Gesichtserkennungstechnologie vollständig zurück und erklärte, dass es "Gesichtserkennungstechnologien nicht mehr an Polizeibehörden für Massenüberwachung und rassistische Profilerstellung liefern wird".

Microsoft und Amazon haben den Verkauf dieser Systeme an Strafverfolgungsbehörden vorübergehend ausgesetzt, in Erwartung einer klareren Regulierung.

Aber das Problem geht über einzelne Unternehmen hinaus. Wie Joy Buolamwini betont: "Es geht nicht nur darum, fehlerhafte Algorithmen zu korrigieren, sondern die strukturellen Probleme anzugehen, die diese Fehler aufdecken."

Auf dem Weg zu einer gerechteren künstlichen Intelligenz

Künstliche Intelligenz ist nicht neutral: Sie ist ein Spiegel, der die Vorurteile, Ungleichheiten und Prioritäten der Gesellschaft reflektiert, die sie erschafft. Rassistische Algorithmen sind kein Systemfehler, sondern ein Merkmal, das aus den diskriminierenden Daten hervorgeht, mit denen wir sie trainieren.

Die Herausforderung besteht nicht darin, eine "perfekt neutrale" KI zu schaffen – ein wahrscheinlich unerreichbares Ziel –, sondern Systeme zu entwickeln, die aktiv Fairness und Gerechtigkeit fördern. Dies erfordert:

• Problembewusstsein: Anerkennen, dass algorithmische Diskriminierung existiert und weit verbreitet ist
• Gemeinsame Verantwortung: Programmierer, Unternehmen, Institutionen und die Zivilgesellschaft müssen zusammenarbeiten
• Demokratische Kontrolle: Bürger müssen ein Mitspracherecht darüber haben, wie diese Systeme eingesetzt werden
• Wiedergutmachungsgerechtigkeit: Personen, die algorithmische Diskriminierung erlitten haben, müssen Entschädigung erhalten können

Wie Robert Williams, der Mann, der in Detroit fälschlicherweise festgenommen wurde, sagt: "Wenn die Technologie nicht zwischen einem Schwarzen und einem anderen unterscheiden kann, sollte sie vielleicht nicht von der Polizei genutzt werden."

Es ist eine Lehre, die über die Technologie hinausgeht: In einer demokratischen Gesellschaft müssen Machtinstrumente für alle gerecht sein, oder sie sollten nicht existieren.

Algorithmische Diskriminierung ist kein technologisches Schicksal. Es ist eine menschliche Entscheidung, die wir ändern können und müssen. Wie die Prinzipien der Ethik der künstlichen Intelligenz betonen, müssen wir Systeme aufbauen, die die menschliche Würde respektieren und Gerechtigkeit für alle fördern.

Um über diese entscheidenden Themen auf dem Laufenden zu bleiben, veröffentlichen Organisationen wie das AI Now Institute und die Partnership on AI regelmäßig Forschungsergebnisse und Leitlinien für eine verantwortungsvolle Entwicklung künstlicher Intelligenz.