خوارزميات عنصرية: عندما تميّز الذكاء الاصطناعي

اكتشف كيف يمكن لخوارزميات الذكاء الاصطناعي التمييز وأسباب ذلك. أمثلة عملية وحلول لذكاء اصطناعي أكثر إنصافًا.

أدى تزوير تافه لأوراق نقدية إلى اعتقال روبرت ويليامز. خطأ في برنامج التعرف على الوجوه لدى شرطة ديترويت أشعل كابوساً كافكاوياً يكشف كيف يمكن للخوارزميات أن تكون أكثر عنصرية من البشر الذين يبرمجونها.

في يناير 2020، تم اعتقال روبرت ويليامز في حديقة منزله، أمام زوجته وبناته. التهمة؟ سرقة ساعات فاخرة من متجر. المشكلة؟ ليس لويليامز أي علاقة بتلك السرقة. ما أوقعه في الفخ هو خوارزمية للتعرف على الوجوه خلطت بين وجهه ووجه اللص الحقيقي. بعد ليلة في السجن وساعات من الاستجواب، أدركت الشرطة الخطأ: ويليامز لا يشبه حتى من بعيد الشخص المطلوب.

"هل يعتقد هذا الكمبيوتر أن جميع السود متشابهون؟"، يسأل ويليامز المحققين وهو يريهم صورة المشتبه به. سؤاله، الذي يبدو ساخراً، يخفي حقيقة مقلقة: أصبحت خوارزميات الشرطة عنصرية بشكل منهجي.

البرنامج الذي يرى البيض فقط

قصة ويليامز ليست حالة معزولة، بل هي نتيجة متوقعة لـ تمييز خوارزمي يخترق أنظمة الأمن الأمريكية. التعرف على الوجوه، تلك التكنولوجيا التي نعتبرها محايدة وموضوعية، تعلمت في الواقع "رؤية" بعض الأشخاص بشكل أفضل من غيرهم.

الأرقام لا لبس فيها: وفقاً لـ دراسة "جيندر شيدز" من معهد ماساتشوستس للتكنولوجيا، فإن معدل الخطأ للرجال ذوي البشرة الفاتحة هو 0.8%، بينما يرتفع إلى 34.7% للنساء ذوات البشرة الداكنة. فجوة تبلغ 40 ضعفاً تتحول إلى حياة مدمرة عندما تصل هذه الأنظمة إلى أيدي الشرطة.

جوي بولامويني، الباحثة في معهد ماساتشوستس للتكنولوجيا التي اكتشفت هذه المشكلة، اختبرتها على نفسها: برنامج التعرف على الوجوه في المختبر لم يتمكن من التعرف على وجهها. "كان علي حرفياً ارتداء قناع أبيض ليتم رصدي"، تروي بولامويني، التي أسست رابطة العدالة الخوارزمية لمحاربة هذه التمييزات.

أمريكا الخوارزميات التي تتوقع الجريمة

لكن المشكلة تتجاوز بكثير التعرف على الوجوه. في العديد من المدن الأمريكية، يتم استخدام خوارزميات متطورة بشكل متزايد ليس فقط لتحديد المجرمين، بل للتنبؤ بمن سيرتكب جرائم مستقبلية.

COMPAS (تصنيف إدارة السجناء العقابيين للعقوبات البديلة) هو أحد هذه الأنظمة. بناءً على 137 سؤالاً، يخصص الخوارزمية درجة مخاطر للسجناء تؤثر على قرارات القضاة بشأن الإفراج المشروط، الأحكام، والإفراج تحت المراقبة.

كشف تحقيق لـ ProPublica أن نظام COMPAS متحيز بشكل منهجي: كان عدد السود المصنفين خطأً على أنهم "عالو المخاطر" ضعف عدد البيض تقريباً (45% مقابل 23%). على العكس من ذلك، كان عدد البيض المصنفين خطأً على أنهم "منخفضو المخاطر" ضعف عدد السود تقريباً (48% مقابل 28%).

الحالة الأكثر رمزية هي حالة إريك لوميس، الذي اعتقل عام 2013. اعتمد القاضي في حكمه أيضاً على درجة نظام COMPAS، لكن لوميس لم يتمكن أبداً من معرفة كيف توصلت الخوارزمية إلى هذا التقييم: حيث تعتبر الشركة المنتجة الخوارزمية ملكية خاصة.

شيكاغو وقائمة المجرمين المستقبليين

ذهبت شيكاغو خطوة أبعد: تقوم خوارزمية الموضوع الاستراتيجي بتجميع "قائمة ساخنة" تضم 1500 شخص لديهم، وفقاً للخوارزمية، احتمالية أكبر لارتكاب الجرائم. تتراوح الدرجات من 0 (مخاطر منخفضة) إلى 500 (مخاطر عالية).

تسمح القائمة للشرطة بمراقبة تحركات هؤلاء الأفراد باستمرار والتدخل إذا قاموا بـ "شيء مريب". المشكلة؟ 84% من الأشخاص في قائمة لوس أنجلوس (التي تستخدم نظاماً مشابهاً) هم من الأمريكيين من أصل أفريقي أو لاتيني، في مدينة يمثل فيها الأمريكيون من أصل أفريقي 9% فقط من السكان.

الأكثر إثارة للقلق: حوالي نصف هؤلاء الأشخاص لم يتم اعتقالهم مطلقاً بسبب حيازة أسلحة، و10% لم يكن لديهم أي اتصال سابق مع الشرطة. هم موجودون في قاعدة البيانات فقط بسبب تنبؤ خوارزمي. هذا يثير أسئلة عميقة حول المراقبة التنبؤية ومخاطرها.

PredPol: عندما تصبح الرياضيات عنصرية

يعد نظام PredPol، المستخدم في أكثر من 60 إدارة شرطة أمريكية، بالتنبؤ بمكان وقوع الجرائم بدقة شبه علمية. تحلل الخوارزمية البيانات التاريخية للجرائم وتشير إلى "المناطق الساخنة" حيث يجب تركيز الدوريات.

المشكلة هي أن بريدبول ينتهي به الأمر إلى إدامة وتضخيم التمييز القائم. كيف يعمل؟ الخوارزمية تتعلم من البيانات التاريخية للاعتقالات، لكننا نعلم أن الشرطة تعتقل المزيد من الأشخاص في أحياء الأقليات العرقية. هذا يؤدي إلى توجيه الخوارزمية لمزيد من الدوريات إلى تلك المناطق، مما يولد المزيد من الاعتقالات، والتي بدورها "تؤكد" توقعات الخوارزمية.

هذا ما يسميه الخبراء "حلقة التغذية الراجعة التمييزية": الخوارزمية تكرر وتضخم التحيزات القائمة، محولة إياها إلى نبوءات تتحقق ذاتياً.

في المدن المنفصلة مكانياً مثل المدن الأمريكية، حتى عنوان المنزل يصبح مؤشراً على العرق والدخل. لذلك يمكن لبريدبول أن يتعلم أن يكون عنصرياً دون استخدام فئات مثل العرق أو الطبقة الاجتماعية بشكل صريح أبداً.

التحيز المخفي في البيانات

المشكلة الجذرية هي أن الخوارزميات تتعلم من بياناتنا، وبياناتنا تعكس أوجه عدم المساواة في المجتمع. كما يشرح أحد الخبراء: "إذا علمت طفلاً لعقود أن الأشخاص ذوي البشرة الداكنة يجب معاملتهم بشكل سيء، فسيكبر ذلك الطفل متبعاً هذه التعاليم. الأمر نفسه ينطبق على الخوارزميات".

بيانات الجرائم ليست محايدة: فهي تعكس القرارات البشرية بشأن من يتم اعتقاله، وأين تتم الدوريات، وما الذي يعتبر مثيراً للشك. عندما تتحقق الشرطة من أحياء معينة بشكل متكرر، فمن الواضح أنها ستجد المزيد من الجرائم في تلك المناطق، حتى لو كان معدل الجريمة الفعلي متشابهاً في كل مكان.

أظهرت دراسة أن الذكور الأمريكيين من أصل أفريقي وهسباني الذين تتراوح أعمارهم بين 14 و 24 عاماً يمثلون فقط 5% من السكان الأمريكيين، لكنهم يتعرضون لـ 41% من عمليات التفتيش الشرطية. ينتهي 90% من هذه التفتيشات بالإفراج عنهم لثبوت براءتهم. ولكن في غضون ذلك، ينتهي هؤلاء الشباب في قواعد البيانات كـ "محتكين مع الشرطة"، مما يغذي الخوارزميات التنبؤية. وقد وثق الاتحاد الأمريكي للحريات المدنية (ACLU) على نطاق واسع كيف تغذي هذه الممارسات حلقات مفرغة من التمييز.

إيطاليا و KeyCrime: نهج مختلف؟

لدى إيطاليا أيضاً خوارزمية شرطة تنبؤية خاصة بها: KeyCrime، التي طورها ماريو فينتوري ويستخدمها مقر شرطة ميلانو. تبدو النتائج إيجابية: حيث انخفضت عمليات السطو على محلات السوبر ماركت والمتاجر والصيدليات بنسبة 57%.

على عكس البرمجيات الأمريكية، يستخدم KeyCrime بيانات شخصية أكثر بكثير، مركزاً على الأفراد بدلاً من المناطق الجغرافية فقط. كما يشرح فينتوري نفسه: "إن جمع هذه المعلومات بدقة يهدف إلى تحديد السمات المميزة للحدث الإجرامي، وبالتالي الشخص الذي ارتكبه".

ومع ذلك، فإن هذا النهج الأكثر تدخلاً يثير تساؤلات حول الخصوصية والمراقبة. إذا كانت بيانات التدريب تحتوي على تحيزات، فإن KeyCrime أيضًا معرض لتعزيزها.

التبعات القانونية للتمييز الخوارزمي

مشكلة التمييز الخوارزمي تصل أخيرًا إلى قاعات المحاكم. في عام 2021، أدانت محكمة بولونيا الخوارزمية "فرانك" التابعة لـ Deliveroo بسبب التمييز ضد سائقي التوصيل، مما وضع سابقة مهمة: لأول مرة يتم اعتبار خوارزمية مسؤولة قانونيًا.

في الولايات المتحدة، تتكاثر الدعاوى الجماعية مثل تلك الموجهة ضد Workday. حيث تُتهم الشركة باستخدام خوارزميات تميز بين المرشحين على أساس العرق والعمر والإعاقة في عمليات التوظيف. وهذا يسلط الضوء على كيف يمكن أن الذكاء الاصطناعي في مستقبل العمل أن يخلق أشكالًا جديدة من التمييز.

أقرت نيويورك أمرًا ثوريًا: لا يمكن لأصحاب العمل استخدام "الأدوات الآلية لاتخاذ القرارات المتعلقة بالعمل" دون أن تكون قد اجتازت تدقيقًا للتحيزات خلال العام الماضي. إنه أول قانون من نوعه في الولايات المتحدة.

أوروبا ترد بـ "قانون الذكاء الاصطناعي" (AI Act)

رد الاتحاد الأوروبي بـ قانون الذكاء الاصطناعي (AI Act)، وهو أول تشريع شامل في العالم ينظم الذكاء الاصطناعي. تتضمن القواعد الجديدة أحكامًا محددة لمكافحة التمييز الخوارزمي:

• المادة 5: تحظر استخدام الذكاء الاصطناعي الذي قد يخلق تمييزًا غير مبرر، خاصة في عمليات صنع القرار التي تتعلق بالأفراد.
• المادة 10: تفرض أن تكون البيانات المستخدمة لتدريب الخوارزميات خالية من التحيزات وتمثل المجتمع.

بالنسبة لأنظمة التعرف على الوجه في الأماكن العامة، يتطلب قانون الذكاء الاصطناعي "إجراءات تقييم أكثر صرامة" و"تراخيص تتناول المخاطر المحددة". إنها خطوة مهمة نحو تنظيم الذكاء الاصطناعي.

التكلفة البشرية للخوارزمية العنصرية

وراء كل إحصائية قصة إنسانية. كان على روبرت ويليامز أن يشرح لبناته سبب اعتقال والدهم. لقد خسر يوم عمل، وتعرض لإهانة الاعتقال العلني، واضطر لمواجهة قلق الإجراءات الجنائية.

كايلسي بيريمان، الشاب الذي يمثله اتحاد الحريات المدنية في مينيسوتا (ACLU)، عاش كابوساً مشابهاً: تم اعتقاله واحتجازه بناءً حصرياً على خطأ في التعرف على الوجه.

هذه ليست "أخطاء في النظام" أو "نتائج إيجابية خاطئة" مقبولة. إنها حياة مدمرة بسبب خوارزميات تعلمت تحيزاتنا وتطبقها بكفاءة الآلات القاسية.

كيف نوقف التمييز الخوارزمي

الحل ليس في التخلص من الخوارزميات، بل في جعلها أكثر عدلاً. يقترح الخبراء عدة استراتيجيات:

تنويع فرق التطوير: إشراك أشخاص من خلفيات متنوعة لاكتشاف التحيزات التي قد تمر دون أن يلاحظها أحد.

تحسين مجموعات البيانات: ضمان تمثيل بيانات التدريب فعلياً لكافة السكان، وليس فقط المجموعات المهيمنة.

مراجعات مستقلة: عمليات تدقيق خارجية منتظمة لتحديد حالات التمييز الناشئة.

شفافية الخوارزميات: جعل معايير اتخاذ القرار مفهومة، على الأقل لمن يتحملون عواقبها.

الإشراف البشري: الحفاظ دائماً على سيطرة بشرية على القرارات الحاسمة، خاصة في المجال الجنائي.

التحكم في حلقات التغذية الراجعة: كسر الحلقات المفرغة التي تضخم التحيزات القائمة.

مستقبل العدالة الخوارزمية

اتخذت بعض الشركات بالفعل موقفاً. بعد احتجاجات جورج فلويد، سحبت شركة IBM تقنية التعرف على الوجه الخاصة بها بالكامل، معلنة أنها "لن تقدم بعد الآن تقنيات التعرف على الوجه لإدارات الشرطة لأغراض المراقبة الجماعية والتوصيف العرقي".

علقت شركتا Microsoft و Amazon مؤقتاً بيع هذه الأنظمة لقوات إنفاذ القانون، في انتظار لوائح تنظيمية أكثر وضوحاً.

لكن المشكلة تتجاوز الشركات الفردية. كما تؤكد جوي بولامويني: "الأمر لا يتعلق فقط بتصحيح خوارزميات معيبة، بل بمعالجة المشكلات الهيكلية التي تسلط هذه العيوب الضوء عليها".

نحو ذكاء اصطناعي أكثر عدلاً

الذكاء الاصطناعي ليس محايداً: إنه مرآة تعكس التحيزات وعدم المساواة وأولويات المجتمع الذي يخلقه. الخوارزميات العنصرية ليست عيباً في النظام، بل هي سمة تنشأ من البيانات التمييزية التي ندربها عليها.

التحدي ليس في خلق ذكاء اصطناعي "محايد تماماً" – وهو هدف ربما لا يمكن تحقيقه – بل في تطوير أنظمة تعزز بنشاط الإنصاف والعدالة. وهذا يتطلب:

• الاعتراف بالمشكلة: الاعتراف بأن التمييز الخوارزمي موجود ومنتشر
• المسؤولية المشتركة: يجب على المبرمجين والشركات والمؤسسات والمجتمع المدني العمل معًا
• الرقابة الديمقراطية: يجب أن يكون للمواطنين رأي في كيفية استخدام هذه الأنظمة
• العدالة التعويضية: يجب أن يتمكن من تعرضوا للتمييز الخوارزمي من الحصول على تعويضات

كما يقول روبرت ويليامز، الرجل الذي اعتقل خطأً في ديترويت: "إذا لم تستطع التكنولوجيا التمييز بين شخص أسود وآخر، فلربما لا ينبغي استخدامها من قبل الشرطة".

إنه درس يتجاوز التكنولوجيا: في مجتمع ديمقراطي، يجب أن تكون أدوات السلطة عادلة للجميع، وإلا فلا ينبغي أن توجد.

التمييز الخوارزمي ليس قدرًا تكنولوجيًا حتميًا. إنه خيار بشري يمكننا ويجب علينا تغييره. كما تؤكد مبادئ أخلاقيات الذكاء الاصطناعي، يجب أن نبني أنظمة تحترم الكرامة الإنسانية وتعزز الإنصاف للجميع.

للبقاء على اطلاع بهذه القضايا الحاسمة، تقوم منظمات مثل معهد الذكاء الاصطناعي الآن وشراكة الذكاء الاصطناعي بنشر أبحاث وإرشادات بانتظام لتطوير الذكاء الاصطناعي بشكل مسؤول.