种族歧视算法：当人工智能产生偏见时
了解AI算法如何产生歧视及其根源。通过实际案例与解决方案，探讨如何构建更公平的人工智能系统。
一张普通的假钞导致罗伯特·威廉姆斯被捕。底特律警方人脸识别软件的一个错误，引发了一场卡夫卡式的噩梦，揭示了算法可能比编写它们的人类更具种族偏见。
2020年1月，罗伯特·威廉姆斯在自家院子里，当着妻子和女儿的面被逮捕。指控是什么？从一家商店盗窃豪华手表。问题是什么？威廉姆斯与那起盗窃案毫无关系。将他定罪的是一种人脸识别算法，该算法将他的脸与真正的小偷混淆了。在监狱里度过一夜并接受数小时审讯后，警方意识到了错误：威廉姆斯与被通缉者长得一点也不像。
"这台电脑是不是觉得所有黑人都长得一样？"威廉姆斯向侦探们展示嫌疑人的照片时问道。他看似讽刺的问题背后，隐藏着一个令人不安的真相：警用算法已变得系统性地带有种族偏见。
只看得见白人的软件
威廉姆斯的故事并非个例，而是算法歧视渗透美国安保系统的可预见后果。人脸识别这项我们认为是中立、客观的技术，实际上已经学会了"看"某些人比看其他人更准。
数据是明确的：根据麻省理工学院的"性别阴影"研究，对于肤色较浅的男性，错误率为0.8%，而对于肤色较深的女性，错误率则上升到34.7%。当这些系统落入警方手中时，这40倍的差距就转化成了被毁掉的人生。
麻省理工学院研究员乔伊·布拉姆维尼发现了这个问题，并亲身经历过：实验室的人脸识别软件无法识别她的脸。"我不得不真的戴上一个白色面具才能被检测到，"布拉姆维尼讲述道，她创立了算法正义联盟来对抗这些歧视。
预测犯罪的算法美国
但问题远不止人脸识别。在美国许多城市，越来越复杂的算法不仅被用来识别罪犯，还被用来预测谁将犯下未来的罪行。
COMPAS（矫正罪犯管理替代制裁分析系统）就是这类系统之一。该算法基于137个问题，为在押人员分配风险评分，从而影响法官关于保释、量刑和缓刑的决定。
一项ProPublica的调查揭露，COMPAS存在系统性偏见：被错误归类为"高风险"的黑人几乎是白人的两倍（45%对23%）。相反，被错误归类为"低风险"的白人几乎是黑人的两倍（48%对28%）。
最具代表性的案例是埃里克·卢米斯，他于2013年被捕。法官在量刑时部分参考了COMPAS的评分，但卢米斯始终无法得知算法是如何得出该评估的：其开发公司视算法为商业机密。
芝加哥与"未来罪犯"名单
芝加哥更进一步：战略目标算法编制了一份包含1500人的"热点名单"，这些人据算法预测更有可能实施犯罪。评分范围从0（低风险）到500（高风险）。
该名单使警方能够持续监控这些人的动向，并在他们做出"可疑行为"时进行干预。问题何在？在洛杉矶（使用类似系统）的名单中，84%的人是非洲裔或拉丁裔，而在该市，非洲裔人口仅占总人口的9%。
更令人不安的是：名单中约有一半的人从未因持有武器被捕，10%的人甚至从未与警方有过接触。他们仅因算法预测而被录入数据库。这引发了关于预测性监控及其风险的深刻问题。
PredPol：当数学变得种族歧视
PredPol被美国超过60个警察部门使用，号称能以近乎科学的精度预测犯罪发生地点。该算法分析历史犯罪数据，并指示应集中巡逻的"热点区域"。
问题在于，PredPol最终会延续并放大现有的歧视。它是如何运作的？算法从历史逮捕数据中学习，但我们知道警察在少数族裔社区逮捕的人数更多。这导致算法将越来越多的巡逻力量导向这些区域，从而产生更多逮捕，而这些逮捕又反过来"证实"了算法的预测。
这就是专家们所说的"歧视性反馈循环"：算法复制并放大了现有的偏见，将其变成了自我实现的预言。
在美国这种空间隔离严重的城市，甚至家庭住址也成为了种族和收入的指标。因此，PredPol可以在从未明确使用种族或社会阶层等类别的情况下，学会变得种族歧视。
数据中隐藏的偏见
根本问题在于算法从我们的数据中学习，而我们的数据反映了社会的不平等。正如一位专家所解释："如果你几十年如一日地教一个孩子要恶劣对待有色人种，这个孩子长大后就会遵循这些教导。算法也是如此。"
犯罪数据并非中立：它们反映了关于逮捕谁、在哪里巡逻、什么行为可疑的人类决策。当警察更频繁地巡查某些社区时，他们自然会在那些区域发现更多犯罪，即使实际犯罪率在各处都相似。
一项研究表明，14至24岁的非裔和西班牙裔男性仅占美国人口的5%，却遭受了41%的警察盘查。这些盘查中有90%以无罪释放告终。但与此同时，这些年轻人作为"与警方接触者"被录入数据库，为预测算法提供数据。美国公民自由联盟已广泛记录这些做法如何助长歧视的恶性循环。
意大利与KeyCrime：一种不同的方法？
意大利也有自己的预测警务算法：KeyCrime，由马里奥·文图里开发，米兰警察局使用。结果似乎是积极的：针对超市、商店和药店的抢劫案下降了57%。
与美国软件不同，KeyCrime使用了更多的个人数据，专注于个体而非仅仅是地理区域。正如文图里本人所解释："细致收集这些信息的目的是找出犯罪事件的特征，从而锁定实施犯罪的人。"
然而，正是这种更具侵入性的方法引发了关于隐私与监控的疑问。如果训练数据包含偏见，KeyCrime 也面临着延续这些偏见的风险。
算法歧视的法律后果
算法歧视问题终于进入了法庭。2021年，博洛尼亚法院裁定Deliveroo的"Frank"算法对骑手构成歧视，确立了一个重要先例：这是首次有算法被认定负有法律责任。
在美国，针对Workday等公司的集体诉讼正在激增。该公司被指控在招聘过程中使用基于种族、年龄和残疾进行歧视的算法。这凸显了人工智能在未来工作中的应用可能创造新的歧视形式。
纽约通过了一项开创性法令：雇主不得使用未经过去一年偏见审计的"自动化就业决策工具"。这是美国首部此类法律。
欧洲以《人工智能法案》作出回应
欧盟以《人工智能法案》作出回应，这是全球首部全面的人工智能法规。新规包含针对算法歧视的具体条款：
- 第5条：禁止使用可能造成不合理歧视的人工智能，特别是在涉及个人的决策过程中
- 第10条：要求用于训练算法的数据无偏见且能代表总体人口
对于公共场所的面部识别系统，《人工智能法案》要求"更严格的评估程序"和"应对特定风险的授权"。这是朝着人工智能监管迈出的重要一步。
种族主义算法背后的人性代价
每个统计数字背后都有一个关于人的故事。罗伯特·威廉姆斯不得不向他的女儿们解释为什么爸爸被捕了。他失去了一天的工作，遭受了公开逮捕的羞辱，并不得不面对刑事诉讼带来的焦虑。
凯尔西·佩里曼，这位由明尼苏达州美国公民自由联盟代表的年轻人，也经历了类似的噩梦：他仅基于一次错误的面部识别就被逮捕和拘留。
这些并非可以接受的“系统错误”或“误报”。这是被算法摧毁的人生，这些算法学会了我们的偏见，并以机器冷酷的效率将其付诸实践。
如何阻止算法歧视
解决方案不是消除算法，而是让它们变得更公平。专家们提出了几种策略：
多元化开发团队：吸纳不同背景的人员，以发现可能被忽视的偏见。
改进数据集：确保训练数据真实代表全体人口，而不仅仅是主导群体。
独立审计：定期进行外部审查，以识别新出现的歧视问题。
算法透明度：使决策标准可被理解，至少对那些承受其后果的人而言。
人类监督：始终保持人类对关键决策的控制，尤其是在刑事司法领域。
控制反馈循环：打破那些放大现有偏见的恶性循环。
算法正义的未来
一些公司已经采取了立场。在乔治·弗洛伊德抗议事件后，IBM完全撤回了其面部识别技术，声明“将不再向警察部门提供用于大规模监控和种族定性的人脸识别技术”。
微软和亚马逊则暂时停止向执法机构销售这些系统，等待更明确的法规出台。
但问题超出了单个公司的范畴。正如乔伊·布兰维尼所强调的：“这不仅仅是修正有缺陷的算法，而是要解决这些缺陷所揭示的结构性问题。”
迈向更公平的人工智能
人工智能并非中立：它是一面镜子，反映了创造它的社会所存在的偏见、不平等和优先事项。种族主义算法不是系统的漏洞，而是我们用带有歧视性的数据训练它们时所产生的一个特征。
挑战不在于创造一个“完全中立”的人工智能——这很可能是一个无法实现的目标——而在于开发能够积极促进公平与正义的系统。这需要：
- 承认问题存在：承认算法歧视确实存在且普遍
- 共同责任：程序员、企业、机构和公民社会必须携手合作
- 民主监督：公民必须对如何使用这些系统拥有发言权
- 修复性正义：遭受算法歧视的人必须能够获得赔偿
正如在底特律被错误逮捕的罗伯特·威廉姆斯所说："如果这项技术无法区分一个黑人和另一个黑人，也许它就不应该被警方使用。"
这是一个超越技术本身的教训：在一个民主社会中，权力工具必须对所有人公平，否则就不应该存在。
算法歧视并非技术宿命。它是我们可以且必须改变的人类选择。正如人工智能伦理原则所强调的，我们必须构建尊重人类尊严并促进人人公平的系统。
为了及时了解这些关键议题，像AI Now Institute和Partnership on AI这样的组织会定期发布关于负责任人工智能发展的研究和指南。