当算法决定公共卫生：伦理与局限
当AI决定健康时会发生什么？分析算法偏见、不透明性及自动化医疗决策中的责任分散风险，探讨公共卫生中的伦理挑战。
“算法建议将呼吸机分配给65岁以下的患者，因为统计数据显示他们生存概率更高”。
“预测系统已识别出新兴疫情：建议关闭第7学区的学校”。
“人工智能已分析病毒基因组，建议将资源集中于研发X疫苗而非Y疫苗”。
这类曾仅由人类专家做出的决策，如今正日益受到算法系统的影响甚至直接被其取代。疫情极大地加速了这一趋势，使人工智能系统从公共卫生决策的边缘走向核心。但当我们把关乎全体民众生死的决策权交给数学模型时，会发生什么？我们必须清醒认识其中的局限、风险与伦理考量。
技术承诺：为何公共卫生领域需要算法？
在探讨关键问题之前，有必要理解人工智能为何对卫生领域决策者具有如此吸引力。算法系统能带来显著优势：
- 速度与可扩展性：实时分析海量数据的能力，这在卫生紧急情况下至关重要。
- 表面客观性：消除人类偏见，完全基于证据进行决策。
- 高级预测：识别隐藏规律，预测流行病学趋势。
- 资源优化：更高效地配置病床、医护人员和药品等有限资源。
正如《柳叶刀》刊文所指出的，算法有望实现专业知识的普惠化，将先进诊断能力覆盖至地理条件不利地区。这一特点对于我们在纳米机器人与分子医学一文中讨论过的日益加剧的全球医疗不平等现状尤为重要。
然而，正如新兴技术常面临的情况，现实往往比最初承诺更为复杂。
内在局限：算法尚不能胜任的领域
由DeepKnit AI发布的一项批判性分析，指出了算法系统应用于医学领域的几个根本性局限：
1. 有限的语境理解能力
算法擅长识别其训练数据中的模式，但难以理解更广泛的背景。例如，一个算法可能推荐某种治疗方案，却没有考虑患者的社会经济状况、家族史或其他可能影响干预效果的文化因素。
这一局限在公共卫生领域尤其成问题，因为社会、经济和文化因素在其中扮演着至关重要的角色。一个不理解社区社会动态的系统，可能会提出技术上正确但实际无效的干预措施。
2. 对数据质量的依赖
"垃圾进，垃圾出"——这一计算机原理在医疗AI领域尤为贴切。算法不可避免地会反映其训练数据中存在的偏见和局限。
一篇发表在《自然》杂志的文章强调，数据的伦理收集对于开发可靠的医疗AI模型至关重要。当数据集不完整、缺乏代表性或在收集时未充分考虑伦理因素时，由此产生的算法可能会延续甚至放大现有的不平等。
3. 因果推理能力的缺乏
当前大多数算法擅长识别相关性，但不擅长理解因果关系。这一局限在流行病学中尤其成问题，因为区分相关性与因果关系对于有效的干预至关重要。
正如我们在关于全球水资源管理预测算法的文章中所探讨的，这种区分在其他算法决策影响重要资源的领域也同样关键。
4. 缺乏同理心与临床判断
人工智能缺乏医疗专业人员通过多年与患者直接接触所培养的直觉、同理心和临床判断。这种"临床智慧"难以量化和编码，但对于真正以患者为中心的医疗决策而言，它仍然是必不可少的。
伦理困境：当算法遭遇人类价值观
除了技术限制之外，算法在公共卫生领域的应用引发了深刻的伦理困境，《BMJ医学伦理杂志》的一篇文章对此进行了详细探讨。
责任分散：谁为算法决策负责？
当算法做出或影响了一项导致负面结果的决策时，谁应为此负责？是软件开发者？是实施该算法的机构？还是监督该过程的医疗专业人员？这种"责任分散"可能会产生灰色地带，导致没有人真正感到需要负责。
正如我们在关于老年人AI的文章中所讨论的，当算法系统与弱势群体互动时，责任问题变得更加微妙。
分配公平：算法作为有限资源的仲裁者
在COVID-19大流行期间，一些医院尝试使用算法来决定呼吸机等关键资源的分配。这些系统引发了根本性的问题：哪些生命应该被优先考虑？如何在医疗效用与公平正义原则之间取得平衡？
发表在Science Direct上的一篇文章强调，在这些背景下的算法决策从来都不是伦理中立的，它们不可避免地包含了关于哪些生命值得拯救的价值判断。
透明度与有效性：公共卫生的"黑箱"
最先进的算法，特别是基于深度学习的算法，通常像"黑箱"一样运作：它们产生输出，却不提供对其推理过程的可理解解释。这种不透明性在公共卫生这样一个信任和透明度至关重要的领域是有问题的。
美国国立卫生研究院的一项研究表明，算法透明度的缺乏可能会破坏患者的信任，并降低他们对推荐治疗方案的依从性。另一方面，使算法完全透明可能会损害其有效性或产生安全漏洞。
正如在关于配备AI的可穿戴设备的文章中已经强调的那样，这种透明度与功能性之间的平衡，是医疗保健领域人工智能系统面临的最复杂挑战之一。
算法偏见：当数学延续不公
医疗算法中的偏见不仅仅是技术"漏洞"，而是根植于社会和方法论的深层问题。
数据代表性差异
历史上，医学研究过度代表了某些人群（通常是中年白人男性），而牺牲了其他群体。当我们在这些不平衡的数据上训练算法时，我们就有可能创建出对某些群体比对其他群体更有效的系统。
例如，已证明多种医学影像诊断算法在肤色较深的患者身上表现更差，这仅仅是因为训练数据集主要包含白种人患者的图像。
歧视性代理变量
即使不直接访问受保护变量（如种族或性别），算法也可以通过使用相关的"代理"变量来延续歧视。例如，一个算法可能使用邮政编码作为健康风险的预测因子，但由于居住隔离在许多国家是现实情况，这实际上等同于间接考虑了种族因素。
世界卫生组织一份关于医疗人工智能伦理指南的文章强调，这些偏见可能导致加剧而非减少现有健康不平等的建议。
负面反馈循环
当有偏见的算法影响公共卫生决策时，可能会产生延续并放大不平等的反馈循环。如果一个预测系统将更多资源导向已经享有特权的社区（因为它们历史上拥有更好的健康结果），现有的差距将进一步加深。
迈向伦理整合：指南与最佳实践
尽管存在上述问题，人工智能在公共卫生领域的作用将继续增长。挑战不在于是否使用算法，而在于如何以合乎伦理且有效的方式整合它们。
有意义的人类监督
世界卫生组织指南中强调的一个基本原则是"人在回路"：在关键决策中，算法应支持而非取代人类的判断。这要求医疗专业人员对算法系统有足够的理解，以便能够批判性地评估其建议。
正如我们在关于教育模拟的文章中所探讨的，使用模拟环境可以帮助专业人士培养这种与AI系统进行批判性互动的能力。
算法审计与持续评估
一份CIDOB的报告建议，对公共卫生领域的算法系统实施定期审计流程，类似于药物上市后的监测。
这些审计不仅应评估算法的技术准确性，还应评估其对不同人群的影响，以及其与公平、自主、慈善等基本社会价值观的一致性。
参与式与包容性设计
一个有前景的方法，在多份出版物中被强调，即参与式设计：让包括患者和潜在边缘化社区在内的不同利益相关者，参与到医疗算法系统的开发和实施中。
这种方法，类似于我们在关于AI用于环境教育的文章中讨论的，可以确保系统反映更广泛的视角和价值观。
适应性透明度与针对性可解释性
与其追求绝对的算法透明度（这对于某些复杂系统在技术上可能无法实现），一个更务实的方法是采用“适应性透明度”：确保系统与特定利益相关者最相关的方面是可理解和可验证的。
例如，患者可能主要需要将算法建议与其个人情况联系起来的解释，而审计人员则可能需要关于训练数据集和模型参数的技术细节。
未来：迈向人机算法联盟
算法在公共卫生中的整合未来会是什么样子？它很可能既不是完美优化决策的技术乌托邦，也不是不透明系统控制我们健康的反乌托邦。相反，将出现一种人类智能与人工智能相互补充的混合模式。
算法作为人类智能的放大器
人工智能在公共卫生领域最具潜力的前景不在于取代人类判断，而在于增强人类判断：让专家能够处理更多信息、识别隐藏模式，并在决策前测试替代方案。
在这种被某些人描述为"增强智能"而非"人工智能"的范式中，算法作为强大的认知工具，扩展而非取代人类能力。
法规演进与伦理进化
医疗领域算法的监管框架仍处于萌芽阶段。未来几年，我们很可能会看到更复杂的标准发展，在创新与保护之间取得平衡。
与此同时，公共卫生领域的人工智能伦理将继续演变，既受技术发展的影响，也受关于应指导集体医疗决策价值观的社会辩论影响。
算法素养的民主化
未来的一个关键要素将是算法理解能力的民主化：为医疗专业人员、政策制定者和公民提供概念工具，以理解、评估并参与关于影响公共卫生的算法系统的讨论。
这将需要重大的教育投入，超越单纯的数字素养，纳入伦理原则、统计理解和关于技术的批判性思维。
结论：算法导航的伦理指南
算法在公共卫生中的整合代表着一场深刻的变革，堪比20世纪循证医学的引入。如同任何范式革命，它既带来机遇也伴随风险。
真正的挑战不在于技术而在于人文：定义那些能确保算法整合服务于集体人类福祉的价值观、原则和实践。这需要技术开发者、医疗专业人员、政策制定者、伦理学家，尤其是将受这些技术影响的社群之间持续对话。
正如NIH研究所示，我们必须从被动应对伦理问题的方式，转向在算法开发和实施的每个阶段都主动纳入伦理考量的方法。
在此背景下，La Bussola dell'IA将持续监测和分析这一发展趋势，提供批判性思考和概念工具，帮助人们驾驭算法、公共卫生与基本人类价值观之间复杂的交叉领域。
本文探讨了在公共卫生决策中使用算法和人工智能的伦理影响与实际局限。基于最新研究和国际指南，分析既指出了这种技术整合的潜力，也揭示了其风险，强调必须采取平衡的方法，将人文要素始终置于医疗决策的核心位置。