- 定义表征性伤害与分配性伤害，并各举一个 LLM 部署中的例子。
- 说出 Gallegos 等人 2024 年提出的三类评估指标，并各描述一个指标。
- 描述交叉性，以及 WinoIdentity 基于不确定性的公平性测量如何弥补单轴偏见评估的缺口。
- 描述两种针对偏见的机制可解释性方法（性别神经元、SAE 特征、注意力头操纵）。
问题
之前的课程涵盖了故意伤害（越狱、图谋）和安全治理。偏见是在没有意图的情况下涌现的伤害——来自训练数据分布、来自 prompt 的框定方式、来自累积的设计选择。测量并减少它与对抗鲁棒性是彼此不同的方法论挑战。
概念
表征性伤害与分配性伤害
- 表征性伤害。 刻板印象、抹除、贬低性描绘。一个把护士一律描绘为女性的 LLM 正在制造表征性伤害。
- 分配性伤害。 不平等的实质性结果。一个给黑人申请人的简历系统性打低分的 LLM 正在制造分配性伤害。
两者并不相同。模型可以「在表征上没有偏见」（产生多样化的描绘），同时「在分配上有偏见」（给出不平等的建议）。评估需要同时测量两者。
三类评估指标（Gallegos 等人 2024）
- 基于 embedding。 在 RLHF 之前的 embedding 上做 WEAT 式测试。测量身份词与属性词之间的统计关联。局限：测量的是表征，不是行为。
- 基于概率。 比较刻板印象印证型与刻板印象违背型补全的对数似然。解码器侧测量。能捕捉部分行为偏见。
- 基于生成文本。 在生成的文本上做下游任务测量。简历评分、建议撰写、对话。生态效度最高；最难以复现。
交叉性
只针对「性别」的偏见评估会漏掉只在（性别，种族）组合上触发的偏见。An 等人 2025 年发现，GPT-4o 在简历评分中对黑人女性的惩罚，分别大于对黑人男性的惩罚和对白人女性的惩罚。单轴评估无法捕捉这一点。
WinoIdentity（COLM 2025）引入了基于不确定性的交叉公平性。它测量模型对结果的不确定性是否在不同交叉身份元组之间有所不同——而不只是点预测。这能捕捉到模型在各群体上同样出错、但对某些群体更不确定的情况，而这种差异会产生不同的下游分配行为。
机制方法
2024-2025 年的可解释性工作让偏见可以被机制性地干预：
- 性别神经元（Yu 与 Ananiadou 2025）。 特定的 MLP 神经元与性别特定行为相关。消融这些神经元可以在能力损失有限的情况下降低性别差距指标。
- 通过 SAE 研究临床种族偏见（Ahsan 与 Wallace 2025）。 稀疏自编码器特征把内部表示分解为可解释的维度；与种族相关的特征可以被识别并抑制。
- UniBias（Zhou 等人 2024）。 通过操纵注意力头实现零样本去偏。特定注意力头会放大身份类别敏感性；把这些头置零或重新加权，就能在不做微调的情况下降低偏见。
元批判
2025 年的一项 10 年文献综述（arXiv:2508.11067）发现，该领域不成比例地聚焦于二元性别偏见。其他轴——残障、宗教、移民身份、多语言身份——得到的关注少得多。元批判认为，狭窄的关注会通过忽视而伤害边缘群体：一个在二元性别上被充分去偏的模型，可能在没人检查的维度上存在严重偏见。
这在第 18 阶段中的位置
第 20-21 课正式讨论偏见与公平性。第 22 课讨论隐私。第 23 课讨论水印。这些是用户伤害层，补充此前的欺骗/安全层。
使用它
code/main.py 构建一个玩具级的、基于 embedding 的偏见探测：在一个简单的共现 embedding 中，测量身份词与属性词之间的 WEAT 式距离。你可以注入一种偏见并观察指标触发；应用一个简单的去偏操作并观察部分恢复。
交付它
本课产出 outputs/skill-bias-eval.md。给定一张模型卡或一项公平性主张，它按三类指标（embedding、概率、生成文本）审计评估、交叉性覆盖情况，以及任何去偏干预的机制。
练习
- 运行
code/main.py。报告去偏步骤前后的 WEAT 式偏见分数。解释为什么该指标不会降到零。
- 给探针扩展一个交叉测试：（性别，种族）×（职业，家庭）。报告跨轴偏见分数。
- 阅读 An 等人 2025（PNAS Nexus）。指出他们报告的两个单轴性别评估会漏掉的交叉效应。
- Yu 与 Ananiadou 2025 识别出性别神经元。设计一个证伪实验，区分「这些神经元导致性别偏见」与「这些神经元与性别偏见相关」。
- 元批判认为该领域对二元性别的关注过于狭窄。选一个研究不足的轴，为它描述一套表征性伤害的测量协议。
关键术语
| 术语 | 人们怎么说 | 它实际意味着什么 |
|---|---|---|
| 表征性伤害 | 「刻板印象 / 抹除」 | 对某一群体的有偏见描绘 |
| 分配性伤害 | 「不平等决策」 | 对某一群体的有偏见实质性结果 |
| WEAT | 「embedding 测试」 | Word Embedding Association Test；基于共现的偏见探针 |
| 交叉性 | 「复合身份效应」 | 在多个身份轴交叉处涌现的偏见 |
| 性别神经元 | 「MLP 偏见神经元」 | 激活与性别特定行为相关的特定神经元 |
| SAE 特征 | 「可解释维度」 | 稀疏自编码器识别出的特征；可用于机制性偏见分析 |
| UniBias | 「注意力头去偏」 | 通过重新加权注意力头实现的零样本去偏 |
延伸阅读
- Gallegos et al. — Bias and Fairness in LLMs: A Survey (arXiv:2309.00770, Computational Linguistics 2024) — 权威综述
- An et al. — Intersectional resume-evaluation bias (PNAS Nexus, March 2025) — 五模型交叉研究
- WinoIdentity — uncertainty-based intersectional fairness (arXiv:2508.07111, COLM 2025) — 新基准
- UniBias — attention-head manipulation (Zhou et al. 2024, ACL) — 零样本去偏
示意图共 1 张
