- 说出三个群体公平判据（人口统计均等、均等几率、条件使用准确率均等）以及一个不可能性结果。
- 描述 Dwork 等人 2012 年的 Lipschitz 形式化个体公平。
- 描述反事实公平及其对因果图的依赖。
- 解释回溯反事实，以及它们为何绕开了对受保护属性做干预的问题。
问题
第 20 课讲的是测量偏见。第 21 课讲的是定义测量所应服务的公平性标准。三个家族给出结构上不同的标准——一个模型可以群体公平但个体不公平，可以反事实公平但群体不公平。选择标准是政策决策；没有哪个标准是普遍最优的。
概念
群体公平
- 人口统计均等。 P(Y=1 | A=a) = P(Y=1 | A=a') 对所有群体成立。接受率相等。
- 均等几率。 P(Y=1 | Y=y, A=a) = P(Y=1 | Y=y, A=a')。各群体的 TPR 与 FPR 相等。
- 条件使用准确率均等。 P(Y=y | Y=y, A=a) = P(Y=y | Y=y, A=a')。各群体的预测值相等。
不可能性（Chouldechova、Kleinberg-Mullainathan-Raghavan 2017）：在基准率不相等时，这三者无法同时满足。
个体公平
Dwork 等人 2012。若 |f(x) - f(x')| <= L * d(x, x') 对某个 Lipschitz 常数 L 成立，则决策映射 f 相对于任务特定的相似度度量 d 是个体公平的。相似的个体得到相似的决策。
这需要定义 d。这是政策问题，不是统计问题。
反事实公平
Kusner 等人 2017。在总体的因果模型下，如果反事实地改变个体 i 的敏感属性后决策保持不变，则该决策对 i 是反事实公平的。
这需要因果 DAG。DAG 是一种建模选择。反事实公平的合理性仅取决于 DAG 的合理性。
反事实公平与准确率的权衡
NeurIPS 2024 理论结果：反事实公平与预测准确率之间存在固有的权衡。一种模型无关的方法可以把最优但不公平的预测器转换为反事实公平的预测器，准确率代价有界。准确率代价取决于最优不公平预测器中敏感属性系数的幅度。
回溯反事实
arXiv:2401.13935（2024 年 1 月）。传统反事实要求对敏感属性进行干预——「如果这个人是另一种性别，决策会变吗」。在法律上这有问题：在分类法律中，不能对受保护属性进行干预。
回溯反事实反转了方向：不去干预属性，而是问该个体实际特征的哪种组合本会产生反事实结果。这绕开了法律上的反对意见。
哲学调和
ICLR Blogposts 2024。手头有因果图时，满足某些群体公平度量蕴含反事实公平。三个家族并非彼此正交；它们是同一底层因果结构的不同侧面。
这并没有解决不可能性定理（基准率不相等仍然阻止同时满足群体公平）。但它表明，「群体」与「个体 / 反事实」之间的表面对立，部分是因为没有把因果模型讲清楚而产生的假象。
这在第 18 阶段中的位置
第 20 课是偏见测量。第 21 课是公平性定义。第 22 课是隐私（差分隐私）。第 23 课是水印。这些是与分配相邻的课程，补充与欺骗相邻的第 7-11 课。
使用它
code/main.py 构建一个玩具二分类数据集，带有一个敏感属性和不相等的基准率。在一个简单分类器上计算人口统计均等、均等几率和条件使用准确率均等。观察三个指标互相不一致。应用针对人口统计均等的重加权，观察它在另外两个指标上的代价。
交付它
本课产出 outputs/skill-fairness-criterion.md。给定一项公平性主张或政策，它识别所主张的是哪一个判据、在所声称的不相等基准率下模型能否满足其余判据，以及该主张依赖什么样的因果 DAG。
练习
- 运行
code/main.py。报告默认数据上的三个群体指标。应用以人口统计均等为目标的重加权，并重新报告。
- 用非敏感特征上的 L2 实现 Dwork 等人 2012 年的个体公平度量。报告有多少对在常数 L=1 时违反 Lipschitz 条件。
- 阅读 Kusner 等人 2017。为简历评分构建一个简单的双特征因果 DAG，并指出它所蕴含的反事实公平条件。
- 2024 年的回溯反事实论文避免了对受保护属性进行干预。描述一个这对法律合规很重要的场景。
- ICLR 2024 的调和论证认为群体公平与反事实公平是同一结构的侧面。从
code/main.py的三个判据中选两个，并说明使它们等价所需的因果假设。
关键术语
| 术语 | 人们怎么说 | 它实际意味着什么 |
|---|---|---|
| 人口统计均等 | 「比率相等」 | P(Y=1 |
| 均等几率 | 「TPR/FPR 相等」 | 各群体间真正例率与假正例率相等 |
| 条件使用准确率 | 「PPV/NPV 相等」 | 各群体间预测值相等 |
| 个体公平 | 「Lipschitz 条件」 | 相似的个体得到相似的决策 |
| 反事实公平 | 「因果变更不变性」 | 反事实改变属性后决策不变 |
| 回溯反事实 | 「用实际值解释」 | 从结果反向推理的反事实，而非从属性正向推理 |
| 不可能性定理 | 「三者冲突」 | Chouldechova / KMR 2017：基准率不相等时群体判据互斥 |
延伸阅读
- Dwork et al. — Fairness through Awareness (arXiv:1104.3913) — 个体公平
- Kusner, Loftus, Russell, Silva — Counterfactual Fairness (arXiv:1703.06856) — 反事实公平
- Chouldechova — Fair prediction with disparate impact (arXiv:1703.00056) — 不可能性
- Backtracking Counterfactuals (arXiv:2401.13935) — 受保护属性干预的新范式
示意图共 1 张
