- 定义 (epsilon, delta)-差分隐私，并说明 DP-SGD 配方。
- 解释 2024-2025 年的张力：canary MIA 与训练数据抽取给出了不同的图景。
- 描述 PMixED，以及为何推理时私有预测可以替代 DP 训练。
- 描述通过 LLM 反馈的差分隐私逆转攻击。
问题
LLM 会记忆。Carlini 等人 2021 表明生产语言模型会按需复现逐字的训练文本。DP 是形式化的防御：通过训练使输出可证明地对任何单个训练样本不敏感。2024-2025 年的证据表明 DP-SGD 是必要的，但部署的 ε 值可能与威胁模型不匹配。
概念
(ε, δ)-差分隐私
随机算法 M 是 (\varepsilon, \delta)-DP，若对任意两个只相差一个样本的数据集，以及任意事件 S：
解释：输出分布足够接近（以 ε 参数化），以至于任何单个个体的贡献都无法被可靠推断，除非以概率 δ 发生。
DP-SGD
Abadi 等人 2016。标准配方：
- 采样一个 mini-batch。
- 计算每个样本的梯度。
- 将每个样本的梯度裁剪到阈值 C。
- 对裁剪后的梯度求和，并加入标准差为 \sigma \cdot C 的高斯噪声。
- 用带噪的和更新参数。
隐私成本由隐私会计（privacy accountant）追踪（Moments Accountant、Rényi DP accountant）。LLM 文献中报告的 ε 值因威胁模型、数据敏感性和效用目标而差异很大；不存在普遍「安全」的默认 ε。已发表的例子在某些 LLM 训练设置中大致在 ε ≈ 1–10 范围内，但这些只是示例——不是推荐的默认值。更低的 ε 通常需要更多噪声，可能增加效用损失。
LoRA + DP-SGD
对前沿模型做完整的 DP-SGD 代价过高。LoRA（Hu 等人 2022）把梯度更新限制在一个小型适配器上，减少每个样本梯度的存储。LoRA + DP-SGD 是 2025 年的常见配置。DP 保证作用于适配器；基座模型保持固定。
2024-2025 年的张力
两条证据线：
- Canary MIA（Duan 等人 2024）。 在训练数据中插入独特的 canary，测量成员推断攻击者能否识别它们。报告在语言模型上成功率有限。暗示 MIA 很难。
- 训练数据抽取（Carlini 2021、Nasr 等人 2025）。 用前缀提示模型；测量它能否逐字恢复训练文本。报告了大量记忆。暗示在相关意义上 MIA 很容易。
2025 年 3 月的化解（arXiv:2503.06808）：两者测量的东西不同。MIA 在插入的 canary 上问「样本 e 是否在 D 中？」抽取问「我能从 D 中恢复什么？」对隐私而言重要的是「最容易被抽取」的样本；canary 会低报这一点，因为它们没有被优化成容易被抽取的。
新的 canary 设计。无需影子模型的基于损失的 MIA。首次对真实数据上、具有现实 DP 保证的 LLM 进行非平凡的 DP 审计。
DP 训练的替代方案
- PMixED（arXiv:2403.15638）。 推理时的私有预测。对下一 token 分布做专家混合；每个专家看到训练数据的一个分片；聚合时加入噪声以实现 DP。完全避免 DP 训练。
- DP 合成数据生成（Google Research 2024）。 用 DP-SGD 做 LoRA 微调，采样合成数据，在合成数据上训练下游分类器。
两者都以不同的威胁模型为代价，绕开了完整 DP 训练的效用成本。
通过 LLM 反馈的差分隐私逆转
2025 年的新兴攻击。把 DP 训练模型的置信度分数当作预言机来重新识别个体。即使输出不泄漏，置信度分布也可能泄漏。
防御：不要暴露置信度，或在暴露前截断 / 量化它们。这是 (ε, δ)-DP 训练之外的额外要求。
这在第 18 阶段中的位置
第 20-21 课是偏见/公平性。第 22 课是隐私。第 23 课是通过水印实现的来源。第 27 课涵盖监管的数据来源层。
使用它
code/main.py 在玩具二分类数据集上模拟 DP-SGD。你可以扫描噪声乘数 σ 和裁剪范数 C，跟踪 (ε, δ) 预算和准确率成本。一个「canary 攻击」插入一个独特的训练样本，测量对数损失检验能否在 DP 前后检测出它。
交付它
本课产出 outputs/skill-dp-audit.md。给定一项关于语言模型部署的 DP 主张，它审计：(ε, δ) 值、所使用的会计、MIA 评估协议，以及是否评估了置信度暴露路径。
练习
- 运行
code/main.py。扫描 \sigma \in \lbrace 0.5, 1.0, 2.0 \rbrace，报告 (ε, δ) 与准确率的权衡。指出效用崩溃的点。
- 实现 canary 插入和对数损失检验。测量 \sigma = 1.0 时 DP-SGD 前后的检测率。
- 阅读 Nasr 等人 2025 关于训练数据抽取的工作。为什么在中等 ε 下抽取成功率不会崩溃？这对「把 MIA 当作评估」意味着什么？
- 设计一个完全在推理时运行的 PMixED（arXiv:2403.15638）部署。PMixED 应对的是哪种 DP-SGD 未应对的威胁模型？
- 描述通过 LLM 反馈的 DP 逆转攻击。设计一种限制置信度分数泄漏的对策，并估计其部署成本。
关键术语
| 术语 | 人们怎么说 | 它实际意味着什么 |
|---|---|---|
| DP | 「(ε, δ)-差分隐私」 | 形式化隐私：相邻数据集变化时输出分布接近 |
| DP-SGD | 「注入噪声的 SGD」 | 梯度裁剪 + 高斯噪声；标准 DP 训练 |
| LoRA + DP-SGD | 「高效私有微调」 | 在低秩适配器上做 DP-SGD；2025 年标准配置 |
| MIA | 「成员推断」 | 判断某个样本是否在训练数据中的攻击 |
| Canary | 「插入的水印样本」 | 用于测量 DP 泄漏的独特训练样本 |
| PMixED | 「私有推理混合」 | 通过对下一 token 分布做专家混合实现的推理时 DP |
| DP 逆转 | 「置信度泄漏攻击」 | 用模型置信度作为重新识别预言机的攻击 |
延伸阅读
- Abadi et al. — DP-SGD (arXiv:1607.00133) — 标准 DP 训练算法
- Carlini et al. — Extracting Training Data (arXiv:2012.07805) — 经典的抽取论文
- Duan et al. — Canary MIA on LLMs (arXiv:2402.07841, 2024) — 成功率有限的 MIA
- Kowalczyk et al. — Auditing DP for LLMs (arXiv:2503.06808, March 2025) — 化解该张力
- PMixED (arXiv:2403.15638) — 推理时私有预测
示意图共 1 张
