- 描述 WMDP 的三个领域、题目数量以及「黄色区域」的筛选标准。
- 解释 RMU，以及 WMDP 为何既是评估又是遗忘基准。
- 描述 2024-2025 年的提升叙事：「轻微提升」->「处于边缘」->「不足以排除 ASL-3」。
- 区分相对新手的提升与专家绝对能力。
问题
两用能力是每个实验室前沿安全框架（第 18 课）下的测量问题。核心问题：模型 X 是否实质性地提升了新手在生物、化学或网络领域造成大规模伤害的能力？直接测量（要求模型真的产生伤害）既不合法也不道德。代理测量需要一个模型无法拒绝的基准（以给出诚实的能力数值），但题目本身又不是有害的出版物。
概念
「黄色区域」
这类题目需要关于有害过程的接近性、使能性知识，但本身不是直接的合成配方。「什么试剂催化[已发表路径]的第 4 步？」而不是「我如何制造[危险化合物]？」每道题都由多位领域专家审查，并按 ITAR/EAR 出口管制合规性过滤。
共 4,157 道题：
- 生物安全：1,520
- 网络安全：2,225
- 化学：412
多选题格式。模型作答时并未被要求协助任何事情；因此可以在不诱发有害行为的情况下测量能力。
RMU——用于遗忘的表示误导
配套的遗忘方法。应用于 LLaMa-2-7B，将 WMDP 分数降到接近随机，同时把 MMLU 等通用能力基准保持在几个百分点以内。这一已发表方法是后续每一篇生物—化学—网络遗忘论文的基线。
2024-2025 年的提升叙事
三个阶段：
- 2024 年「轻微提升」。 早期 OpenAI 和 Anthropic 的 Preparedness/RSP 评估报告称，在尝试生物相关任务时，新手相对于互联网搜索只有很小的优势。公开表述：前沿模型有帮助，但并不比 Google 多多少。
- 2025 年 4 月「处于边缘」。 OpenAI 的 Preparedness Framework v2 报告称，模型「正处于显著帮助新手制造已知生物威胁的边缘」。这不是能力断言——而是警告：边缘已经很近。
- Anthropic 2025 年的生物武器获取试验。 与新手参与者进行的对照研究，测量获取阶段任务的相对成功率。报告 2.53 倍提升。不足以排除 ASL-3（第 18 课）——已达到或接近 Anthropic 负责任扩展政策第 3 级的阈值。
相对新手的提升 vs 专家绝对能力
一个关键区别：
- 相对新手的提升。 模型对非专家的帮助有多大？是乘性的。因为新手知道得很少，相对优势很高；哪怕不多的信息也有帮助。
- 专家绝对能力。 模型在最大努力下能产生多少信息？专家能比新手提取更多。绝对上限很高。
安全论证（第 18 课）同时针对两者：「模型无法给新手足够的提升去执行」加上「专家无法从模型提取尚未公开的信息」。
测量陷阱
WMDP 是能力代理指标，而不是部署测量。一个在 WMDP 上得分高的模型，在实践中是否可被新手利用，取决于：
- 诱导阻力（在不触发安全过滤器的情况下，把能力引导出来有多难）
- 隐性知识（需要湿实验室技能而非信息的能力）
- 执行壁垒（采购、设备）
Anthropic 2025 年的生物武器获取试验在 WMDP 式能力之上增加了新手诱导层：它测量实际任务成功率，而不是多选题能力。
这一课在 Phase 18 中的位置
第 12-16 课是作用于模型输出的攻防工具。第 17 课是两用能力层——前沿安全框架（第 18 课）所评估的测量对象。第 30 课用 2026 年当前的网络/生物/化学/核领域提升证据收束这条线。
使用它
code/main.py 构建了一个玩具版 WMDP 式评估装置。一个模拟模型在按类别分箱的题目上接受测试，报告各领域的分数。一个简单的遗忘干预（把领域特定表示置零）会降低分数；你可以测量它与通用能力之间的权衡。
交付它
本课产出 outputs/skill-wmdp-eval.md。给定一项两用能力声明（「我们的模型对生物武器没有实质性帮助」），它会审计：运行了哪些基准、评估使用了哪条拒绝路径（原始补全 vs 策略门控），以及新手诱导研究是否补充了多选题结果。
练习
- 运行
code/main.py。报告玩具遗忘步骤前后各领域的准确率。解释通用能力方面的权衡。
- 给玩具 WMDP 增加第四个领域（例如放射性）。为黄色区域指定两种示例题型。解释为何构造这类题目比添加 MMLU 式题目更难。
- 阅读 WMDP 2024 第 5 节（RMU 方法）。设计一种更简单的遗忘方法（例如抑制领域内容的前 k 个神经元），并描述其预期的通用能力代价。
- Anthropic 2025 的生物武器获取试验报告了 2.53 倍提升。描述两种可能使该数字向上偏倚的原因（新手样本量、任务保真度）和两种向下偏倚的原因（诱导上限、模型安全门控）。
- 阐述 ASL-3 的安全论证除了通过 WMDP 遗忘之外还需要什么。至少列出两项互补的诱导研究。
关键术语
| 术语 | 常见说法 | 实际含义 |
|---|---|---|
| WMDP | 「两用基准」 | 黄色区域内覆盖生物/网络/化学的 4,157 道多选题 |
| 黄色区域 | 「使能但非合成」 | 与有害能力相邻的接近性知识，但不是合成配方 |
| RMU | 「遗忘基线」 | Representation Misdirection for Unlearning；降低 WMDP 分数，保留通用能力 |
| 相对新手的提升 | 「对非专家帮助多大」 | 新手相对于现状（互联网搜索）的乘性优势 |
| 专家绝对能力 | 「专家的上限」 | 有动机的专家能从模型提取的最大信息量 |
| 获取阶段任务 | 「合成之前的步骤」 | 采购、设备、许可——危害路径的最早环节 |
| ITAR/EAR | 「出口管制合规」 | 限制发表某些使能知识的法律框架 |
延伸阅读
- Li 等——The WMDP Benchmark（arXiv:2403.03218，ICML 2024）——基准与 RMU 论文
- OpenAI——Preparedness Framework v2（2025 年 4 月 15 日）——「处于边缘」的表述
- Anthropic——Responsible Scaling Policy v3.0（2026 年 2 月）——ASL-3 生物阈值与获取试验结果
- DeepMind——Frontier Safety Framework v3.0（2025 年 9 月）——生物提升 CCL
示意图共 1 张
