AI 控制：在颠覆之下保持安全

Greenblatt、Shlegeris、Sachan、Roger（Redwood Research，arXiv:2312.06942，ICML 2024）。控制重新表述了安全问题：给定一个不可信、可能正在对你进行对抗性优化的强模型 U，哪些协议能让你在提取有用工作的同时，把不可接受结果的概率限制在界内？可用资源包括一个可信的较弱模型 T、一笔可信人力预算 H，以及编辑 U 输出的能力。在此框架内，在代码后门任务上，可信编辑（Trusted Editing）帕累托支配不可信监控（Untrusted Monitoring）。该框架继承安全工程的最坏情况假设：安全性是指在替代 U 的红队压力下，对抗性选择的 U 无法造成具体不可接受结果的概率。

学习目标

定义 AI 控制的威胁模型：不可信强模型 U、可信弱模型 T、可信人力预算 H。
描述可信编辑协议，并说明为什么它在 ICML 2024 的代码后门任务上帕累托支配不可信监控。
解释对齐（U 可信）与控制（U 不可信，但我们仍然安全）之间的区别。
说明控制的三个局限：人类无法扩展，可信弱模型最终会落后，控制无法产生可信的强模型。

问题

第 7–9 课确立了前沿模型可能欺骗性对齐、谋划或伪装对齐。安全问题被重新表述：我们能否从一个不信任的模型中提取有用工作，而不给它造成不可接受结果的机会？这就是控制问题，其结构类似经典安全：假设最坏情况对手，设计协议，在红队压力下测量对手的成功率。

概念

威胁模型

控制假设：

U —— 不可信强模型。能力强。可能具有对抗性（评估时按此假设处理）。
T —— 可信弱模型。能力较弱，但已知不是对抗性的。
H —— 可信人力。预算小；无法扩展。

系统必须使用 U 产出有用的输出。对手试图造成具体的不可接受结果（例如，在交付的代码中留下后门），同时保持一定比例的合法有用工作以通过有用性阈值。

控制放弃信任 U。它追问的是：在 U 不被信任的前提下，哪些协议能维持安全。

ICML 2024 后门任务

提示是竞赛级编程题。U 生成候选解法。一个隐藏的判定器（oracle）标记解法是否包含后门（一个使代码产生错误输出的特定输入）。红队控制 U，并可以查看所有协议内部细节。协议必须在保持后门交付率低于阈值的同时，最大化解题率。

四种协议比较

基线： 直接交付 U 的输出。有用性最大。安全性最低。
事前审计： 对所有输出使用 H。安全性最大。预算很快耗尽。
不可信监控： U 的第二个实例给第一个实例的输出打分；H 审计被标记的输出。风险：两个 U 实例可能串谋。
可信编辑： T 在每次查询时编辑 U 的输出。如果 T 没有把握，则转交给 H。

Greenblatt 等人发现，可信编辑帕累托支配不可信监控：在每一个安全水平上都有更高的有用性。

为什么可信编辑胜出

不可信监控要求 U 的第二个实例无法与第一个协调。通过隐写线索或共享训练先验，串谋是可能的。该协议必须把预算投入抗串谋（改写、混淆），而这会削弱监控器的信号。可信编辑完全避免了串谋，因为 T 是可信的——按假设，T 提出的任何编辑都不是对抗性的。代价是 T 的能力较弱，因此可能过度拒绝或漏掉细微的后门。

协议的四个轴

U 扮演什么角色：仅生产者、监控者，或两者兼有。
T 扮演什么角色：编辑者、监控者，或重采样者。
H 如何分配：统一审计、随机审计，或标记导向审计。
协议在抗串谋上花费多少算力。

对齐与控制

对齐：「U 是否值得信任？」第 2、4、5、6、7、8、9 课都与这个问题有关。
控制：「我们能否在不信任 U 的情况下安全地使用它？」第 10 课。

对齐是模型的属性。控制是部署协议的属性。控制不产生对齐的模型；它产生的是对可能未对齐模型的安全使用。两条议程都需要。

三个根本局限

人类无法扩展。H 预算受限于愿意审计高难度 AI 输出的人数。
可信弱模型最终会落后。当 T 远弱于 U 时，T 的编辑信号会变成噪声。
控制不是对齐。在 ASL-3（第 18 课）有效的协议，在 ASL-4 未必有效——如果 U 能操纵 T 或推理出 H 的审计分布，控制就会失败。

2025 年的进展

英国 AISI 与 Redwood 合作研究控制安全论证（metr.org / redwoodresearch.org 2025）：控制安全论证主张，在对 U 的最坏情况假设下，协议将不可接受结果的概率限制在界内。安全论证（第 18 课）继承了控制框架。

本节在 Phase 18 中的位置

第 6–9 课描述威胁（欺骗是可能的）。第 10 课在威胁为真的假设下描述防御范式。第 11 课描述互补的进攻范式（通过可扩展监督让 U 变得可信）。

al-control-protocol静态版本未包含此交互图

使用它

code/main.py 在一个玩具后门任务上模拟四种协议。U 生成输出；其中一部分被植入后门（红队策略）。T 批准或编辑。H 在预算内被调用。你可以扫描预算和串谋参数，复现 Greenblatt 等人 2024 年图 2 中的帕累托前沿（形状，而非数值）。

交付它

本课产出 outputs/skill-control-protocol-audit.md。给定一份部署协议描述，它识别 U / T / H 角色，命名串谋向量，并估计协议在红队压力下于有用性—安全性前沿上的位置。

练习

运行 code/main.py。复现可信编辑与不可信监控的有用性—安全性前沿。找出不可信监控的串谋假设成为关键因素的预算区间。

添加一个新协议：「T 以低温度重采样，然后 U 编辑 T 的输出。」测量它在前沿上的位置。为什么它比可信编辑失败得更彻底？

2024 年的论文假设 U 能看到协议。设计一个对 U 隐藏哪些输出正在被审计的协议。该协议对部署基础设施有什么要求？

阅读 Greenblatt 等人 2024 年第 7 节（串谋）。提出一种抗串谋措施，并解释其预期的有用性代价。

为一个部署撰写控制安全论证：U = GPT-4 级，T = GPT-3.5 级，H = 审计 1% 的输出。指出该论证所依赖的单一最强假设。

关键术语

术语	常见说法	实际含义
AI 控制	「颠覆下的安全」	在最坏情况 U 下限制不可接受结果的协议设计
不可信模型（U）	「强模型」	我们想从中提取工作但不信任的能力较强模型
可信模型（T）	「弱模型」	已知非对抗性的较弱模型，用作编辑者 / 监控者
可信人力（H）	「审计预算」	有界的专家劳动；昂贵；作为真值信号
可信编辑	「T 编辑 U」	由 T 把关 U 输出的协议；模糊输出交给 H
不可信监控	「U 监控 U」	由第二个 U 实例给输出打分的协议；只有额外投入才具备抗串谋性
控制安全论证	「形式化论证」	书面论证：协议在最坏情况 U 下限制了对手的成功

示意图共 1 张

control-frontier diagram — control-frontier

问题

概念