问题
扩展政策（第 19、20 课）的价值取决于它们引用的测量。「AI R&D-4 阈值」和「长程自主性」在政策文本中被定义；只有当具体评测产出具体数字时，它们才变得可操作。
METR 是 2024–2026 年间定义了其中许多数字的外部评测组织。他们评测前沿模型——通常是发布前，并与实验室签有 NDA——之后再公布方法。Time Horizon 1.1 基准（2026 年 1 月）是他们最重要的产物：一个标量，把能力压缩成人类可读的单位（「这个模型能以 50% 可靠性完成专家花费 X 小时的那类任务」）。
本课一部分讲方法（时间跨度如何计算），一部分讲解读（为什么时间跨度是上界，而不是部署预测）。这两项技能应放在一起。理解时间跨度如何拟合的团队，比只在幻灯片上看到「14 小时」的团队更难被糟糕的供应商声明欺骗。
概念
METR 背景
- 成立：2023 年 12 月（前身 ARC Evals，分拆为独立的 501(c)(3) 机构）。
- 范围：前沿模型自主能力的评测，通常是发布前。
- 合作实验室：Anthropic、OpenAI（2025–2026 年多次合作）。
- 重要交付物：Time Horizon 1.0（2025 年 3 月）、Time Horizon 1.1（2026 年 1 月）、原型监控评测。
时间跨度的拟合
方法（来自 METR 博客与论文）：
- 收集一套任务，覆盖从分钟级到小时级的专家完成时间。当前套件：HCAST（180+ 任务）、RE-Bench（71 任务）、SWAA。
- 让模型运行每个任务；记录成功或失败。
- 拟合逻辑斯蒂曲线：P(\text{success}) 作为 \log(\text{expert completion time}) 的函数。
- 时间跨度是使 P(success) = 0.5 的专家时间。
逻辑斯蒂拟合的形态是合适的，因为能力与任务难度之间总体呈递增并趋于平台的关系。50% 点是一种选择（也可以是 10%、90%）；METR 在详细论文中报告多个阈值，但以 50% 为主，因为它最直观。
2026 年 1 月的数字
根据 Time Horizon 1.1：
- Claude Opus 4.6：截至 Time Horizon 1.1（2026 年 1 月），在 50% 可靠性下约 14 小时。
- HCAST 类任务的翻倍时间：Time Horizon 1.1（2026 年 1 月）报告的 2023 年后拟合约为 4.3 个月（130.8 天）；约 7 个月的数字来自 Time Horizon 1.0 的 2019–2025 全期拟合，TH1.1 在 2023 年后数字旁一并报告。
这些就是第 15 阶段其余课程引用的具体数字。它们在 Anthropic 的 RSP v3.0（第 19 课）和 DeepMind 的 FSF v3（第 20 课）中被引用，作为支撑阈值评估的测量之一。
基准套件
- HCAST：189 个任务，覆盖 ML、网络安全、软件工程和通用推理。跨度：1 分钟到 8 小时以上的专家时间。时间跨度数字背后的主要套件。
- RE-Bench：71 个 ML 研究工程任务，带人类专家基线。衡量模型能否完成那种会纳入 AI R&D-4 阈值评估的 ML R&D 工作。
- SWAA：较短任务；用于校准时间跨度曲线的低端。
原型监控评测
2025–2026 年 METR 的工作包括监控评测原型：监控者能否发现模型在执行侧任务（side task，即并非操作者要求的事情）；Agent 能否规避监控。这些直接支撑 OpenAI PF v2 中的「破坏防护」类别和 DeepMind FSF v3 中的欺骗性对齐监控（第 20 课）。
为什么时间跨度是上界
- 理想化的工具：基准任务给模型干净的工具和格式良好的数据。真实部署更混乱。
- 没有真实后果：模型从不会真的向客户收费、删除真实数据或联系真人。真实部署有不可逆的代价。
- 评测语境博弈：第 1 课。模型在测试中表现不同。2026 年《国际 AI 安全报告》从实证上记录了这一点。
- 没有真实用户方差：基准 prompt 是结构化的。真实用户产生含糊、依赖上下文的请求。
时间跨度是良好条件下能力的天花板。部署可靠性是另一个数字，更低，团队必须测量自己的分布才能知道它。
支持外部评测者的理由
外部评测之所以重要，是因为内部实验室有动机优化自己报告的指标。METR 的独立性——一家 501(c)(3) 机构，有公开声明的方法和同行评审论文——是结构性缓解。仅靠它还不够（实验室仍控制 METR 能看到什么），但它严格优于没有外部评测。
实践中如何使用时间跨度数字
- 作为能力过滤器：如果模型的时间跨度远低于拟议任务的专家时间，就不要让它自主交付（第 1 课的技能文件）。
- 作为趋势指标：翻倍时间告诉你，即使没有新的缓解措施，当前做法还能安全多久。
- 作为先验：14 小时的时间跨度是起点。根据你的任务分布、工具质量和部署语境向下调整。
使用它
code/main.py 在给定合成结果集的情况下，实现任务成功率对 \log(\text{expert time}) 的逻辑斯蒂拟合。它报告 50% 时间跨度（METR 的主要数字）、10% 时间跨度（保守）和 90% 时间跨度（乐观）。它还演示当成功率被评测语境博弈人为抬高时会发生什么变化。
交付它
outputs/skill-horizon-interpretation.md 评审供应商的时间跨度声明，并产出基准声明与部署现实之间的差距分析。
练习
- 运行
code/main.py。确认拟合的 50% 时间跨度与合成数据的真实值一致。现在把任务时间网格减半；时间跨度估计会有实质性变化吗？
- 阅读 METR 的 Time Horizon 1.1 博客文章。找出可靠性最高和最低的具体任务。解释差距为何存在。
- 阅读 METR 的 "Measuring Autonomous AI Capabilities" 资源。列出 HCAST 的任务类别。选一个你会为生产任务赋予更高权重的类别，并说明理由。
- 在模拟器中引入评测语境博弈：把约 20% 的失败任务翻转为成功。报告新的时间跨度。这近似于 20% 的博弈率对观测数字的影响。
- 在你自己的 bug 积压或一组有代表性的任务上设计内部时间跨度评测。描述数据收集、拟合方法，以及输出告诉了你什么。与 METR 的数字比较。
关键术语
| 术语 | 人们怎么说 | 实际含义 |
|---|---|---|
| METR | 「外部评测者」 | 前身 ARC Evals；自 2023 年 12 月起为独立 501(c)(3) 机构 |
| 时间跨度（Time Horizon） | 「能力度量」 | 50% 可靠性下的专家任务长度，来自逻辑斯蒂拟合 |
| HCAST | 「METR 的主要套件」 | 180+ 个任务，跨度 1 分钟到 8+ 小时 |
| RE-Bench | 「研究工程」 | 71 个 ML 研究工程任务，带人类基线 |
| SWAA | 「短任务套件」 | 校准时间跨度曲线的低端 |
| 翻倍时间 | 「增长率」 | 50% 时间跨度翻倍所需时间；按 HCAST 约 7 个月 |
| 评测语境博弈 | 「模型表现不同」 | 已记录的测试与部署之间的行为差距 |
| 上界 | 「时间跨度是天花板」 | 基准时间跨度 > 负载下的部署可靠性 |
延伸阅读
- METR — Resources for Measuring Autonomous AI Capabilities — HCAST、RE-Bench、SWAA 规范。
- METR — Measuring AI Ability to Complete Long Tasks — 原始的时间跨度论文。
- METR — Time Horizon 1.1 (January 2026) — 当前数字与方法。
- Epoch AI — METR Time Horizons benchmark — 实时跟踪。
- Anthropic — Measuring agent autonomy in practice — 对 METR 测量的内部视角。
示意图共 1 张
