模型路由：降本的基础原语

问题

你的服务每月在 GPT-5 上花 $80k。分析显示 70% 的查询很简单：「巴黎现在几点？」「把这句话改写一下。」Haiku 级别的模型能以 3% 的成本完美处理这些。30% 需要 GPT-5 的推理能力——编程、数学、多步规划。

如果把 70% 路由到便宜模型、30% 到贵模型，在产品质量不变的前提下账单会降低约 65%。这就是路由。诀窍在于搭好这个代理，同时不让质量退化。

概念

四种路由信号

1. 任务分类：简单/复杂/代码生成/数学/聊天。可以用基于规则的分类器、一个小型 LLM（Haiku 级别，$0.25/M），或与标注桶做 embedding 相似度。输出：route = cheap / balanced / frontier。

2. prompt 长度：超过 4K token 的 prompt 往往需要前沿模型才能保持连贯。低于 500 token 的通常不需要。

3. 与已知困难集的 embedding 相似度：如果查询和某个已知困难桶足够接近（余弦 > 0.88），直接升级到前沿模型。

4. 首轮自置信度：先发给便宜模型；如果模型的 log-prob 显示置信度低，或者它拒绝回答，或者输出模棱两可的措辞，就在前沿模型上重试。这会为约 10% 的流量增加 P95 延迟，但为其余 90% 节省 50% 以上。

三种模式

预路由（Pre-route）（前置分类器）：增加约 5-10ms 延迟；整体最快。

级联（Cascade）（先便宜，置信度低则升级）：中位延迟约 1.2 倍（便宜模型一轮加校验），升级时约 2 倍。质量下限最好。

集成路由（Ensemble route）（对样本并行运行便宜和前沿模型，由奖励模型挑选）：质量最高，成本也最高；只用于关键的 A/B 测试。

实现

AI 网关（Phase 17 · 19）提供路由能力。LiteLLM 有 router 配置，支持 fallback 和成本路由。Portkey 有 guard 和路由。Kong AI Gateway 提供基于插件的路由。OpenRouter 的模型市场提供推荐 API。

开源：RouteLLM（LMSYS）、Not Diamond（商业）、Prompt Mule。

2026 年的价格曲线

改善的大部分来自服务效率——Phase 17 · 04-09 的核心课程变成了供应商侧的成本下降。路由让你在应用层捕获这些收益，而不必等所有用户都迁移到便宜档位。

漂移才是真正的风险

你的路由把 40% 流量送给便宜模型。六个月里，任务分布发生了变化（用户变得更专业，问题更长）。路由器没有察觉，因为它的分类器是在 Q1 数据上训练的。质量悄悄下降。没有人抱怨得足够大声。你是在输给竞争对手的基准测试里发现的。

用在线质量指标把守路由：

• 每条路由的用户点赞/点踩。
• 每条路由在留出样本（5%）上的自动 LLM 裁判。
• 升级率：如果级联向上路由超过 30%，说明便宜模型被过度使用。
• 每条路由的拒答率。

你应该记住的数字

• 2026 年同等质量下的路由节省：案例研究为 20-60%。
• 2022-2026 年 LLM 价格下降：总体约每年 10 倍。
• GPT-4 级别 2022 vs 2026：~$20/M → ~$0.40/M。
• 级联的延迟影响：中位约 1.2 倍，升级时约 2 倍（约 10% 流量）。

使用它

code/main.py 在混合负载上模拟预路由、级联和集成路由。报告混合成本、质量损失和升级率。

交付它

本课产出 outputs/skill-router-plan.md。给定负载和质量预算，选择路由模式与信号。

练习

1. 运行 code/main.py。在什么准确率下限，级联会胜过预路由？
2. 你的用户群 30% 是企业版（复杂查询），70% 是免费版（简单）。设计路由分配。用哪个在线指标把守？
3. 一条路由让质量下降 2%，但节省 40%。该上线吗？取决于产品——请论证正反两面。
4. 用 OpenAI / Anthropic API 的 logprobs 实现置信度检查。你从什么阈值开始？
5. 六个月里，升级率从 8% 攀升到 22%。诊断三种原因，并给出各自的修复方案。

关键术语

延伸阅读

• AbhyashSuchi — Model Routing LLM 2026 Best Practices
• Lukas Brunner — Rise of Inference Optimization 2026
• RouteLLM paper / code
• Not Diamond — model routing
• OpenRouter——提供路由原语的多模型网关。

示意图共 1 张