在保证 Agent 任务输出质量的前提下，通过动态分流和缓存感知，最大化降低模型推理成本，实现“降本不降质”。
本方案通过 四个技术维度 逐步演进，最终合并收敛为 方案 C（两级接力推荐方案）：用维度 3 的规则守住缓存闸门，用维度 4 的 DeleGate 在闸门内做最优模型选择。级联与隐状态桥只作为方案 C 的可选外挂，不另开方案 D。
在服务端部署 1.7B 极小模型，通过 SFT 微调，给用户 Query 打上 L1-L8 难度标签并进行映射分流。
纯本地运行，不消耗 Token，零网络延迟。基于 4 Layer 路由栈与 Harness 状态进行毫秒级快速分流。
整体任务的模型选择。决定“什么时候允许切”。仅在首轮、压缩后、场景切换三个零成本窗口重路由，守住 3.8x 缓存成本降幅。
子任务的模型选择 (sub-agent)。决定“委派给谁”。在 Agentic 场景中，由 Frontier 强模型做 Controller 拆解任务，将子任务模型选择封装为接口，由可学习 Selector 针对 spec 描述端到端智能委派最优 Worker 档位。
方案 C 并不是简单地在 A 和 B 之间做二选一，而是将 方案 A 的强语义理解能力 与 方案 B 的毫秒级零延迟判定 有机合并，并补上了两者都缺失的 缓存（Cache）感知保护 机制。路由器继续决定「何时换、换给谁」；下面的可选扩展只决定「换的时候怎么交」。
解决“什么时候允许换模型”。如果每轮都切，会彻底打散 Prompt Cache，导致成本暴涨。维度 3 规定：默认不切，只在首轮、压缩后、场景切换这三个本就要丢弃 Cache 的“零成本窗口”才允许重路由。
解决“子任务（sub-agent）切给谁”。在 Agentic 场景中，由 Frontier 强模型担任 Controller 进行任务拆解，而将子任务的模型选择封装为 delegate 接口。接口内部由一个可学习的 Selector 针对子任务的 spec 描述与约束进行端到端智能委派，选择最便宜且能胜任的 Worker 档位（C0-C3）。
单会话 ≤3 次（紧急升配豁免）。严格限制切换频次，防止网络开销与模型抖动。
升级 +2 档 / 降级 -3 档。采用非对称迟滞区间，防止模型在临界点频繁来回切换。
<8K 跨 1 档即切；8K-32K 跨 2 档；>32K 仅允许在场景切换时重路由。
路由的默认动作是「不动」，而不是「重新评估」。非必要不切换，最大化复用已有缓存。
不改推荐、不重排落地规划。级联从「一律不做」收成「无隔离不做」；两条融合路径分别处理切换成本和生成成本。Mostik 宣传数字不采信，以 C2C / XBridge 本地实测为准。
无隔离 FrugalGPT：共享上下文里小模型先答、失败再重跑。仍不做（double billing + 污染后续 agent）。
隔离升级 / 抱怨升档：限 sub-agent 内部，或用户抱怨升一档。闸门与护栏阶段已有，保留。
桥接升级：KV 经翻译桥交给旗舰续跑。可选，分级路由阶段影子、DeleGate 学习化阶段才正式化。
小模型答到一半置信度崩，不丢 KV，经 C2C 式桥注入旗舰后续跑。两模型冻结，只训桥。拓宽维度 3 的切换边界：默认仍少切，必须切时不再毁整段 cache。仅限预注册的本地开源骨干对（如 Qwen）。
强模型只做理解/规划，弱模型按大纲生成。交接物是大纲、约束、实体清单，不是隐状态。零训练、闭源也能走，相当于 DeleGate 在单次回答内部的微缩版。短输出或推导链默认不走。
| 风险变化 | 严重度 | 怎么挡 |
|---|---|---|
| 桥按模型对训练，和 HyDRA 热插拔冲突 | 高 | 只预注册固定骨干对，YAML 标 bridge_required，下线即摘 |
| 纯连续桥接实体丢失（XBridge 实体 F1 ≈ 30%） | 高 | 离散锚 + 连续富集；保真度低于阈值回退传统升级 |
| 闭源旗舰不暴露隐状态 | 中 | 闭源仍走隔离级联；桥只活在本地开源对 |
| 短输出上桥 / 阶段路由倒贴 | 中 | 交给路由器成本函数，默认不命中 |
| 宣传口径放大（Mostik 等） | 低 | 只认开源代码的本地实测，不写进效果承诺 |
为了快速拿到线上真实状态并进行高频迭代，我们需要明确落地所需的关键资源，并利用 可观测与基线阶段 与 分级路由阶段 的运行轨迹，构建 WB 专属的 数据飞轮（Data Flywheel），实现方案的闭环自进化。
--enable-prefix-caching，并为 Gateway 调度器提供 QPS/显存使用率等实时指标接口。深度调研业界顶级科技公司的模型路由方案，吸取其在缓存感知、多级分流以及高可用架构上的工程智慧，为 WB 的演进提供高价值参考。
三大模式：Intelligence、Balance、Cost 调节优化。
缓存经济学：训练与生产测量都将模型切换视为缓存未命中，防止频繁切换抵消节省效果。
在线 A/B 测试：以用户满意度（AFC）和代码保留率（Keep Rate）作为 Reward。
三大模式：Balanced（1-2% 质量差）、Cost（5-6% 质量差）、Quality。
ML 预测器：使用极轻量的 ML 模型在毫秒级内预测最佳模型。
硬性限制：有效上下文受限于池中最小模型的窗口，需动态过滤低上下文模型。
前缀缓存调度：prefix-cache 策略将相同上下文请求发往已缓存其 KV Cache 的物理 GPU 实例。
Prefill-Decode 分离：pd-split 静态分离计算与访存密集型实例。
静默降级：Scheduler 故障时，Gateway 自动静默降级为轮询（Round-Robin）策略。
预分类器：先通过极便宜的 Haiku 进行 simple/standard/complex 预分类，失败则退化为正则匹配。
缓存硬门槛：不同模型有严格的最小缓存 Token 门槛（512 - 4096 tokens），低于门槛则静默不缓存且不报错。
标签解耦：引入 lite（端侧开源）、default（云端中等）、craft（云端旗舰）三档成本标签，解耦 Agent 逻辑。
延迟容忍路由：IM 后台异步执行，对首包时延不敏感，可采用更激进的 Batch 计费或多模型会诊（Ensemble）策略。
| 对比维度 | 方案 A（大模型打标） | 方案 B（本地 Router） | 方案 C（合并推荐） |
|---|---|---|---|
| 定位 | 现有主力，语义强但贵、有延迟 | 本地快、零成本、防抖动 | 演进终局：规则闸门 + 委派学习 |
| 路由器角色 | 1.7B 小模型（需云端推理） | LightGBM / ONNX（端侧本地） | 本地快判定 + 云端难判定 |
| 核心判据 | 语义难度 L1 - L8 | Harness State 四层栈 | 维度 3 定规则，维度 4 学选择 |
| 判定时延 | 280 - 725 ms | 毫秒级 | 取决于走哪一层（快判定毫秒级） |
| 缓存（Cache）保护 | 无保护，易打散 Prompt Cache | 有保护（600s 内禁止降级） | 极佳（仅在零成本窗口切换） |
| 实测均分 / 极差 | 0.409 / 0.220 | 0.397 / 0.185 | ——（合并后待测，理论最优） |
| 评估模式 | 任务完成率 | 整体均分（Relevance/Correctness等） | 极差（越小越稳定） | 成本表现 |
|---|---|---|---|---|
| Level 映射（大模型方案） | 100% | 0.409 | 0.220 | 中等（判定本身产生 Token 消耗与时延） |
| Router（非大模型方案） | 100% | 0.397 (与大模型无统计显著差异) | 0.185 | 极佳（本地运行，零判定成本） |
| Baseline - GLM 5.2 (全旗舰) | 100% | 0.385 | 0.191 | 极高（无路由，全量旗舰模型计费） |
| Baseline - Flash (全轻量) | 100% | 0.355 | 0.275 | 极低，但质量明显下降且最不稳定 |
| 阶段 | 核心动作 | 风险评估 | 独立收益 |
|---|---|---|---|
| 第一阶段 · 可观测与基线 | 日志管道建设、采集 `cache_read_tokens`、构建成本基线看板、制定标注规范；占位 `bridge_used` / `phase_split` | 零风险 | 看清现状，唯一能回答“路由值不值得做”的一步 |
| 第二阶段 · 闸门与护栏 | L0 安全前置、L4 服务路由（同模型多供应商切换）、护栏机制、影子模式 | 极低风险 | 服务路由带来高可用与单价优化，建立安全边界 |
| 第三阶段 · 分级路由上线 | 接入维度 1 分类器、仅在零成本窗口切、引入 600s 禁降窗口与用户抱怨升级；可选：本地 Qwen 对上 C2C 影子对比（不进主链路） | 中风险 | 成本降幅开始兑现，质量不劣于全旗舰基线 |
| 第四阶段 · 本地化+场景兜底 | 方案 B 本地分类器管简单判定、两级判定机制、场景级 Sub-agent 静态档位；可选上机制 B（强规划 / 弱生成） | 中风险 | 路由决策时延降至 50ms 以内，决策本身变免费 |
| 第五阶段 · DeleGate 学习化 | Wrangler 接口协议、离线预训练 Encoder Selector、轨迹级群组 RL 闭环；机制 A 仅在本地实测过关后进 YAML | 高风险 | 选择质量从静态配置升级为可学习，支持模型池热替换 |
深度调研学术界顶会论文与工业界物理层调度架构，为 WB 方案在“缓存保护、智能体步骤级决策、模型池热插拔、数据自进化”上提供坚实的理论支撑与工程蓝图。