Model Routing
模型路由
根据任务难度、模态、延迟与成本约束选择模型,并让降级和切换过程可观察。
何时使用:产品同时使用多个模型,任务差异足以影响质量、速度或成本。
Pattern anatomyLIVE TASK MODEL
ACTIVE RUN
模型路由
1
Intent
2
Policy
3
Route
4
Fallback
适用任务
多模型调度成本优化能力降级
关键构成
- 01Intent
- 02Policy
- 03Route
- 04Fallback
反模式
用一个模型处理所有任务,或静默切换模型却不解释能力变化。
Task flow
从触发到完成
- 01识别任务能力需求
- 02应用路由策略
- 03执行并监控质量
- 04失败时切换 fallback
State contract
必须显式呈现的状态
ClassifyingSTATE_01
RoutedSTATE_02
FallbackSTATE_03
Rate limitedSTATE_04
CompletedSTATE_05
Success metrics
上线后看什么
↗路由命中率
↗降级率
↗单位任务成本
恢复策略
保留原任务上下文,在 fallback 时提示能力或延迟变化,避免用户重复输入。