摆在你面前的是一个选择:公司里每一个 AI 请求,是否都该交给你采购的最强模型?还是有相当一部分工作,完全可以交给更便宜的模型?过去这只是预算表上的零头,到了 2026 年 10 月,它已经是 AI 预算里最有分量的杠杆之一。
Anthropic 于 10 月 7 日发布 Claude Haiku 5.5,十万 token 以内的提示,每百万输入 token 收费 0.10 美元,输出 0.50 美元。据 MarkTechPost 的分析,单价比 Haiku 4.5 低约九成,OpenAI 的 GPT-6 Luna 也标出了同样的价格。小模型便宜又好用到这个程度,问题就不再是买哪个模型,而是每个请求该交给谁。这套管理方法,叫做模型路由。
什么是模型路由?
模型路由(Model Routing)是根据每个 AI 请求的特点,自动把它分配给最合适的模型,而不是所有请求都交给同一个模型。简单任务交给便宜、快速的小模型,复杂或高风险任务交给前沿大模型。目标是用一小部分成本,拿到接近前沿模型的质量。
可以把它看作分诊。医院不会让每位病人都直接去看最资深的专家,而是先由护士评估,再安排到合适的科室。模型路由器对提示做的就是这件事,通常部署在业务应用和模型供应商之间的 AI 网关(AI Gateway)里。
为什么 2026 年企业要重视模型路由?
原因很直接:小模型和前沿模型之间的价差迅速拉大,而小模型的能力同步提升。Haiku 5.5 和 GPT-6 Luna 每百万输入 token 都只要 0.10 美元。仍把全部流量交给最贵模型的企业,就是在用前沿价格购买小模型已经能完成的工作。
能力上,Anthropic 公布 Haiku 5.5 在 OSWorld 2.1 离线子集拿到 72.4%,而 Haiku 4.5 只有 15.7%(见 MarkTechPost 汇总)。不过同系列的大模型在每一项测试中依然领先,所以合理的做法是分流,而不是一刀切地替换。
如果你的公司已经开始做 AI FinOps,模型路由就是把度量结果变成真金白银节省的最直接手段。
模型路由是怎么运作的?
模型路由主要有四种做法:用固定规则把任务类型映射到模型;用分类器判断每个提示的难度;先让小模型作答、置信度不够再升级的级联;以及按语义把请求匹配到预设路线的语义路由。大多数企业从规则起步,积累数据后再引入分类器。
四种路由方法
--- 规则路由:业务应用标明任务类型,比如摘要、分类或起草合同条款,每类任务固定用一个模型。简单、可预期,也方便审计。
--- 分类器路由:用轻量模型预测某个提示是否需要强模型。LMSYS 开源的 RouteLLM 框架,就是用人类偏好数据训练这类路由器。
--- 级联路由:小模型先回答,如果置信度或校验不过关,再升级到大模型。
--- 语义路由:把请求转成向量,匹配到最接近的预设意图,每个意图对应一个模型和一套策略。
这些方法大多运行在 AI 网关里,而这个市场成熟得很快:MarkTechPost 于 10 月 14 日对比了九款 AI 网关,开源项目 vLLM Semantic Router 同一周也发布了新的决策模型。路由技术正在变成标配,但哪类任务该用哪个模型,仍然需要管理层拿主意。
模型路由能省多少钱?
公开研究显示,视工作类型不同,路由可以把模型成本降低 35% 到 85%,同时保留约 95% 的前沿模型质量。LMSYS 的 RouteLLM 研究发现,与所有请求都交给 GPT-4 相比,MT Bench 上可省 85% 以上,MMLU 省 45%,GSM8K 省 35%。
这些数字来自 LMSYS RouteLLM 研究,它只在一强一弱两个模型之间分配。85% 应当看作最理想的情况,35% 到 45% 才是混合型企业负载比较现实的规划区间。
快速估算你的节省空间
假设七成请求可以转到单项任务成本只有十分之一的模型,三成必须留在前沿模型。新成本就是 0.30 加 0.70 乘以 0.10,也就是原来的 37%,不算工程投入就已经省下 63%。
有两处要修正。第一,要比较的是每项完成任务的成本,而不是每个 token 的单价。Haiku 5.5 的新分词器处理同样的文字会多算约三成 token,所以 Anthropic 估算的平均节省是 75% 左右,而不是九成。第二,要把升级成本算进去,每次级联失败都意味着付两次钱。
哪些企业工作适合交给小模型?
用量大、定义清楚、歧义少的工作最适合小模型:分类、信息抽取、内部文档摘要、一线客户回复,以及智能体的子任务。开放式推理、受监管的建议、合同起草、复杂代码,以及任何会对外造成不可逆后果的工作,应留在前沿模型上,并按风险加入人工复核。
--- 适合小模型:工单和邮件分类、发票及表单字段抽取、会议和通话摘要、常见问题回复、例行通知翻译,以及从文件里取一个数字这类子任务。
--- 留给前沿模型:多步骤分析、授信或投资报告、法律文书、董事会材料、复杂的软件改动,以及涉及资金或个人信息的决策。
--- 按风险分流,而不只按难度:一个很短的请求也可能风险很高,比如回复监管机构。
企业怎样落地模型路由?
落地模型路由可以分四步:先按用量和风险盘点 AI 工作;为每类工作建立评测样本,明确可接受的质量;从两三项用量最大的任务开始用规则路由;之后每周监控单项任务成本和质量,随着模型更新调整阈值。
四步路由框架
--- 第一步,盘点:列出每个 AI 用例的月请求量、平均 token 数、所用模型和风险等级。多数企业里,三四项工作就占了大部分开支。
--- 第二步,定义质量:每类工作准备 100 到 300 个真实且已脱敏的样例和标准答案,作为候选模型必须通过的考试。
--- 第三步,先做最明显的:把用量最大、风险最低的工作用规则切到小模型,并保留一键回退到原模型的开关。
--- 第四步,监控和调优:每周跟踪单项任务成本、升级率和质量分。像本月这样的新模型发布,应该触发重新评测,而不是推倒重来。
跨供应商路由还有一个附带好处:降低模型集中风险。同一个网关既能按成本分流,也能在某家供应商宕机或改条款时自动切换。
模型路由在各行业怎样应用?
凡是用量大、重复性强的场景都适合路由:银行给客户消息分类,物流公司抽取货运单据字段,专业服务机构给案卷做摘要。这些场景里大部分工作由小模型完成,前沿模型只留给建议、起草,以及监管机构或客户会看到的内容。
金融服务。一家零售银行每周收到数万条中英文客户消息。小模型按意图和紧急程度分类;可能升级为监管事项的投诉,以及涉及投资适当性的咨询,交给前沿模型处理并加上人工复核。
物流。一家货代每天处理提单、发票和装箱单。字段抽取交给小模型,并与订舱记录自动比对;只有比对失败的单据才升级到大模型,再转人工。
企业通常通过 Amazon Bedrock、Google Cloud 或 Microsoft Foundry 等云平台调用这些模型,这几个平台都已上线 Haiku 5.5。路由策略还应写清楚个人信息可以发往哪些端点,确保涉及个人数据的请求只会到达合规审批过的服务。
推行模型路由最常见的错误有哪些?
最常见的错误是:只看 token 单价而不看单项任务成本、跳过评测样本、不监控质量漂移、路由策略忽略数据处理规则,以及把路由当成一次性项目。这些错误要么吃掉节省,要么在客户或监管机构发现之前悄悄拉低质量。
--- 只看单价:便宜模型如果要答两遍,或者分词器多算三成 token,单项任务反而更贵。
--- 没有评测样本:缺了统一标准,质量讨论就变成各说各话,团队最后为了稳妥又退回贵模型。
--- 质量漂移:供应商会更新模型,应每周抽查路由结果并与基线对比。
--- 缺少数据规则:只追求成本的路由器,可能把个人信息发到隐私团队从未批准的端点。
--- 一次性项目:最优路线会随每次模型发布而变化,必须有人长期负责。
向 CFO 汇报时,用单位经济来表达:每张已解决工单、每份已处理单据、每份摘要的成本。再结合供应商现在采用的按用量计费模式,商业论证就从一句承诺变成一组可预测的数字。
要点速览
--- 定义:模型路由把每个 AI 请求分配给最适合该任务的模型。
--- 2026 年触发点:Claude Haiku 5.5 于 10 月 7 日发布,十万 token 以内每百万输入 0.10 美元、输出 0.50 美元。
--- 研究基准:LMSYS RouteLLM 实现 35% 到 85% 的成本降幅,并保留 95% 的 GPT-4 质量。
--- 四种方法:规则、分类器、级联、语义路由。
--- 四个步骤:盘点、定义质量、先做最明显的、监控和调优。
结论:只为前沿工作支付前沿价格
模型路由把一条降价新闻,变成了一项管理纪律。真正从这轮降价中受益的,不会是把所有工作都换成最便宜模型的企业,而是逐项任务都清楚自己需要什么质量、应该花多少钱,并且在市场每次变化时重新审视答案的企业。
懂AI,更懂你 UD相伴,AI不冷
由 UD 企业 AI 团队审阅。价格与基准数据已于 2026 年 10 月 15 日根据上文链接核实。模型价格变动频繁,做预算前请向供应商确认最新报价。
让合适的模型做合适的工作
框架有了,下一步是找出哪些流程可以换成更轻、更便宜的 AI 而不牺牲质量。UD 团队手把手带你完成每一步,从工作盘点、质量评测到部署上线和成本追踪,28 年企业服务经验,全程陪你走。