你正在面對一個決定：機構內每一個 AI 請求，是否都應交給你授權的最強模型處理？還是部分工作值得交給更便宜的模型？過去，這只是預算表上的零頭。到了 2026 年 10 月，它已成為影響 AI 預算最大的槓桿之一。
Anthropic 於 10 月 7 日推出 Claude Haiku 5.5，十萬 token 以內的提示，每百萬輸入 token 收費 0.10 美元，輸出 0.50 美元。根據 MarkTechPost 的分析，單價比 Haiku 4.5 低約九成，OpenAI 的 GPT-6 Luna 亦標出相同價格。當小模型便宜而且能幹到這個程度，問題已不再是買哪一個模型，而是每一個請求應該交給誰。這門管理功夫，就叫模型路由。
什麼是模型路由？
模型路由（Model Routing）是按每個 AI 請求的性質，自動把它分派給最合適的模型，而不是所有請求都交給同一個模型。簡單工作交給便宜快速的小模型，複雜或高風險工作交給前沿大模型。目標是以一小部分成本，取得接近前沿模型的質素。
可以把它理解為分流。醫院不會讓每位病人都直接見最資深的顧問醫生，而是先由護士評估，再安排合適的診治層級。模型路由器對提示做的，正是同一件事，通常設於應用程式與模型供應商之間的 AI 閘道（AI Gateway）內。
為什麼 2026 年企業必須重視模型路由？
原因在於小模型與前沿模型的價差急劇擴大，而小模型的能力同步提升。Haiku 5.5 與 GPT-6 Luna 每百萬輸入 token 同樣只收 0.10 美元。仍把全部流量交給最貴模型的企業，等於為小模型已能勝任的工作支付前沿價格。
能力方面，Anthropic 公布 Haiku 5.5 在 OSWorld 2.1 離線子集取得 72.4%，Haiku 4.5 只有 15.7%（見 MarkTechPost 整理）。不過同一家族的大模型在每項測試仍然領先，因此正確做法是分流，而不是全面替換。
如果你的機構已開始推行 AI FinOps，模型路由就是把量度結果轉化為實際節省的最直接手段。
模型路由是怎樣運作的？
模型路由主要有四種方法：以固定規則把任務類型對應到模型；以分類器評估每個提示的難度；先由小模型作答、信心不足時才升級的級聯；以及按語意把請求配對到預設路線的語意路由。大多數企業先由規則入手，累積數據後再加入分類器。
四種路由方法
--- 規則路由：應用程式標明任務，例如摘要、分類或草擬合約條款，每類任務固定使用一個模型。簡單、可預測，也容易審計。
--- 分類器路由：以輕量模型預測提示是否需要強模型。LMSYS 的開源框架 RouteLLM 就是以人類偏好數據訓練這類路由器。
--- 級聯路由：小模型先答，若信心分數或驗證不合格，才升級到大模型。
--- 語意路由：把請求轉為向量，配對到最接近的預設意圖，每個意圖對應一個模型與一套政策。
這些方法多數在 AI 閘道內執行。市場正快速成熟：MarkTechPost 於 10 月 14 日比較了九款 AI 閘道，開源項目 vLLM Semantic Router 同週亦推出新的決策模型。路由技術正變成標準配備，但哪類任務需要哪個模型，仍然需要管理層判斷。
模型路由可以節省多少成本？
已發表的研究顯示，視乎工作類型，路由可降低 35% 至 85% 的模型成本，同時保留約 95% 的前沿模型質素。LMSYS 的 RouteLLM 研究指出，相比所有請求都交給 GPT-4，在 MT Bench 可省逾 85%，MMLU 省 45%，GSM8K 省 35%。
以上數字來自 LMSYS RouteLLM 研究，該研究只在一強一弱兩個模型之間分派。85% 應視為最佳情況，35% 至 45% 才是混合企業工作量較實際的規劃範圍。
簡單估算你的節省幅度
假設七成請求可轉到每項任務成本只有十分之一的模型，三成必須留在前沿模型。新成本等於 0.30 加 0.70 乘 0.10，即原來的 37%，未計工程投入已節省 63%。
有兩點必須調整。第一，比較的是每項完成任務的成本，而不是每個 token 的價格。Haiku 5.5 的新分詞器處理相同文字會多計約三成 token，所以 Anthropic 估計平均只節省約 75%，而非九成。第二，要計入升級成本，因為每次級聯失敗都要付兩次費用。
哪些企業工作應交給小模型？
高用量、定義清晰、歧義低的工作最適合小模型：分類、資料擷取、內部文件摘要、第一線客戶回覆，以及代理的子任務。開放式推理、受監管的建議、合約草擬、複雜程式，以及任何會對外造成不可逆後果的工作，應留在前沿模型，並按風險加入人工覆核。
--- 適合小模型：工單與電郵分類、發票及表格欄位擷取、會議與通話摘要、常見問題回覆、例行通告翻譯，以及從文件抽取單一數字等子任務。
--- 留在前沿模型：多步分析、信貸或投資敘述、法律文件、董事會文件、複雜軟件修改，以及涉及金錢或個人資料的決定。
--- 按風險而非只按難度分流：一個簡短請求也可能風險極高，例如回覆監管機構。
企業應如何導入模型路由？
導入模型路由可分四步：先按用量與風險盤點 AI 工作；為每類工作建立評估樣本，定義可接受的質素；由兩三項用量最高的任務開始採用規則路由；然後每週監察每項任務成本與質素，隨模型更新而調整門檻。
四步路由框架
--- 第一步，盤點：列出每個 AI 用例的每月請求量、平均 token 數、所用模型及風險評級。大多數機構三四項工作已佔大部分開支。
--- 第二步，定義質素：每類工作準備 100 至 300 個真實並已去識別化的例子及標準答案，作為候選模型必須通過的測試。
--- 第三步，先做明顯的：把用量最高、風險最低的工作以規則轉到小模型，並保留一鍵切回原模型的後備。
--- 第四步，監察與調整：每週追蹤每項任務成本、升級比率與質素分數。像本月這類新模型發布，應觸發重新測試，而不是推倒重來。
跨供應商路由還有一個附帶好處：降低模型集中風險。同一個閘道既可按成本分流，也可在某家供應商停機或改變條款時自動切換。
模型路由在香港各行業如何應用？
在香港，凡是用量大、工作重複的場景都適合路由：銀行分類客戶訊息、物流公司擷取貨運文件欄位、專業服務公司摘要案件檔案。這些場景由小模型處理大部分工作，前沿模型只保留給建議、草擬，以及監管機構或客戶會閱讀的內容。
金融服務。一家零售銀行每週收到數以萬計的中英文客戶訊息。小模型負責按意圖與緊急程度分類；可能演變成監管事項的投訴，以及涉及投資適合性的查詢，則交由前沿模型處理並加入人工覆核，符合金管局對生成式 AI 消費者保障的期望。
物流。一家貨運代理每天處理提單、發票與裝箱單。欄位擷取交給小模型，並與訂艙紀錄自動核對；只有核對失敗的文件才升級到大模型，再交人工處理。
香港企業大多透過 Amazon Bedrock、Google Cloud 或 Microsoft Foundry 等雲平台使用這些模型，而這些平台均已上架 Haiku 5.5。路由政策亦應寫明個人資料可以送往哪些端點，確保受《個人資料（私隱）條例》規管的請求只會到達已核准的服務。
企業推行模型路由最常犯哪些錯誤？
最常見的錯誤包括：只看 token 單價而不看每項任務成本、跳過評估樣本、不量度質素漂移、路由政策忽略資料處理規則，以及把路由當作一次性項目。每一項錯誤，不是蠶食節省，就是在客戶或監管機構發現之前悄悄拉低質素。
--- 只看單價：便宜模型若要答兩次，或分詞器多計三成 token，每項任務反而更貴。
--- 沒有評估樣本：欠缺共同標準，質素討論就變成各說各話，團隊最後為求穩妥又退回貴模型。
--- 質素漂移：供應商會更新模型，應每週抽查路由結果並與基準比較。
--- 欠缺資料規則：只追求成本的路由器，可能把個人資料送到私隱團隊從未批准的端點。
--- 一次性項目：最佳路線會隨每次模型發布而改變，必須指定負責人。
向財務總監匯報時，應以單位經濟效益表達：每宗已解決工單、每份已處理文件、每份摘要的成本。再配合供應商現時採用的按用量計費模式，商業方案就由承諾變成可預測的數字。
重點速覽
--- 定義：模型路由把每個 AI 請求分派給最適合該任務的模型。
--- 2026 年觸發點：Claude Haiku 5.5 於 10 月 7 日推出，十萬 token 以內每百萬輸入 0.10 美元、輸出 0.50 美元。
--- 研究基準：LMSYS RouteLLM 錄得 35% 至 85% 成本降幅，並保留 95% GPT-4 質素。
--- 四種方法：規則、分類器、級聯、語意路由。
--- 四個步驟：盤點、定義質素、先做明顯的、監察與調整。
結論：只為前沿工作支付前沿價格
模型路由把一則減價新聞，轉化為一門管理紀律。真正受惠於本月減價潮的，不會是把所有工作都換成最便宜模型的企業，而是逐項任務清楚知道自己需要甚麼質素、應付多少成本，並在市場每次變動時重新檢視答案的企業。
懂AI，更懂你 UD相伴，AI不冷
由 UD 企業 AI 團隊審閱。價格與基準數據已於 2026 年 10 月 15 日根據上文連結核實。模型價格經常變動，編製預算前請向供應商確認最新收費。
讓合適的模型做合適的工作
掌握框架之後，下一步是找出哪些流程可以改用更輕量、更便宜的 AI 而不影響質素。UD 團隊手把手帶你完成每一步，從工作盤點、質素測試到部署與成本追蹤，28 年企業服務經驗，全程陪你走。
