有一個簡單的測試，能決定你下一個 AI 部署，究竟是每月花費數千元，還是數十萬元。關鍵在於一條大多數企業從未問過的問題：這項任務，真的需要一個頂尖模型嗎？本文將給你一套回答這條問題的框架。
什麼是小型語言模型（SLM）？
小型語言模型是一種參數量精簡的 AI 語言模型，通常介乎 20 億至 100 億之間，經過設計以在普通硬件上高效運行。它以大型模型那種廣博的通用知識，換取更低成本、更快回應，以及在自家基礎設施上運行的選項。
大型語言模型（LLM），例如 GPT-4 與 Claude Opus 級別的模型，擁有 700 億至數千億參數。這種規模帶來卓越的推理廣度，但其成本與延遲，對於重複而狹窄的業務任務而言，往往難以合理化。
小型模型與大型模型有何分別？
小型模型與大型模型在四個維度上有分別：規模、成本、速度與廣度。小型模型勝在成本、延遲、私隱與部署靈活性；大型模型勝在推理深度、知識廣度，以及應對陌生或開放式問題的能力。正確的選擇，完全取決於任務本身。
在能力方面，兩者的差距比多數管理層想像的要窄。根據 2025 年 NVIDIA 研究論文《小型語言模型是 Agentic AI 的未來》，當一個 20 億至 100 億參數的模型，針對特定工作經過妥善微調後，其任務表現能夠媲美甚至超越 700 億以上參數的模型。
拉近這道差距的技術，是剪枝、量化與蒸餾，它們在保留特定任務準確度的同時，把模型壓縮。
代價在於範疇。小型模型在它被微調的那項狹窄任務上表現出色，卻不會像頂尖模型那樣，在不相關的領域之間即興發揮。
小型模型比大型模型便宜多少？
小型語言模型的運行成本顯著更低，往往相差一個數量級。運行一個 70 億參數的小型模型，可以比運行 700 億至 1750 億參數的大型模型便宜 10 至 30 倍，在高流量工作負載中，可把推理基礎設施成本削減多達 75%。
按 token 計算的經濟差距十分懸殊。2026 年的行業定價顯示，小型模型約為每百萬 token 0.10 至 0.50 美元，而 GPT-4 級別的模型則為每百萬 token 2 至 30 美元。
在企業規模下，這會重塑預算。分析師估計，在每月一百萬次對話的情況下，一個雲端託管的頂尖大型模型每月可花費 15,000 至 75,000 美元；而同樣流量下，一個部署在自家基礎設施上的微調小型模型，每月僅需 150 至 800 美元。
市場已經留意到這一點。小型模型的邊緣部署市場，預計以 30.3% 的年複合增長率擴張，並於 2030 年達到 128.5 億美元。
企業何時應選小型模型而非大型模型？
當任務狹窄、高流量、重複或涉及私隱敏感時，選小型模型；當任務需要廣泛推理、須應對難以預測的輸入，或流量低到成本並非限制時，選大型模型。這是一項逐項任務的決定，而非全機構一刀切的選擇。
宜選小型模型：當任務定義清晰且每日重複數千次時，例如分類客服工單、從發票中抽取欄位，或草擬標準回覆。
宜選小型模型：當數據不可離開你的範圍時。一家在《個人資料條例》下處理客戶記錄的物流公司，可把小型模型完全運行於內部基礎設施，讓敏感數據永不觸及第三方。
宜選大型模型：當工作屬開放式時，例如複雜的策略分析、全新的研究，或跨陌生領域的多步推理。
宜選大型模型：當流量偏低時。若每日僅數百次查詢，成本差距微不足道，頂尖模型的廣度比那點節省更有價值。
小型語言模型有哪些風險與局限？
小型模型的主要局限，是範疇狹窄、微調所需的工程投入，以及面對意料之外的輸入時表現較弱。一個為某項任務而微調的小型模型，在被交予另一項任務時可能無聲失效，因此界定範疇與評估的紀律，只會更重要，而非更次要。
第一項風險是過度收窄。一個只為抽取發票而微調的模型，無法妥善回答客戶不相關的問題，因此任務邊界必須清晰界定並嚴格執行。
第二項是技能與投入成本。微調、量化與自行託管需要專業能力，而許多香港中型企業內部並不具備，這正是夥伴改變經濟賬的地方。
第三項是評估。由於小型模型偏離受訓範疇時，其自信程度並不會下降，企業在部署前後都需要一套測試與監察流程。
小型加大型的混合策略是甚麼模樣？
2026 年的企業標準是一套混合系統：由微調過的小型模型處理高流量的核心工作負載，而大型模型僅在偶爾出現複雜、開放式任務時才被調用。這種路由方式，能在不犧牲關鍵能力的前提下，攫取大部分成本節省。
NVIDIA 的研究把它描述為一套異質系統，以小型模型處理核心的重複工作負載，並保留大型模型應付偶發的多步策略任務，在大幅降低耗電與成本的同時改善成效。
在實務上，一家專業服務公司可能把 90% 的例行文件工作路由至小型模型，只把真正複雜的那 10% 事務升級至頂尖模型。
對決策者而言，關鍵在於「用哪個模型」並非一次性的採購選擇，而是一項持續的路由決定，而把路由做對，正是投資回報的所在。
給香港領袖的策略啟示
2026 年靠 AI 勝出的企業，不是那些在最大模型上花費最多的企業，而是那些為每項任務配上恰當規模模型的企業，在全日運行的工作負載上，攫取一個數量級的成本優勢。
問題已不再是「哪個 AI 最好」，而是「哪個模型、用於哪項任務、以哪種成本」；而這正是你的競爭對手已在作出的決定，與此同時，不受管理的開支正靜靜侵蝕你的利潤率。
這正是一個經驗豐富的夥伴的價值所在。懂AI的冷，更懂你的難，UD 同行28年，讓科技成為有溫度的陪伴。二十八年來引領香港企業走過每一次技術轉變，我們把這項模型選型的決定，轉化為落地的系統與可量度的節省。
為每項任務部署恰當規模的 AI
懂得何時選小而非選大，是框架；下一步是把它套用到你實際的工作負載上。UD 手把手帶你完成每一步，由梳理任務、選型、部署，到量度成效，28 年企業經驗全程陪你走。
