AI 模型的單價連跌三年,企業的 AI 帳單卻沒有跟著下降。根據 Gartner 2026 年 8 月發布的預測,即使模型價格持續下跌,每個 AI 代理工作流程的推理成本在 2028 年前仍將上升超過五倍。
Gartner 將這個現象稱為「推理悖論」(Inference Paradox)。如果你批出 AI 預算時的前提是「AI 會越來越便宜」,這可能是未來兩年最需要重新審視的假設。
什麼是推理悖論?
推理悖論是指 AI 每個 Token 的價格不斷下降,但用 AI 代理完成工作的總成本卻持續上升。原因是模型變便宜後,企業會建構更複雜的代理,而代理完成一項任務所消耗的運算量,遠高於傳統聊天機械人回答一條問題。
推理是模型每次生成答案時所進行的運算,按 Token 計費。聊天機械人回答一條問題,只需一輪推理;AI 代理則要規劃、調用工具、自我檢查,再重試,每一步都是新一輪推理。
Gartner 早前預計大型模型的 Token 成本在 2030 年前將下跌超過 90%。這與成本上升五倍的預測並不矛盾,兩者同時成立。
為什麼 Token 變便宜,代理成本反而上升?
因為企業購買的單位已經改變。過去買的是「一個答案」,現在買的是「一個完成的工作流程」。一個流程可能包含數十個推理步驟、工具調用和重試,而且每一步都要重新讀取不斷變長的上下文,用量增長的速度遠超降價幅度。
三個機制推高了成本:
--- 推理步驟倍增:推理模型在回答前會先「思考」,這些內部 Token 你看不見,但需要付費。
--- 上下文累積:代理執行十步任務時,往往每一步都重新傳送完整紀錄,第十步的成本可以是第一步的數倍。
--- 能力帶來野心:效率提升後,企業會把節省下來的成本投入更複雜的應用,消耗反而更多。
AI 代理比聊天機械人貴多少?
Gartner 估計,使用具推理能力的代理模型,供應商每次互動的推理成本至少是基本聊天機械人的五倍。Gartner 分析師 Will Sommer 指出,步驟和工具調用較多的複雜流程,成本可達基本聊天互動的五至三十倍。
這個區間比任何單一數字更重要。同一個「對帳代理」,視乎設計方式,成本可以落在區間底部,也可以落在頂部。
需要提醒財務團隊的是:Gartner 的數字衡量的是供應商端每個流程的成本,並非你的總 AI 支出或發票金額。它是方向性警號,而非預算數字。
推理悖論為何對香港企業特別重要?
2026 年正是香港企業從 AI 試點走向正式部署代理的一年,也是推理悖論開始發揮作用的時刻。試點預算按聊天機械人時代的用量計算,但正式運行的代理全天候、跨部門、大規模運作,成本曲線在上線那一刻就會改變。
本地三個條件令風險更明顯:
--- 採用已相當普遍:私隱專員公署 2026 年的循規審查顯示,受查的 60 間機構中,95% 已在日常營運中使用 AI。
--- 價值仍未證實:Gartner 2026 年 10 月的 CIO 研究顯示,只有 13% 的 CIO 認為 AI 已帶來顯著價值。
--- 代理數量失控:沒有人盤點代理,就沒有人為帳單負責。詳見我們的 AI 代理蔓延解析。
企業應該如何衡量 AI 代理的成本?
應以「每項完成任務的成本」衡量,而非每個 Token 或每個用戶席位的價格。計算方法是把推理、工具、人手覆核和失敗重做的總支出,除以代理正確完成的任務數量。只有這個數字,才能直接與該項工作的商業價值作比較。
Token 儀表板告訴工程師發生了什麼,卻無法告訴營運總監這個代理是否值得繼續運行。一個完整的成本指標應包括:
--- 每一步的模型推理費用,包括重試。
--- 搜尋、資料庫查詢及 API 等工具成本。
--- 人手覆核輸出所需的時間。
--- 代理放棄或出錯、需要人手重做的失敗成本。
財務團隊如何建立這套紀律,可參考我們的 AI FinOps 解析。
控制代理成本的四個槓桿是什麼?
四個槓桿分別是任務分級、步驟預算、上下文紀律和價值門檻。它們的作用是讓代理消耗的智能程度,與任務的商業價值相匹配。Gartner 的建議方向一致:採用推理分層、路由和協調機制,而不是所有工作都預設使用最昂貴的模型。
槓桿一:任務分級。把每個步驟分為例行、判斷和高風險三類,例行步驟交給小型模型,只有真正需要的步驟才使用前沿推理模型。
槓桿二:步驟預算。為每項任務設定推理步數、工具調用和重試次數上限,超出預算即轉交人手處理。
槓桿三:上下文紀律。精簡每一步重新讀取的內容,快取重複資料,壓縮冗長紀錄。
槓桿四:價值門檻。事先議定每項完成任務可接受的最高成本,超出即重新設計或停止。
一間香港保險公司如何應用這個框架?
成本控制是上線前的設計決定,而不是收到第一張帳單後的財務補救。以一間香港保險公司的理賠初審代理為例,試點時表現理想,但正式上線後成本遠超預算,原因是每個步驟都使用最強大的模型,而且失敗後無限重試。
假設一間 400 人的保險公司以代理初審醫療理賠。試點期每月處理 300 宗,帳單微不足道;正式上線後每月處理一萬宗,每宗都要經過文件擷取、保單條款比對、欺詐風險評估和摘要撰寫。
應用四個槓桿後,文件擷取和格式整理改用小型模型,重試上限設為兩次,代理不再每一步重讀整份文件,公司並把每宗理賠的成本上限與理賠專員的工時成本掛鈎。高難度個案仍由前沿模型判斷,準確度不變,只有例行工作變得便宜。
企業在 AI 代理預算上最常犯哪些錯誤?
最常見的錯誤,是把代理當作軟件席位來編列預算,以試點用量訂出一個固定年度金額。代理的性質更接近公用事業,用量隨業務量、複雜度和設計方式而變化。沒有用量上限、負責人和檢討節點的預算,往往在正式運行頭兩季就會失控。
--- 以試點推算正式用量:兩者的業務量和上下文長度可以相差數十倍。
--- 所有工作用同一個模型:Gartner 警告,預設使用通用自主智能,成本可比優化設計高出幾個數量級。
--- 代理沒有負責人:帳單計入共用 IT 成本中心,就沒有人有誘因去優化。
--- 沒有停止規則:不划算的代理繼續運行,只因關掉它像是承認失敗。可參考我們的 AI 停止規則指南。
企業領袖下一步應該做什麼?
第一步是列出所有已上線或未來兩季計劃部署的 AI 代理,逐一估算每項完成任務的成本,然後先對成本最高的三個流程應用四個槓桿。向董事會匯報時,應呈現每項任務的成本與價值,而不是 Token 單價。
推理悖論不是放慢部署代理的理由,而是刻意設計代理的理由。把智能視為需要分配的資源,而非一按即開的公用設施,你才能在取得能力提升的同時,避免預算衝擊。
2027 年的贏家,不會是 Token 最便宜的企業,而是清楚知道每項任務成本多少、為何如此的企業。懂AI的冷,更懂你的難。UD 同行28年,讓科技成為有溫度的陪伴。
想知道你的 AI 代理實際成本多少?
了解了框架,下一步是把它套用到你的業務流程。UD 團隊手把手帶你完成每一步:從 AI 準備度評估、流程成本建模、模型選型,到部署上線與成效追蹤,28 年企業服務經驗,全程陪你走。
由 UD 企業 AI 團隊審閱。資料來源核實日期:2026 年 10 月 27 日。