讀完這篇文章，你將了解 AI 代理評估的定義、必須涵蓋的五個維度，以及代理上線前應達到的合格標準。
2026 年 10 月 6 日，Hack The Box 推出 AI Range Enterprise Edition，其出發點很直接：企業往往憑一次漂亮的基準測試或供應商示範便讓代理上線，卻從未用日常實際工作去檢驗它。同一職位的員工，入職時通常都要經過考核。
什麼是 AI 代理評估？
AI 代理評估是指在上線前後，以代理將要執行的真實工作，對它進行結構化測試。它不只看答案是否正確，還量度每項任務的成本、速度、是否遵守政策，以及重複執行時能否穩定成功。
它就像新員工的試用期。模型基準反映底層模型的一般能力；代理評估則回答：這個配上你的提示、工具、數據和權限的代理，能否勝任這份工作。
評估與另外兩項管治措施互相配合：掌握每個代理的身份與存取權限，以及備有完整的代理清冊。評估回答的是第三個問題：它是否稱職？
為什麼基準分數不足以批准代理上線？
因為基準分數量度的是通用任務的單次準確率，而企業需要的是在自身任務上穩定、可負擔且合規的表現。研究顯示，單次嘗試成功率 60% 的代理，若要求連續八次成功，成功率可跌至約 25%。
2025 年 11 月一篇分析 12 個主要代理基準的研究論文指出三個盲點：成本被忽略，準確率相近的代理每項任務成本相差可達 50 倍；可靠性未被測試；安全、延遲和政策合規幾乎從未量度。論文亦引述研究指出，實驗室與正式環境之間存在 37% 的表現落差。
企業代理評估應量度什麼？
應量度五個維度：每項成功任務的成本、相對服務水平的延遲、在真實任務上的成效、涵蓋安全與政策遵從的保證，以及重複執行的可靠性。研究人員稱之為 CLEAR 框架。單看準確率，難以預測正式上線後的表現。
--- 成本：每項成功任務的成本，失敗的嘗試同樣要付費。
--- 延遲：在服務水平內完成的比例。
--- 成效：在你自己案例上的成功率。
--- 保證：違規次數、抵禦提示注入及防止資料外洩。
--- 可靠性：連續成功的機率。
證據相當有力：15 位企業 AI 部署負責人評估代理是否可上線時，五維分數與他們判斷的相關系數為 0.83，單看準確率只有 0.41。只追求準確率的代理，成本更是同等表現替代方案的 4.4 至 10.8 倍。
如何進行以職位為本的代理評估？
分五步：像寫職位說明一樣界定代理的工作；以真實歷史案例建立測試集；以五個維度為每次執行評分；在看結果前先訂立上線門檻；每當模型、提示、工具或數據改變時重新評估。
--- 寫職位說明：列明任務、可接觸的系統，以及必須上報的決定。
--- 用真實案例：以 100 至 300 個匿名歷史案例測試，必須包括資料不全、措辭含糊和刻意誘導的個案。
--- 重複執行：每個案例執行多次，記錄成本、時間、結果和違規。
--- 預先定門檻：事後才定的門檻，往往會向分數靠攏。
--- 持續重測：美國 NIST AI 風險管理框架亦建議，測試與驗證應貫穿整個 AI 生命週期。
代理上線前應達到什麼合格標準？
對關鍵業務，CLEAR 研究人員建議代理連續八次嘗試的成功率應達 80% 或以上，且嚴重違規必須為零。風險較低的內部任務可接受較低門檻，前提是有人覆核輸出，而且每項成功任務的成本低於現有流程。
可按風險分級：內部草擬（如會議摘要）可接受中等可靠性；內部操作（如更新紀錄）需要高可靠性和完整審計紀錄；涉及客戶或財務（如回覆客戶、批核退款）則須達到上述 80% 標準，並設人手檢查點。
香港企業實際上如何評估代理？
在香港，評估應使用本地案例、中英夾雜的輸入，以及機構本身在《個人資料（私隱）條例》下的責任。只用英文樣本測試，會忽略客戶真正發出的廣東話、繁體中文及混合語言訊息，而這正是許多代理出錯之處。
一家保險經紀計劃用代理分流索償郵件。供應商示範顯示 92% 準確率，但營運主管以去年 200 封真實郵件測試，其中一半是繁體中文，四分之一中英夾雜。每案執行八次後，穩定通過率只有 71%，並曾把應遮蓋的保單號碼寫進摘要。
公司沒有取消項目，而是收窄範圍、修正規則後重測。有紀錄的測試結果，遠比供應商單張更能說服監管機構。
企業測試 AI 代理時最常犯哪些錯誤？
最常見的錯誤是相信供應商示範、只測簡單案例、每個案例只跑一次、忽略每項任務成本，以及把評估當作一次性關卡。這些錯誤都會讓上線決定建立在與正式運作不符的證據之上。
值得留意的是，測試本身也會消耗用量點數。微軟 Copilot Studio 的計費文件列明代理評估同樣消耗點數，評估亦可作成本估算。Gartner 預測，到 2027 年底逾 40% 的代理式 AI 項目將因成本上升、價值不明或風險管控不足而被取消，嚴謹評估正好針對這三點。
如何向董事會匯報代理評估結果？
像匯報招聘決定一樣：說明職位、測試集、五個維度的分數、事先議定的門檻、發現的風險及修正方法，以及下次重新評估的日期。董事會需要看到代理憑證據取得權限，而不是在示範中表現亮眼。
每個中高風險代理都應有一頁評分卡，列明負責人、存取權限、CLEAR 分數、違規補救及重測條件。
結論：給每個代理一段試用期
你不會只憑一次面試便讓新員工接觸客戶帳戶，代理也應如此。界定工作、用真實案例測試、量度五個維度、預先定好門檻，並在任何改動後重測。
懂AI，更懂你 UD相伴，AI不冷
由 UD 企業 AI 團隊審閱。文中數據已於 2026 年 10 月 9 日根據上述研究論文、業界報道及供應商文件核實，研究結果視乎實際部署而有所不同。
部署你敢於擔保的 AI 代理
了解了框架，下一步是選定代理的第一個職位，並證明它能勝任。UD 團隊手把手帶你完成每一步，從用例選擇、測試設計，到部署受管治的 AI 員工及持續成效追蹤，28 年企業服務經驗，全程陪你走。
