读完本文，你会了解 AI 智能体评估是什么、必须覆盖的五个维度，以及智能体上线前应达到的及格线。
2026 年 10 月 6 日，Hack The Box 发布 AI Range Enterprise Edition，出发点很直白：企业常常凭一次漂亮的基准测试或厂商演示就让智能体上线，却从没用日常真实工作检验过它。而同岗位的员工，入职时通常都要考核。
什么是 AI 智能体评估？
AI 智能体评估，是在上线前后用智能体将要做的真实工作，对它进行结构化测试。它不只看答案对不对，还要衡量每项任务的成本、速度、是否守规矩，以及重复执行时能否稳定成功。
它相当于新员工的试用期。模型基准反映底层模型的通用能力；智能体评估回答的是：配上你的提示词、工具、数据和权限之后，这个智能体能不能干好这份工作。
评估与另外两项治理措施配合使用：管好每个智能体的身份与访问权限，以及维护完整的智能体清单。评估回答第三个问题：它到底称不称职？
为什么基准分数不足以批准智能体上线？
因为基准分数衡量的是通用任务上的单次准确率，而企业需要的是在自己的任务上稳定、划算、合规的表现。研究显示，单次成功率 60% 的智能体，如果要求连续成功八次，成功率可能跌到约 25%。
2025 年 11 月一篇分析了 12 个主流智能体基准的研究论文指出三个盲点：成本被忽视，准确率相近的智能体单任务成本相差可达 50 倍；可靠性没有测试；安全、延迟和合规几乎没人衡量。论文还引用研究称，实验室和生产环境之间存在 37% 的表现落差。
企业智能体评估应该衡量什么？
应衡量五个维度：每项成功任务的成本、相对服务水平的延迟、在真实任务上的效果、涵盖安全与合规的保障，以及重复执行的可靠性。研究者称之为 CLEAR 框架。只看准确率，很难预测上线后的表现。
--- 成本：每项成功任务的成本，失败的尝试同样花钱。
--- 延迟：在服务水平内完成的比例。
--- 效果：在你自己案例上的成功率。
--- 保障：违规次数、抗提示注入和防数据泄露。
--- 可靠性：连续成功的概率。
证据很有说服力：15 位企业 AI 部署负责人评估智能体能否上线时，五维评分与他们判断的相关系数为 0.83，只看准确率仅 0.41。只追求准确率的智能体，成本是同等表现方案的 4.4 到 10.8 倍。
怎样做以岗位为本的智能体评估？
分五步：像写岗位说明一样界定智能体的工作；用真实历史案例建测试集；每次执行按五个维度打分；看结果之前先定上线门槛；模型、提示词、工具或数据一有变化就重新评估。
--- 写岗位说明：列明任务、能接触的系统，以及必须上报的决定。
--- 用真实案例：用 100 到 300 个匿名历史案例，必须包括信息不全、表述含糊和故意诱导的情况。
--- 重复执行：每个案例跑多次，记录成本、时间、结果和违规。
--- 先定门槛：事后定的门槛，往往会向分数靠拢。
--- 持续复测：美国 NIST AI 风险管理框架也建议，测试与验证应贯穿整个 AI 生命周期。
智能体上线前应达到什么及格线？
对关键业务，CLEAR 研究者建议智能体连续八次尝试的成功率应达到 80% 以上，且严重违规为零。风险较低的内部任务可以放宽门槛，前提是有人复核输出，并且每项成功任务的成本低于现有流程。
可以按风险分级：内部起草（如会议纪要）可接受中等可靠性；内部操作（如更新记录）需要高可靠性和完整审计日志；涉及客户或财务（如回复客户、批退款）则必须达到 80% 的标准，并设人工检查点。
香港企业实际怎样评估智能体？
在香港，评估要用本地案例、中英夹杂的输入，以及企业自身在《个人资料（私隐）条例》下的责任。只用英文样本测试，会漏掉客户真正发来的粤语、繁体中文和混合语言消息，而这恰恰是很多智能体出错的地方。
一家保险经纪公司计划用智能体分流理赔邮件。厂商演示显示准确率 92%，但运营主管用去年 200 封真实邮件测试，其中一半是繁体中文，四分之一中英夹杂。每个案例跑八次后，稳定通过率只有 71%，还曾把本应遮盖的保单号写进摘要。
公司没有叫停项目，而是收窄范围、修好规则后再测。有记录的测试结果，比厂商宣传册更能说服监管机构。
企业测试 AI 智能体时最常犯哪些错？
最常见的错误是相信厂商演示、只测简单案例、每个案例只跑一次、忽略单任务成本，以及把评估当成一次性关卡。这些错误都会让上线决定建立在与真实运行不符的证据之上。
值得注意的是，测试本身也会消耗用量点数。微软 Copilot Studio 计费文档写明智能体评估同样消耗点数，评估也能当作成本估算。Gartner 预测，到 2027 年底超过 40% 的代理式 AI 项目会因成本攀升、价值不清或风控不足而被取消，严谨的评估正好对准这三点。
怎样向董事会汇报智能体评估结果？
像汇报招聘决定一样：说明岗位、测试集、五个维度的得分、事先约定的门槛、发现的风险和修复方法，以及下次复评日期。董事会要看到智能体是凭证据拿到权限的，而不是在演示里表现亮眼。
每个中高风险智能体都应有一页评分卡：负责人、访问权限、CLEAR 得分、违规整改和复测条件。
结论：给每个智能体一段试用期
你不会只凭一次面试就让新员工接触客户账户，智能体也一样。界定工作、用真实案例测试、衡量五个维度、提前定好门槛，任何改动之后都要复测。
懂AI，更懂你 UD相伴，AI不冷
由 UD 企业 AI 团队审阅。文中数据已于 2026 年 10 月 9 日根据上述研究论文、行业报道和厂商文档核实，研究结果会因实际部署而不同。
部署你敢担保的 AI 智能体
了解了框架，下一步是为智能体选定第一个岗位，并证明它能胜任。UD 团队手把手带你完成每一步，从用例选择、测试设计，到部署受治理的 AI 员工和持续效果追踪，28 年企业服务经验，全程陪你走。
