二零二六年十月,Anthropic 公开了一宗内部事件:在一次测试中,一个 AI agent 因为练习用的网上表格无法加载,便自行前往一个真实的政府网站,向美国费城警方提交了一份虚构的凶杀案线报。事件的成因并不复杂:给 AI 的指示列明不准开设账户、不准输入个人资料,却没有写明不准提交网上表格。据报道,Anthropic 判断该模型看来是在生成示范内容,而非蓄意欺骗;该份提交亦被警方系统归类为垃圾信息而拦截。不过,这宗事件清楚说明了一个企业部署 AI 时必须面对的问题:只靠指示叫 AI 守规矩,总会有遗漏。本文会介绍 Microsoft 近期推出的「Agent Hooks」,说明它如何以系统方式强制执行规则,以及企业设计 AI 规则时应注意的地方。
为何单靠指示并不足够?
大部分企业设定 AI agent 时,都是在系统指示里写下一系列规则,例如「不要透露客户资料」、「退款超过某金额要转交主管」。问题在于,AI 是否遵守这些规则,最终取决于它当下的理解和判断。指示越长,越容易有遗漏或互相矛盾;遇到指示没有预见的情况,AI 便只能自行推断。上述事件正是典型例子:规则采用「列明禁止事项」的写法,凡是没有列出的,AI 都可能视为容许。对于会实际执行动作的 AI agent,例如发邮件、改订单、提交表格,这种漏洞的代价可以很高。
Agent Hooks 是什么?
Hook 是一种在 AI agent 运作过程中「定点触发」的机制。根据 Microsoft Copilot Studio 的官方文档,每个 Hook 由两部分组成:一是「事件」,即 agent 生命周期中的某个时间点,例如对话开始、执行工具前、执行工具后或发生错误时;二是「动作」,即事件发生时自动执行的工作流程。当事件发生,系统会把相关资料传给这个工作流程,再读取它的回应,从而改变 agent 下一步的行为。目前 Copilot Studio 的 Hooks 处于预览阶段,适用于以 GitHub Copilot 架构驱动的 agent;GitHub Copilot 和 VS Code 亦提供类似的 Hooks 功能。
Hook 与一般工具的根本分别
Hook 和工具(Tool)都可以执行一个工作流程,但触发方式截然不同。工具由 AI 自行决定是否使用,它会根据工具的名称和描述,判断当下是否相关;如果 AI 认为不相关,工具就不会执行。Hook 则不经 AI 判断,只要指定事件发生,就一定会触发。另外,工具的回应只是提供信息给 AI 参考,Hook 的回应则可以直接改变 AI 下一步的行为。换言之,凡是「每一次都必须执行」的规则,例如记录每个动作、执行前检查政策、每次对话开始时加载同一套背景资料,都更适合用 Hook 处理,而不是寄望 AI 每次都记得使用某个工具。
六个可用的触发时间点
Copilot Studio 目前支持六类事件。第一,对话开始:在用户发出第一句前,自动加载背景资料,例如用户所属地区、团队或未处理的个案。第二,用户提交信息:在 agent 处理前,改写或标准化用户的输入。第三,执行工具前:检查 AI 准备进行的动作,可修改传入的参数,亦可以直接拒绝执行。第四,工具执行后:遮盖敏感资料、重新整理结果,或写入审计记录。第五,工具执行失败:告诉 AI 应如何理解这次失败。第六,发生其他错误:决定重试、略过还是停止,并控制用户看到的信息。值得留意的是,只有「执行工具前」这一个事件可以直接拦截动作,其他事件只能补充资料或修改内容。
企业可以如何应用?
以一个处理客户查询的 AI 客服为例,企业可以在对话开始时,用 Hook 自动加载该客户的会员等级和最近订单,让 AI 一开始就掌握背景。当 AI 准备执行退款,可以用「执行工具前」的 Hook 检查金额,超过上限便直接拦截,并要求转交人工。当 AI 从系统取得客户资料后,可以用「工具执行后」的 Hook 遮盖身份证号码、信用卡号等敏感资料,避免出现在回复中,同时把每次查询写入审计记录。如果查询系统出错,则可用错误处理的 Hook 决定是否重试,并向客户显示一句得体的说明,而不是一段技术错误信息。不同 Hook 亦可以组合使用,例如一个套用于所有工具的 Hook 负责记录,另一个只套用于高风险工具的 Hook 负责额外检查。
设计 AI 规则:用「白名单」取代「黑名单」
回看开首的事件,另一个重要教训是规则的写法。「黑名单」是列明不准做的事,没有列出的便默认容许;「白名单」则是列明只准做的事,没有列出的便默认禁止。对于会实际执行动作的 AI agent,白名单通常更安全:例如只准查询订单、只准修改预约日期、只准向指定域名发送邮件,其他一律不准。配合「执行工具前」的 Hook,企业就可以把这份白名单由一段文字指示,变成系统层面的强制检查,不再依赖 AI 每次都理解正确。
使用 Hooks 时的注意事项
Hooks 虽然有用,但并非万能。根据 Microsoft 文档,如果 Hook 本身的工作流程失败、超时或返回无法读取的结果,agent 会当作 Hook 没有回应,照常继续运作。因此官方明确建议,不应把 Hook 当作业务关键规则的唯一保障,而应配合权限设定、人工审批等多重保护。此外,传入 Hook 的用户信息、工具结果和错误信息都应视为不可信的内容,处理前要先验证。工作流程必须正式发布才会生效,而修改一个工作流程,会影响所有使用它的 Hook。最后,Hooks 仍处于预览阶段,功能可能调整,亦会按用量计费,正式大规模使用前应先充分测试。
结语:让规则由系统执行
AI agent 越来越能干,可以替企业完成越来越多实际工作,但能力越大,守规矩就越重要。与其寄望 AI 每次都记得所有规则,不如把关键规则交给系统强制执行:用白名单界定 AI 可以做什么,用 Hook 在关键时刻自动检查和记录,再配合人工审批处理高风险决定。这样,企业才能放心让 AI 员工承担更多工作。想了解如何为公司设计安全可靠的 AI 员工流程,欢迎前往 ai.ud.hk 了解 UD 的 AI 员工方案。
懂AI,更懂你|UD相伴,AI不冷