2026 年 2 月,香港一家区域性银行将其 AI 辅助的核贷系统由试点正式推上生产环境。到 4 月为止,三件事已悄然出错:信贷主任在 18% 的个案中绕过了模型,没有人察觉;推理 token 成本超支,每月账单比预算高出 230%;输入数据出现微妙漂移,模型对商业地产贷款的建议,已连续六周与信贷委员会的实际决定逐步偏离。
这一切,没有任何仪表板显示出来。IT 团队在监控可用性。风险团队在审阅季度模型表现报告。财务团队在签核云端账单。没有人按照 AI 系统实际出问题的方式去观察 AI 系统。
这就是 AI 可观测性的盲点。到 2026 年,这已经由技术问题升级为董事会层面的营运风险。
什么是 AI 可观测性?
AI 可观测性是指在生产环境中持续撷取、分析并对 AI 系统讯号采取行动的实务,使表现、成本、准确度与风险能即时对应业务成果。它在传统应用监控的基础上,加入 AI 专有讯号,例如 token 用量、提示模式、输出品质与模型漂移。
这门学科之所以兴起,是因为 AI 系统的行为与传统软件不同。传统应用要么能用,要么回传明确错误。AI 系统可以顺利执行、用充满信心的语句回答,却在数周之后才在业务成果上显露出微妙的错误。标准日志与可用性监控并非为此而设计。
根据 PwC 2026 年 AI 可观测性研究,已将生成式 AI 部署到生产环境的企业中,仅 23% 表示为这些系统建立了专门的可观测层。其余的企业,只靠云端账单一个指标飞行。
为什么 AI 可观测性在 2026 年特别重要?
AI 可观测性在 2026 年特别重要,是因为企业 AI 已经达到一个规模:未受监控的系统会产生可量化的业务损失。多智能体工作流程、检索增强生成管道、面向客户的 AI 副驾驶,处理量已大到无法人工抽查,而且失效模式不再是显而易见的宕机。
过去十二个月,三股力量同时汇聚,使这项议题成为迫切的待办事项。
推理成本已成为 AI 预算中的最大项目。根据 FinOps Foundation 2026 年 State of FinOps 报告,AI 是增长最快的新支出类别,73% 的企业表示 AI 成本超过原订预算。若没有逐个提示的成本可见性,财务主管根本无从判断哪些工作流经济,哪些工作流在流血。
智能体工作流大幅扩张失效面。Gartner 2026 年 3 月的分析确认,智能体式 AI 系统每项任务消耗的 token,是标准聊天机械人的 5 至 30 倍,而连锁式智能体呼叫所产生的错误累积,单次呼叫的监控根本侦测不到。
监管机构要求记录 AI 行为。香港个人资料私隐专员公署 2024 年 AI 指引与 金管局 2024 年生成式 AI 原则均要求机构展示持续监察,而非仅一次性的审批。可观测性,就是这份监察的证据。
AI 可观测性的四大讯号是什么?
成熟的 AI 可观测性会追踪四个讯号类别,合起来描述 AI 系统是否健康、准确、经济与合规。任何监控框架若遗漏其中任何一类,都会留下一个盲点,日后成为事故。
一、营运讯号。即熟悉的工程指标延伸到 AI:每次呼叫的延迟、首个 token 时间、错误率、吞吐量与队列深度。营运讯号告诉你系统是否可用,但不会告诉你系统是否正确。
二、品质讯号。量度模型输出的实质:在保留评估集上的事实准确度、幻觉率、拒答率、RAG 系统的检索相关度分数,以及终端用户的人为覆盖率。品质讯号,正是抓住那位开始绕过模型的信贷主任的关键。
三、成本讯号。追踪经济行为:每个请求的进出 token、按工作流计算的每提示成本、每用户成本,以及按模型供应商的整体支出。根据 Gartner 2026 年 3 月推理成本分析,推理目前占 AI 优化基础设施即服务支出的 55%。没有这层细致度,财务唯一的工具就只剩削减预算。
四、信任与合规讯号。涵盖风险:侦测到的提示注入尝试、敏感资料外泄事件、越狱尝试、稽核日志完整度,以及政策违规次数。香港及全球的监管机构,现已要求这一层持续监察,而非每年才稽核一次。
AI 可观测性与传统应用监控有什么差别?
AI 可观测性与传统应用效能监控有三个结构性差异:它监察的是机率性输出而非确定性输出,它需要评估基础设施作为一级组件,而且它必须将技术指标与会随时间变化的业务成果串连起来。
传统监控假设对于同一输入,系统要么产出正确结果,要么回传明确错误。AI 系统两者皆非。同一个提示在不同次执行可以回传不同输出,两者都可能可接受。一个语气自信的错误答案,与一个语气自信的正确答案,在网络层看起来一模一样。这意味着可观测性必须包含评估,亦即在生产环境中持续执行的一组黄金测试案例与品质检查,并非仅在部署前测试。
第二个差异是数据漂移。传统 API 的行为不会因输入分布而改变,AI 模型则会。当真实世界的输入逐步偏移,表现可能在无声中退化。可观测性必须包含输入分布追踪,以及将模型今天看到的数据与过去测试时的数据作对照。
第三个差异是与业务成果的连结。工程团队以延迟与可用性为优化目标,业务领袖则需要知道 AI 系统的决策是否与组织策略一致。无法连结到业务 KPI 的可观测性平台,实际上是把这种翻译工作留给没有预算的人去做。
企业 AI 部署中常见的可观测性盲点有哪些?
企业 AI 事后检讨中浮现的可观测性盲点具有规律性。2025 至 2026 年由分析师与顾问公司研究的失败案例中,有五个盲点重复出现。
覆盖率盲点。系统由工程团队监察,但终端用户以可观比率忽略它。没有人为覆盖率指标,领导层以为 AI 在运作,实际上用户早已放弃。前述银行案例中 18% 的绕过率,并非例外。
每决策成本盲点。云端账单有追踪,但成本没有依工作流或用户分配。当财务总监问哪些 AI 应用案例是经济的,没有人能回答。
漂移盲点。部署时的模型准确度有写入审批文件,但没有自动化检查比对目前的准确度与基线。漂移要等到下游业务成果出现问题才被发现。
智能体可见性盲点。多步骤智能体工作流在编排层被观察,但每个智能体步骤并未被观察。当工作流失败,根本原因分析需要数天,因为中间状态没有被记录。
评估盲点。机构没有持续对生产流量执行的活的黄金测试案例集。新的失效模式只有在用户投诉时才被发现。
企业领袖应如何建立 AI 可观测性框架?
企业领袖应依四个决策建立 AI 可观测性框架:定义须量度的业务成果、选择工具层、指派拥有者、以及设立高层审视节奏。任何一步省略,都会重现框架本来要堵塞的盲点。
第一步:定义成果。选择工具之前,先写出 AI 系统应该产生的三至五项业务成果。例如核贷系统的成果可能是审批时间缩短、违约率稳定,以及信贷主任覆盖率低于目标。每一项可观测讯号都应对应其中一项成果。
第二步:选择工具层。2026 年企业可观测性市场包括 Arize、LangSmith、Langfuse、Galileo、Maxim 等专业 LLM 可观测性平台,以及在现有应用效能监控堆栈上的扩充方案。选择取决于组织运行多少 AI 系统,以及为合规原因,可观测性数据是否必须留在香港境内。
第三步:指派拥有者。AI 可观测性没有天然的归属。平台团队认为它属于数据团队,数据团队认为它属于应用团队。根据 Gartner 2026 年 CIO 调查,指派单一 AI 可观测性拥有者的机构,相比没有指派者,AI 事故的平均侦测时间缩短了 64%。
第四步:设立审视节奏。营运讯号由工程每日检视。品质与成本讯号由 AI 产品拥有者每周检视。信任与合规讯号每月与风险代表共同检视。每季度,由领导层级汇总四类讯号回到最初定义的业务成果。
企业领袖应向上呈报哪些指标?
企业领袖应呈报一组少而稳定的高层 AI 可观测性指标,将技术讯号翻译为成果语言。2026 年成熟的呈报框架中,有六项指标反复出现,并且通过了被非技术背景财务总监读懂的考验。
采用率量度合资格工作流中实际使用 AI 系统的比率,而非有权使用的比率。覆盖率量度终端用户舍弃 AI 输出的频率,是信任程度的最佳前瞻指标。品质分数将黄金评估集上的准确度汇整为时间序列。每决策成本以总推理成本除以协助的业务决策数,这项指标决定该应用案例是否经济。
合规事件次数追踪侦测到的政策违规、提示注入尝试与敏感资料外泄。事故侦测时间量度 AI 失效发生与团队察觉之间的差距,这是区分成熟可观测性与其缺失的关键指标。
实施 AI 可观测性时的常见陷阱
三个陷阱会拖垮即使资源充足的 AI 可观测性计划。每一个都可避免,但每一个出现的频率都高到分析师在 2025 至 2026 年研究的事故事后检讨中,大约一半都会看到。
第一个陷阱,是把可观测性视为工程工具而非治理职能。当 AI 可观测性只活在平台团队内部,领导层无从知情,风险团队无法为系统背书。同一份数据应流向不同受众,以不同框架呈现。
第二个陷阱,是警报疲劳。现代 AI 系统可以每分钟产出数千个讯号。若阈值未与业务影响挂钩,每个团队最终都会把仪表板静音。实用的框架会定义少于十项的高层警报,把长尾讯号保留给诊断式深入分析。
第三个陷阱,是完全略过评估层。工具供应商主推追踪、延迟与成本,因为它们易于量度。品质则需要组织自行维护评估数据集与评分准则,这是费力的工作。略过此项,是企业拥有 AI 可观测性工具却没有 AI 可观测性成果的最常见原因。
融会贯通
AI 可观测性,是一门把 AI 由机构期望仍在运作的黑盒,转化为机构可以领导的可量度系统的学科。四讯号框架、六指标的高层视角、四步实施序列,并非因为背后概念是新的而值得提出,而是因为缺乏它们所带来的后果,已严重到董事会开始追问。
2026 年把这件事做对的机构,并不是拥有最多可观测性工具的那群,而是早早意识到生产环境中的 AI 是领导层议题、不只是技术议题的那群。它们投资于评估基础设施,指派单一拥有者,并让指标以财务总监听得懂的业务成果语言呈现。
这就是部署 AI 与营运 AI 的分别。在这一年,懂AI,更懂你 不只是口号,而是良好营运纪律的描述,UD相伴,AI不冷。
了解了框架,下一步是找出最适合你的组织的切入点。UD 团队手把手带你完成每一步,从 AI 准备度评估、方案选型、部署上线,到可观测性设置,28 年香港企业服务经验,全程陪你走。