大模型的 Token 单价连续三年下跌,但很多企业发现,AI 账单不降反升。Gartner 在 2026 年 8 月的预测给出了答案:到 2028 年,每个智能体工作流的推理成本将上升五倍以上,而同期模型价格仍会继续下降。
Gartner 把这个现象称为“推理悖论”(Inference Paradox)。对于按“AI 越来越便宜”来批预算的管理者,这是未来两年最值得重新审视的成本概念。
什么是推理悖论?
推理悖论指的是,AI 每个 Token 的价格持续下降,但用 AI 智能体完成工作的总成本却在上升。模型变便宜之后,企业会构建更复杂的智能体,而智能体完成一项任务消耗的算力,远远超过传统聊天机器人回答一个问题所需的算力。
推理是模型每次生成回答时进行的计算,按 Token 计费。聊天机器人回答一个问题,只需一轮推理;AI 智能体则要规划、调用工具、自我检查,再重试,每一步都是新一轮推理。
Gartner 此前预计,到 2030 年大模型 Token 成本将下降 90% 以上。这与成本上升五倍的判断并不矛盾,两者同时成立。
为什么 Token 降价,智能体成本反而上涨?
因为企业采购的单位变了。过去买的是“一个回答”,现在买的是“一个完整的工作流”。一个工作流可能包含几十个推理步骤、工具调用和重试,每一步还要重新读取越来越长的上下文。用量增长的速度,远远快于降价的速度。
推高成本的机制主要有三个:
--- 推理步骤成倍增加:推理模型在回答前会先“思考”,这些内部 Token 你看不到,但要付费。
--- 上下文不断累积:一个十步任务,往往每一步都重新发送完整记录,第十步的成本可能是第一步的数倍。
--- 能力刺激需求:效率提升节省下来的预算,会被投入更复杂的应用,消耗反而更大。
AI 智能体比聊天机器人贵多少?
Gartner 估计,使用具备推理能力的智能体模型,供应商每次交互的推理成本至少是基础聊天机器人的五倍。Gartner 分析师 Will Sommer 表示,步骤和工具调用更多的复杂工作流,成本可达到基础聊天交互的五到三十倍。
这个区间比任何单一数字都重要。同一个“对账智能体”,设计方式不同,成本可以落在区间底部,也可以落在顶部。
需要提醒财务团队:Gartner 衡量的是供应商侧每个工作流的成本,并不等于你的 AI 总支出或发票金额。它是方向性预警,不是预算数字。
推理悖论为什么对香港企业格外重要?
2026 年正是香港企业从 AI 试点走向正式部署智能体的关键一年,也是推理悖论开始显现的时间点。试点预算按聊天机器人时代的用量测算,而正式运行的智能体全天候、跨部门、规模化运作,成本曲线在上线当天就会改变形状。
三个本地因素放大了这一风险:
--- 应用已经普及:个人资料私隐专员公署 2026 年的合规审查显示,受查的 60 家机构中,95% 已在日常运营中使用 AI。
--- 价值尚未兑现:Gartner 2026 年 10 月的 CIO 研究显示,只有 13% 的 CIO 认为 AI 已带来显著价值。
--- 智能体数量失控:没人盘点智能体,就没人对账单负责。详见我们的 AI 智能体蔓延解析。
企业应该如何衡量 AI 智能体的成本?
应该用“每项完成任务的成本”来衡量,而不是 Token 单价或每个账号的席位费。计算方式是把推理、工具、人工复核和失败返工的总支出,除以智能体正确完成的任务数量。只有这个数字,才能直接和这项工作的业务价值进行比较。
Token 看板告诉工程师发生了什么,却无法告诉运营负责人这个智能体值不值得继续运行。完整的成本指标应包括:
--- 每一步的模型推理费用,包括重试。
--- 搜索、数据库查询和 API 等工具成本。
--- 人工复核输出所花的时间。
--- 智能体放弃或出错、需要人工返工的失败成本。
财务团队如何建立这套机制,可参考我们的 AI FinOps 解析。
控制智能体成本的四个杠杆是什么?
四个杠杆分别是任务分级、步骤预算、上下文管控和价值门槛。它们的目标,是让智能体消耗的智能水平与任务的业务价值相匹配。Gartner 的建议方向一致:采用推理分层、路由和编排机制,而不是所有工作默认都使用最贵的模型。
杠杆一:任务分级。把每个步骤分为常规、判断和高风险三类,常规步骤交给小模型,只有真正需要的步骤才调用前沿推理模型。
杠杆二:步骤预算。为每项任务设定推理步数、工具调用和重试次数上限,超出预算即转人工处理。
杠杆三:上下文管控。精简每一步重新读取的内容,缓存重复资料,压缩冗长记录。
杠杆四:价值门槛。提前约定每项完成任务可接受的最高成本,超出就重新设计或停止。
一家香港物业管理公司如何落地这个框架?
成本控制是上线前的设计决策,而不是收到第一张账单后的财务补救。以一家香港物业管理公司的报修分派智能体为例,试点效果很好,但正式上线后成本大幅超出预算,原因是每一步都调用最强的模型,失败后还会无限重试。
假设一家管理 80 个屋苑的物业公司,用智能体处理住户报修:读取 WhatsApp 讯息、判断紧急程度、匹配承办商、生成工单。试点期每月 500 宗,正式上线后每月 15,000 宗。
应用四个杠杆后,讯息分类和工单格式改用小模型,重试上限设为两次,智能体不再每一步重读整段对话,公司还把每张工单的成本上限与客服主任的工时成本挂钩。紧急个案的判断仍由前沿模型负责,准确度不变,常规工作的成本则明显下降。
企业在 AI 智能体预算上最常犯哪些错误?
最常见的错误,是把智能体当作软件席位来做预算,用试点用量定一个固定的年度金额。智能体更像水电这类公用服务,用量随业务量、复杂度和设计方式而变化。没有用量上限、负责人和复盘节点的预算,通常在正式运行头两个季度就会失控。
--- 用试点推算正式用量:两者的业务量和上下文长度可能相差几十倍。
--- 所有工作用同一个模型:Gartner 警告,默认使用通用自主智能,成本可能比优化设计高出几个数量级。
--- 智能体没有负责人:账单进入公共 IT 成本中心,就没人有动力去优化。
--- 没有停止规则:不划算的智能体继续运行,只因为关停像是承认失败。可参考我们的 AI 停止规则指南。
企业管理者下一步应该做什么?
第一步是列出所有已上线或未来两个季度计划部署的 AI 智能体,逐一估算每项完成任务的成本,然后优先对成本最高的三个工作流应用四个杠杆。向董事会汇报时,要呈现每项任务的成本与价值,而不是 Token 单价。
推理悖论不是放慢智能体部署的理由,而是认真设计智能体的理由。把智能当作需要分配的资源,而不是一键开启的公用服务,你才能在获得能力提升的同时,避免预算冲击。
2027 年的赢家,不会是 Token 最便宜的企业,而是清楚知道每项任务成本多少、为什么是这个数的企业。懂AI,更懂你 UD相伴,AI不冷。
想知道你的 AI 智能体真实成本是多少?
掌握了框架,下一步是把它落到你的业务流程上。UD 团队手把手带你完成每一步:从 AI 准备度评估、流程成本建模、模型选型,到部署上线与成效追踪,28 年企业服务经验,全程陪你走。
由 UD 企业 AI 团队审阅。资料来源核实日期:2026 年 10 月 27 日。