让 AI 从经验中学习,是近年 AI agent 发展的热门方向。常见做法是叫 AI 把每次做事的「心得」记录下来,例如总结出一条规则、一段摘要或一套技巧,下次遇到类似工作便直接套用,令它在不重新训练模型的情况下越做越好。然而,二零二六年十月十九日发表的一份研究论文《More Memory, Worse Agents》指出,这种做法可能带来一个隐藏问题:错误会被记忆不断复制,令 AI 越做越差。本文会解释什么是「错误循环」、研究人员提出的「Anti-Persistence」记忆设计,以及企业管理 AI 记忆时可以参考的做法。
AI agent 如何「从经验学习」?
大型语言模型本身的参数在使用时不会改变,因此要让 AI agent 累积经验,通常会为它加上一个外部记忆。每次执行任务后,系统可以保存两类内容。第一类是原始记录,即 AI 实际做了哪些步骤,以及最终成功还是失败。第二类是抽象化的知识,即 AI 从这些记录中自行总结出来的规则、摘要和技巧,例如「处理这类查询时,应先查看订单状态」。下次遇到新任务,AI 便会从记忆中提取相关内容作参考。
保存「心得」的好处与风险
保存抽象化的知识有明显好处:AI 不必每次都从大量原始记录中重新推敲,可以直接沿用已整理好的策略,既快又省成本。这也是很多人以为「记得越多越好」的原因。问题在于,AI 总结出来的规则不一定正确。它可能从少数个案得出过度概括的结论,或者误解了成功的真正原因。一旦错误的规则被储存下来,之后每次被提取和沿用,错误便会延续到新的决定之中。
什么是「错误循环」?
研究人员发现,错误的影响不止于被直接沿用。错误的规则会影响 AI 的实际做法,而这些做法又会成为新的原始记录;当 AI 再从这些记录总结经验时,便很可能再次得出同一个错误结论。论文把这个机制称为「错误重现」(error reproduction),即错误经过「总结、执行、再总结」的循环不断重生。换言之,即使删除了最初那条错误规则,只要相关的做法记录仍在,错误仍有机会被重新「学」回来,持续的时间远比单纯沿用一条错误规则更长。
一个简单的例子
以下是一个说明用的假设例子。假设一个 AI 客服在头几次处理退款查询时,碰巧都先叫客人等候七日,而客人最后都没有再追问,于是 AI 总结出一条规则:「退款查询一律先要求客人等候七日。」其实客人没有追问,可能只是因为退款早已自动完成。之后 AI 每次都照这条规则回复,产生了大量「要求等候七日」的记录;当它再总结经验时,这些记录又会强化同一条规则。结果,一条原本只是巧合的做法,变成了 AI 坚信不移的「经验」,并不断影响客户体验。
解决方法:Anti-Persistence
针对这个问题,研究人员提出一种名为「Anti-Persistence」的记忆设计,核心是把「累积经验」和「长期保存心得」分开处理。具体来说,系统仍然持续保存原始的做事记录和结果,但不再把 AI 总结出来的指引当作永久知识储存。每当遇到新任务,一个自适应的选择机制会参考过往结果,决定是否需要、以及如何即场整理一份针对该任务的指引;任务完成后,这份指引便会被弃掉,不会被直接重用。论文亦坦言,由于原始记录仍然保留,错误仍有可能通过这些记录间接回流,但直接沿用错误规则的情况就可以避免。
研究结果与需要留意的地方
根据论文摘要,在不同测试项目和不同基础模型上,Anti-Persistence 取得最高的整体成功率,而平均调用 AI 模型的成本亦是各种被比较的记忆设计之中最低。研究人员认为,结果支持把「累积经验」与「长期保存抽象知识」分开。不过需要留意,这是一份刚发表的预印本论文,尚未经过同行评审,结果亦是在研究人员设定的测试环境中取得,实际应用效果仍有待更多验证。
日常 AI 工具在哪里保存「心得」?
这个问题并非只出现在研究实验中。日常使用的 AI 工具,其实都有类似「抽象知识」的地方:ChatGPT、Claude 等工具的记忆功能,会自动记下 AI 对你的偏好和结论;自定义指示和 Projects 内的说明,会影响之后每一次回应;可重用的 Skills 或技巧文件,会被反复套用到同类工作;AI agent 平台的知识库,则是 agent 做决定时的主要参考。这些内容一旦混入错误的结论,就会长期影响 AI 的表现,情况与论文描述的错误循环相似。因此,建议定期打开这些工具的记忆管理页面,查看 AI 究竟记住了什么,对有疑问的项目即时删除或更正。
企业管理 AI 记忆的五个实用做法
即使企业不会自行开发 AI agent,这项研究对日常使用 AI 仍有参考价值。第一,保留原始记录和结果:记录 AI 实际做了什么、结果如何,而不只是保存它总结出来的结论。第二,把 AI 自行总结的规则与人工确认的规则分开标示,前者应视为「待验证」,不应自动成为正式政策。第三,定期检查 AI 的记忆、自定义指示和技巧文件,删除过时或有疑问的内容。第四,重要的业务规则应由人工维护在一份正式文件中,作为 AI 的唯一依据,而不是让 AI 自行累积。第五,一旦发现 AI 重复犯同一个错,除了修改错误规则,亦应检查并清理相关的历史记录,避免错误再被学回来。
结语:记住事实,而不是死记道理
AI 的记忆并非越多越好,关键在于记住什么。保存「发生了什么」的事实,比保存 AI 自己推断出来的「道理」更可靠;而真正重要的规则,应由人工确认和维护。懂得管理 AI 的记忆,企业才能让 AI 员工持续进步,而不是不断重复同一个错误。想了解如何为公司建立可靠的 AI 员工流程,欢迎前往 ai.ud.hk 了解 UD 的 AI 员工方案。
懂AI,更懂你|UD相伴,AI不冷