Context Rot 是什么?
Context Rot(上下文腐化)指 AI 输出质量随对话或输入变长而出现的可测量下降。模型开始忘记指示、偏离主题、与自己先前的说法矛盾。这不是你提示写得差,而是大型语言模型处理长输入时的已知特性。
如果你的 AI 输出质量参差,开始时精准、一小时后变得马虎,你并没有操作失误。你只是在亲眼目睹 Context Rot 发生。
Chroma 于 2025 年发表的研究测试了 18 个前沿模型,包括 GPT 和 Claude 系列,发现每一个模型的表现都随输入长度增加而下降,即使任务简单如从输入前段找回一项事实。上下文窗口越做越大,这个问题就越值得认真对待。
为什么对话越长,AI 表现越差?
模型对上下文窗口内各部分的注意力并不平均。输入开头和结尾的内容获得较高权重,中间部分则被低估。再加上长时间来回累积的杂讯,模型对整个对话的实际掌握能力会缩小,尽管所有内容技术上仍然「在」窗口之内。
这个现象的学术版本是「lost in the middle」效应。斯坦福研究人员在一项被广泛引用的研究中证实:信息放在输入开头或结尾时,模型找回它的可靠度远高于信息埋在中间的情况。
另外还有杂讯问题。一节两小时的工作对话会累积大量死胡同、被否决的草稿和放弃了的支线。这些内容全部留在上下文中,全部与你真正关心的资料争夺模型的注意力。
因此「窗口够大,全部贴进去就行」只说对了一半。容量和注意力是两种不同的资源。窗口变大了,注意力并没有跟着变大。
如何判断 Context Rot 已经出现?
可靠的警号包括:模型重新问你已经回答过的问题、忽略它先前一直遵守的格式规则、把同一对话中两个不同题目的细节混在一起,或者答案越写越长却越来越空泛。出现任何一项,代表这段对话已超过其有效长度。
举一个具体例子:你在第一条消息设定了风格规则(「所有文案 50 字以内,不用感叹号」)。头十个输出它都遵守。到第二十个输出,感叹号回来了。规则没有从窗口中消失,只是从注意力中消失了。
很多用户的反应是责备模型(「我说过不要感叹号!」),这只会在上下文中间增加更多杂讯,让根本问题轻微恶化。解决方法在于结构,不在于语气。
如何解决 Context Rot?
解决方法是主动管理上下文:决定什么留在对话中、什么需要压缩成摘要、何时应该重新开始。五个习惯覆盖大部分情况,全部不需要技术背景。
1. 把对话当作用完即弃。一个任务一个对话。任务改变时,开新对话,而不是把旧对话扭向新方向。
2. 摘要后重启。长对话开始飘移时,要求模型把整节对话的状态压缩成一份交接笔记,然后把笔记贴到全新对话中。你保留了所有决定,丢掉了所有杂讯。确切的提示在下一节。
3. 重要内容放最前和最后。常设规则和关键参考资料放在最开头。在长输入的结尾提出最终问题时,把关键限制条件重述一次。中间位置是指示被忽略的地方。
4. 在对话之外保存一份常设简报。把你的风格规则、项目背景和偏好存放在一份文件中,或使用专为此设计的功能,例如 Claude 的 Projects 或 ChatGPT 的自定义指令。存放在对话之外的参考资料,不会在对话之内腐化。
5. 粘贴之前先修剪。当只有 4 页相关时,喂给模型 40 页不会让答案更好。长上下文测试一致显示,干扰材料越多,找回准确率越低。相关性胜过分量。
「摘要后重启」提示范本
这是整份清单中价值最高的习惯。每当一节高效的对话开始变得混浊,通常在 20 至 30 个来回之后,就执行它。
试试这个提示:
「这段对话越来越长,我想在新对话中继续。请写一份交接简报给下一节对话,包括:(1) 我们正在达成的目标,一句话说明;(2) 到目前为止的每一项决定,以要点呈现;(3) 我给过你的所有常设规则和偏好,准确表述;(4) 工作的目前状态,包括任何草稿的最新完整版本;(5) 下一步要做什么。不要宽松地概括,任何含糊之处请引用我的原话。只输出简报本身,方便直接粘贴。」
然后开一个新对话,把简报贴上作为第一条消息,再加一句:「确认你已完全吸收这份简报,然后继续下一步。」这个确认步骤迫使模型真正处理交接内容才开始工作。
第 (3) 项最重要。在新对话开头重述的规则,正好处于注意力最高的位置,而这正是旧对话中被遗忘的规则所缺少的待遇。
管理长对话有哪些常见错误?
三个陷阱连资深用户都会中招。每一个都让人感觉高效,实际上却在悄悄拖低输出质量。
把马拉松式对话当成勋章。一段 300 条消息的对话不是深度协作,超过某个长度后它是负资产。模型不会在长对话中越来越了解你,它只会得到一个杂讯越来越多的窗口。
重复提醒而不重启。每隔几条消息重申规则确实能短暂唤回注意力,但同时也在复制内容,让窗口膨胀得更快。一次干净的重启胜过十次提醒。
信任记忆而不验证。在长对话中,永远不要假设模型仍记得一小时前的限制条件。交付最终成果之前先问:「列出你目前为这个任务遵守的所有规则。」如果清单不对,先重启再打磨。
总结
Context Rot 不是靠更聪明的措辞就能绕过的缺陷,而是长输入的结构性特质。能稳定获得高质量输出的人,都是刻意管理窗口的人:对话保持精短、交接保持干净、规则放在注意力所在的边缘位置。
本周练好「摘要后重启」这个习惯,一天之内你就会感受到区别。科技应该迁就你的工作方式,而不是倒过来。懂AI的冷,更懂你的难。UD 同行28年,让科技成为有温度的陪伴。
你的 AI 功力到了哪个级别?
上下文管理是区分普通用户与高手的技能之一。做一次 AI IQ 测试,看看你目前的水平。当你准备把可靠的 AI 工作流程建入日常运营,UD 团队手把手带你完成每一步,从配置到部署。