很多老板第一次遇到这个情况时都会吓一跳:你把一份四十页的供应商合约贴进 AI 对话框,问一条关于第十二条款的尖锐问题,AI 答得完美无缺。过了一小时,你在同一个对话里追问一句,AI 却表现得好像从未看过那份合约。系统没有坏,你只是撞到了上下文窗口的边界,而这正是决定你的 AI 能处理什么、不能处理什么的最关键限制。
什么是 AI 的上下文窗口?
上下文窗口,是 AI 模型在同一时间可以放进工作记忆里的最大文字量,以「token」为单位计算。你的问题、你贴进去的文件、AI 自己的回复,全部都要占用这个空间。它是一次对话的短期记忆,一旦装满,最旧的资料就会被挤出视野之外。
你可以把它想象成会议室里的一块白板。白板的书写空间是固定的,只要笔记写得下,所有人都能看到完整内容。当白板写满、你还要继续写,就必须把上方擦掉,腾出下方的位置。AI 做的事一模一样,而被擦掉的部分,在那次对话里就等于彻底消失了。
上下文窗口实际上如何运作?
上下文窗口的运作方式,是先把所有文字转换成 token,再只处理窗口容量以内的 token 数量。根据 IBM 的说明,一个 token 大约等于三至四个英文字符,或约零点七五个英文单词。一个十二万八千 token 的窗口,一次可以容纳数百页文字。
每次你发出信息,AI 都会把窗口里的整段对话从头再读一次,然后才决定如何回答。在这个窗口以外,它没有任何记忆。
以下是窗口必须同时容纳的内容:
- 你的指令与问题
- 你贴进去的文件、电邮或数据
- AI 在同一对话中先前的回复
- 影响它行为的隐藏系统规则
当总量超过上限,模型就会悄悄忘记最早的资料,好让最新的内容留在视野之内。
为什么 AI 好像会忘记你刚刚说过的话?
AI 之所以会忘记,是因为对话已经长过上下文窗口,最早的细节被挤出去腾出空间。这不是故障,也不是 AI 偷懒,而是那些信息实际上已经放不进模型能看见的记忆里。
还有一个更微妙的原因,称为中段遗失效应。研究一致发现,模型对窗口开头和结尾的信息记得最牢,对中间部分记得最差。因此即使某个细节理论上仍在窗口以内,只要它被埋在一段很长对话的正中央,AI 也可能会忽略它。
对老板来说,实用的一课很简单:把你最重要的指令放在信息的开头或结尾,不要夹在一大段文字的中间。
2026 年的上下文窗口有多大?
在 2026 年,上下文窗口的大小由入门模型的约十二万八千 token,到顶级模型的超过一百万 token 不等。要想象一百万 token 有多大,可以设想大约一千五百页文字,相当于好几本厚小说,同时摊在眼前。
这个跃进来得又快又猛。2026 年 7 月,Meta 的 Muse Spark 1.1 带着一百万 token 的窗口推出,DeepSeek 也发布了同样以一百万 token 容量为核心、专门应付长篇多步任务的 V4 系列。Google 的 Gemini 更把上限推到两百万 token,而 OpenAI 与 Anthropic 的旗舰模型则落在四十万至一百万 token 之间。
对你的生意而言,更大的窗口意味着 AI 可以一次读完一整年的发票、整本员工手册,或一段很长的客户对话记录,而不必你一次只喂几页给它。
上下文窗口对中小企有什么意义?
对中小企来说,上下文窗口决定了 AI 在单一任务里能处理多少你真实世界的材料,由长合约到完整的客户记录都是。把窗口大小配合工作需要,正是一个有用答案与一个自信却不完整答案之间的分别。
以下是香港中小企老板一看就明白的实例:
- 餐厅老板把一份三十页的租约贴进去,请 AI 标出每一条关于加租的条款。大窗口能读完全部三十页;小窗口可能只看到最前几页。
- 零售店主把三个月的 WhatsApp 客户对话喂给 AI,找出最常见的投诉。这只有在窗口大得足以装下整份记录时才行得通。
- 地产代理上传一份完整的大厦管理报告,请 AI 为客户草拟摘要。一份长报告可能超出小窗口,中途就被截断。
重点不是越大越必要。回一封简短电邮,小窗口已经绰绰有余。真正的技巧,是懂得判断哪一项工作需要更大的窗口。
关于上下文窗口,最常见的误解是什么?
最常见的误解,是以为上下文窗口等于永久记忆。事实并非如此。上下文窗口只是暂时的,而且只限于单一对话。当你开一个全新的对话,窗口就会被清空,AI 对之前的内容一无所知。
另外三个值得澄清的迷思:
- 「越大越好。」更大的窗口运行成本更高,也可能分散焦点。用一百万 token 的窗口去回答一句话的问题,是一种浪费。
- 「一百万 token 的窗口代表 AI 会完美读完所有内容。」中段遗失效应意味着,被埋在庞大输入正中央的细节,仍然可能被漏掉。
- 「上下文窗口和训练是同一回事。」训练是模型在认识你之前就学会的通用知识;上下文窗口只是你此刻给它看的东西。
关于上下文窗口的常见问题
以下针对老板最常问的上下文窗口问题,给出简短直接的答案,涵盖记忆、成本与日常使用。
AI 会记得我上一次的对话吗?
单靠上下文窗口不会。一段对话结束后,那个窗口就会被清空。有些工具会在其上额外加设「记忆」功能,但基本的上下文窗口在每次新对话都会归零。
更大的上下文窗口会更贵吗?
通常会。大部分 AI 服务按 token 收费,把一份庞大文件喂进大窗口会用掉更多 token,成本自然比一个简短提示要高。
一百万 token 等于多少页?
大约一千五百页纯文字,不过图片、表格与格式同样会占用 token,因此实际数字会有出入。
如果我超出上限会怎样?
AI 会丢掉最旧的内容来腾出空间,或者工具会提示你、请你开一个新对话。无论哪种情况,被挤出去的材料都不会再被考虑。
对你生意的关键结论
上下文窗口,是你日后几乎每一项 AI 任务背后那把看不见的尺。理解了它,那些 AI「失忆」的神秘时刻就不再令人气馁,反而变得可以预测。你会知道何时该开新对话、把关键指令放在哪里,以及哪些工作需要重量级模型、哪些用轻量的就够。
这一切都不需要技术背景,只需要有人用平实的语言把它讲清楚,而这正是我们认为好技术应有的分享方式。懂AI,更懂你 UD相伴,AI不冷。
与 UD 一起把知识化为行动
认识上下文窗口,能帮你把日常 AI 工具用得更好。下一步,是把这份理解变成生意上真正的流程,由喂对的文件给 AI,到为每项工作挑对的工具。UD 陪伴香港中小企走过这条路已经 28 年,我们会手把手教你,由你的第一条问题,到一套能运作的方案。