读完这篇文章，你将清楚了解什么是 AI 上下文窗口、它如何悄悄决定 AI 对你业务的实用程度，以及为什么规格表上数字最大的模型，未必是最能帮你节省时间的选择。没有术语，没有营销套话——只谈香港老板真正需要知道的部分。
上下文窗口（Context Window）在 2026 年成为热门商业话题，原因很直接：数字爆炸了。Google Gemini 标榜 100 万 token、GPT-5 可处理 40 万、Claude 提供 20 万。这些看似只是规格，但实际上决定了 AI 能否一次记住你与客户的整段对话、你刚贴上的完整价目表，以及上个季度的交接记录。如果你曾经把长文档贴进 ChatGPT，然后看着它"忘掉"一半内容，其实你早已遇过上下文窗口——只是不知道它的名字。
这篇文章会从头解释这个概念、展示它在香港中小企业日常运作中如何发挥作用，并帮助你分辨：什么是真正的能力，什么只是规格表上的数字游戏。
什么是 AI 上下文窗口？
上下文窗口是 AI 模型在一次对话中，可以阅读、记住和回应的最大文字量，以 token 为单位计算。你输入的问题、系统指令、你贴上的文件、对话历史、以及 AI 自己的回答都会一并算在内。一旦超出这个上限，模型就会开始遗忘最早的部分。
可以把它理解为 AI 的短期记忆。一位人类助手能记得两小时会议的大致轮廓，但没有笔记就会忘记具体数字。AI 没有笔记，只有上下文窗口。一个 20 万 token 的窗口，大约等于 20 万个中文字，相当于一份约 200 页的商业文件。超过的部分，一旦滑出窗口边缘就消失了。
计算单位是 token，不是字。 AI 模型不是以字数计算，而是以 token 为单位。一个中文字大致等于 1 个 token，一个英文单词大约等于 0.75 个 token。所以 20 万 token 的窗口，大约可以放下 20 万个中文字或 15 万个英文单词。实际数字取决于你的中英文比例。
上下文窗口实际是如何运作的？
在模型内部，窗口里的每一个 token 都要与其他 token 建立关联。窗口越大，模型要进行的比较就越多。根据 IBM 的技术文献，这种计算量大致以平方增长——窗口加倍，运算成本不只是加倍，而是接近四倍。
这也解释了为什么超大窗口在 2023 年技术上难以实现、2024 年昂贵无比，到 2026 年才变得可以负担。推动这项突破的不是建更多 GPU 机房，而是底层工程的改进。
实际后果是什么？ 一个 100 万 token 窗口的模型，不只是"比 20 万 token 的模型更大"而已。它每次请求更慢、每次查询更贵，而且最关键的是——它在窗口中段的准确度往往下降。模型对窗口的开头和结尾表现良好，但在中间位置，信息最容易被忽略。
上下文窗口的大小，对中小企业为何重要？
窗口大小决定你可以一次性交给 AI 处理多少工作。小窗口迫使你把文件切成小块；大窗口则允许你贴上整份合约、完整员工手册或完整的客户对话记录，然后就整体内容提出问题。
以下是三个具体的香港中小企业场景：
--- 客服交接。 一位餐厅老板想让 AI 先读完 30 页的订座政策与过去 200 则客户信息，才回应新查询。这大约是 4 万 token——对现代模型完全没问题，但 2023 年时代的 4,000 token 窗口会立即当机。
--- 租约与合约审核。 一间房地产代理要求 AI 将 60 页的租约与 40 页的业主范本逐条比对，找出差异。总计约 12 万 token。在 20 万 token 下运作顺畅；在 10 万 token 下就无法完成。
--- 全年帐目检视。 一间小型零售店上传 12 个月的交易描述，约 30 万 token 的文字量，要求 AI 找出异常。只有 40 万 token 以上的模型能一次看完全部。
如果你日常处理的文件都不长，窗口大小其实影响有限。但如果你经常处理长合约、厚手册或完整对话记录，它就决定了什么是可能的、什么是不可能的。
上下文窗口是不是越大越好？
不是。越大的窗口成本越高、速度越慢，而且在窗口中段的准确度往往下降——研究员称这个现象为"上下文腐化"（context rot）。2026 年多项基准测试显示，标榜 20 万 token 的模型，往往在 13 万 token 左右就开始表现不稳。而且这种退化是突然发生，不是渐进的。
这一点很重要，因为 AI 收费通常是按 token 计算。一次用掉 50 万 token 上下文的查询，成本大约是用 4,000 token 查询的 125 倍。对一间每日运行 100 次查询的香港中小企业而言，这是每日几元与几百元的差别。
实用原则是这样的： 选用能舒适容纳你任务的最小窗口。对 95% 的中小企业应用场景，20 万 token 已经绰绰有余。100 万 token 的模型主要用于法律文件审阅、代码分析、长篇研究——不是用来回复客户邮件的。
当你超出上下文窗口，会发生什么事？
当你超出上下文窗口，模型要么直接报错，要么在你不知情的情况下静静删掉最早的对话内容。两种行为都不是使用者预期的。AI 不会提醒你它正在遗忘——它只是根据不完整的信息，给出一个较差的回答。
在商业运作中，这通常表现为两种情况：
--- AI 突然"忘记"你 40 则信息前贴上的价目表。 那份价目表已经滑出窗口，AI 现在只能凭空编造价格。
--- AI 给出的答案，与你在对话开始时设定的规则互相矛盾。 那些规则同样已经滑出窗口，AI 现在是在没有规则的情况下运作。
实际的解决方法：对于绝对不能遗忘的内容（价目、政策、审批规则、品牌指引），要么把它贴在最新提示的结尾（窗口尾端最容易被记住），要么使用设有独立知识库的 AI 方案，让这些信息不用挤进上下文窗口。
AI 员工如何以不同方式处理长内容？
一个设计良好的 AI 员工，不会单靠把所有信息塞进上下文窗口。它会结合一个合理大小的上下文窗口，加上一个外部知识库——有时称为检索增强生成（RAG）——让 AI 每次只取出最相关的信息片段，而不是把整个图书馆都搬进来。
这个差别很重要，因为它区分了"消费级聊天机器人"与"企业级 AI 员工"。
--- 消费级聊天机器人 每次都要求你重新贴上所有内容。对话一长，它就会遗忘。
--- 为企业设计的 AI 员工 会把你的政策、价目表、产品目录、历史对话储存在可搜索的知识库中。上下文窗口只需要保存与当前问题相关的内容，即使累积了数千次客户对话，AI 仍然能保持准确。
对香港中小企业来说，这个架构选择，比上下文窗口的原始数字更重要。一个 20 万 token、有良好知识库的 AI 员工，表现会胜过一个 100 万 token、每次都要靠贴文字的聊天机器人。
关于上下文窗口的常见误解
大多数中小企业老板是从营销标题认识上下文窗口的，因此累积了几个固执的误解。理清这些误解，可以避免花冤枉钱，也避免买错工具。
--- "越大越好"： 不对。越大越贵，而且中段往往越不准确。窗口要配合任务。
--- "上下文窗口就是 AI 的长期记忆"： 不对。它只是单次对话的短期工作记忆。长期记忆要靠独立的知识库或微调。
--- "对话记录放在窗口里就安全了"： 不对。一旦超出窗口，最早的部分会被静静删除。重要资料要另外储存。
--- "窗口里每个 token 的权重都一样"： 不对。模型对开头与结尾的注意力，明显高于中段。重要指令应该放在这两个位置。
香港中小企业实际上需要多大的上下文窗口？
大多数香港中小企业需要 3.2 万至 12.8 万 token 的上下文窗口——足以处理一次完整的客户对话加上详细的业务政策。超过 20 万 token，对多数应用场景已经过剩，而且每次查询开始要花真金白银。
以下是按业务类型划分的粗略建议：
--- 餐饮业： 3.2 万 token 已足够。完整餐牌加上三个月订座记录绰绰有余。
--- 零售店： 6.4 万 token。产品目录（最多 500 款）加上当期推广与客户常见问题。
--- 房地产代理： 12.8 万至 20 万 token。完整租约、业主范本、相关案例资料都能放得下。
--- 专业服务（法律、会计、顾问）： 20 万 token 或以上。文档密集型工作最能受益于大窗口。
如果你不肯定自己属于哪一类，最安全的选择是配备知识库的现代 AI 员工。重担由知识库承担，上下文窗口只需要放当前问题与最相关的文件。
结论：上下文窗口是天花板，不是卖点
上下文窗口是 AI 一次能看见的"天花板"。它不是魔法，不是免费的，也不等同于智能。规格表上数字最大的 AI，未必是最能帮你节省时间的 AI——特别是当你其实不需要传送这么长的上下文，却还是按 token 付费的时候。
对香港中小企业而言，重点从来不是最大的窗口，而是正确的架构：一个实用大小的上下文窗口，搭配一个可搜索的知识库，并由同时理解技术与你业务的人来设置。这就是"AI 在关键时刻忘记事情"与"AI 成为你团队可靠一员"之间的差别。
UD 陪伴香港企业走过 28 年，我们懂 AI 的冷，更懂你的难——懂 AI，更懂你。
准备好打造一个真正记得你业务的 AI 员工？
了解了上下文窗口是什么、以及架构为何比规格更重要，下一步就是为你的业务找出最合适的方案。UD 的 AI Employee Hub 帮你挑选、训练、部署 AI 员工，把合适的上下文窗口与你真实业务内容的知识库结合起来。UD 团队手把手教你评估、选型，到部署上线，全程陪你走每一步。