有一个由四个问题组成的框架,能区分出一套让核数师信任的检索增强生成(RAG)方案,与另一套会在董事会报告中悄悄捏造数字的方案。读完这篇文章,你将掌握这个框架,以及一个可以在下次供应商会议中直接使用的定义。
什么是检索增强生成(RAG)?
RAG 是一种 AI 架构,它会先从你已核准的资料来源中检索相关信息,再将这些信息交给大型语言模型,使其回答建基于事实而非记忆。模型会引用检索到的内容,而不是凭空猜测。
简单来说,RAG 为 AI 加上了一个「查证」步骤。在模型动笔之前,它会先搜索你的文件、合约或政策,并只根据实际检索到的内容作答。
为什么 RAG 对 2026 年的企业准确性如此重要?
RAG 之所以重要,是因为一般 AI 模型只能根据通用、过时且看不见你内部知识的训练资料作答。RAG 把模型连接到最新、专属且受管治的信息,这正是「自信地答错」与「可验证地答对」之间的分别。
这道落差如今已是董事会层面的课题。根据麦肯锡 2025 年 AI 现状研究,71% 的企业表示已恒常使用生成式 AI,但只有 17% 认为它为 EBIT 带来超过 5% 的贡献。
活动与成效之间的落差,正是准确性所在之处。物流企业无法依据一个无法追溯来源的运价答案去行动。
根据 MarketsandMarkets 的数据,RAG 市场预计将由 2025 年的 19.4 亿美元增长至 2030 年的 98.6 亿美元。资金正追随着准确性这个难题而流动。
RAG 实际上是如何运作的?
RAG 分四个阶段运作:先把你的文件转换成可搜索的数值形式并储存;用户提问时触发搜索,找出最相关的段落;将这些段落插入模型的提示;模型再只根据检索到的材料撰写答案。
第一步是导入。你的合约、手册与政策会被切分成段落,转换为嵌入向量,再储存于向量数据库之中。
第二步是检索。当员工提问时,系统会找出语意上与问题最相近的段落。
第三步是增强。这些段落会被加入提示,成为模型必须依据的背景资料。
第四步是生成。模型根据所提供的背景撰写答案,并能标明每项论述出自哪份文件。
评估 RAG 供应商的四问框架是什么?
请提出四个问题:资料从何而来、由谁管治?每个答案能否追溯至来源文件?当系统无法从你的资料中找到答案时,它如何处理?检索质素又如何随时间衡量?无法回答这四问的供应商,卖的只是一场演示。
第一问,资料与管治。哪些来源喂养系统、由谁核准、如何按角色控制存取权限?准确性始于模型获准阅读的内容。
第二问,可追溯性。合规人员能否从任何一句话点击回到它出自的确切条款?没有引用来源,你得到的只是一个更快的「估算机器」,而非更安全的工具。
第三问,优雅地失败。当答案不在你的资料之中,系统会如实说明,还是会捏造?「我没有这项资料」是一项功能,而非缺陷。
第四问,衡量。系统追踪哪些检索指标、由谁审视?根据 Atlan 整理的研究,混合搜索方法可比单纯的密集检索提升约 12% 的相关性,但前提是有人在衡量。
RAG 在香港企业中如何落地?
在实务上,RAG 把一场 30 分钟的文件搜寻,化为一个 30 秒、有根有据的答案。香港的专业服务公司可让员工查询数千封过往的委聘函,并得到引用确切先例的答案,而非依赖合伙人的记忆。
试想一家金融服务集团,其客户适合度规则散落于数十份通函之中。RAG 助手回答客户经理的提问,并连结至相关的管辖段落。
根据 MarketsandMarkets 的数据,银行与医疗正引领企业采用 RAG,正因两者皆在高风险的合规审查下运作,一个无来源的答案就是一项风险。
RAG 还是微调:你的组织该如何选择?
当你的知识经常变动、答案必须引用来源时,选择 RAG。当你需要模型采用一致的风格或任务行为时,选择微调。大多数企业由 RAG 开始,因为它更新成本更低,亦远较容易管治。
微调把知识烘焙进模型的权重之中,因此更新就等于重新训练。RAG 则在你把新文件加入来源库的一刻便完成更新。
对于价格与推广每周变动的零售连锁店而言,RAG 无需任何重新训练,便能让助手保持最新。两种方法亦可结合使用。
企业部署 RAG 时最常见的陷阱是什么?
最常见的陷阱包括:喂入杂乱或重复的文件、略过按角色设定的存取权限以致员工取得不应看见的资料,以及从不衡量检索质素。RAG 会放大你既有的资料纪律,无论好坏。
垃圾进、垃圾出,这道理依然成立。若来源库中有三个互相矛盾的政策版本,模型便会自信地检索出错误的那一个。
存取控制是第二个陷阱。检索必须遵守与你现有系统相同的权限,否则 RAG 会沦为资料外泄的引擎。
第三个陷阱,是把上线当成终点。随着文件累积,检索质素会逐渐漂移,因此需要持续审视。
结语:准确性是管治的选择,而非模型的选择
RAG 不是一次过购买的功能,而是一种纪律:干净的来源、可追溯的答案、诚实的失败,以及受衡量的检索。上述框架把含糊的供应商说辞,化为四个能揭示系统能否经得起审查的问题。
在香港凭 AI 致胜的企业,并非拥有最庞大模型的那些,而是其答案能在董事会文件中被信任的那些。懂AI,更懂你 — UD相伴,AI不冷。
与 UD 迈出下一步
掌握了框架,下一步是找出有根有据的准确 AI 将在你的组织中于何处创造价值。UD 手把手带你完成每一步,从 AI 准备度评估、供应商选型,到部署上线与成效追踪,28 年香港企业服务经验,全程与你同行。