你公司的 AI 问答系统，是否又慢、又烧钱、又常常答不中要点？尤其是那些要串连几份文件才答得到的复杂问题，AI 往往要来回检索好多次，既贵又慢。2026 年出现一个新方法叫 CompactRAG，换了一个思路：把知识库预先离线拆成一堆「问答对」，问题一来就直接对上答案。本文用生意角度拆解它是什么、为何又快又平又准，以及导入时要注意什么。
为什么传统 RAG 又慢又贵？
传统 RAG（检索增强生成）在你每次提问时，才即场去知识库检索相关段落、逐段阅读、再推理作答。遇到「多跳」问题，也就是要串连多份文件、经过多步推理才答得到的问题，它往往要来回检索与推理很多次。每一次都消耗 token 与时间，于是变得又慢又贵，答案也容易在中途出错。
什么是 CompactRAG？
CompactRAG 是 2026 年提出的一种检索方法，核心是把「即场才拆解问题」改为「预先拆解知识」。它在离线阶段，先把整个语料库转换成大量「原子问答对」，也就是一问一答的最小知识单位。当用户提问时，系统不再从头慢慢检索推理，而是直接对上已经整理好的答案，大幅减少线上运算。
核心思路：离线拆成「原子问答对」
所谓原子问答对，是把每一小块知识预先写成一条清晰的「问题加答案」。这个拆解与整理的重活，全部在离线阶段做好，不占用用户等待的时间。等于你先把功课做齐，把一份份文件消化成即用的答案卡；当问题来到，AI 只需把问题对上正确的卡，而不必临场重新消化整个知识库。
为什么多跳问题只需约两次呼叫？
因为复杂的推理已经预先浓缩进问答对里，CompactRAG 能以大约两次大型语言模型呼叫，解决多跳问题，而且不论需要多少步推理。传统做法每多一跳就要多几次来回；CompactRAG 把步数与呼叫次数脱钩，这正是它在成本与速度上的关键优势，对高流量的问答场景尤其明显。
三大好处：快、平、准
CompactRAG 的好处相当实在。快：重活在离线做好，线上即问即答。平：呼叫次数大幅减少，token 成本下降。准：预先整理减少了临场推理，答案更稳定，也较少在中途「迷路」。对需要即时回应大量查询的企业而言，这三点直接关系到使用体验与营运成本。
与传统 RAG 的分别
两者最大的分别在于「何时做重活」。传统 RAG 把检索与推理留到用户提问的那一刻；CompactRAG 则把大部分工作提前到离线阶段完成。前者灵活但每次都贵、都慢；后者需要先投入离线整理，但之后每次查询都又快又平。选择哪一种，取决于你的查询量与对速度、成本的要求。
适用场景
CompactRAG 最适合「要准、要快、又高流量」的问答场景：客服知识库、内部文件问答、产品 FAQ、政策与流程查询。这些场景的问题种类相对可预期，知识库也相对稳定，正好发挥「预先拆解、即问即答」的优势。相反，若知识每日大幅变动、问题极度发散，就要衡量离线整理的更新成本。
导入注意事项
导入前有两点要留意。其一，知识更新：问答对是预先整理的，当来源文件更新，需要有机制重新生成受影响的问答对，否则会答旧资料。其二，离线成本：把整个知识库转成问答对本身需要运算与时间，属一次性或定期投入，适合查询量足够大、值得摊分成本的情况。先评估更新频率与查询量，再决定投入规模。
常见错误
最常见的三个错误是：一，把 CompactRAG 当成万能，连极度发散或需要即时最新资料的问题都硬套，结果答旧料；二，问答对拆得太粗，一条塞太多资讯，失去「原子」的精准；三，忽略更新机制，令知识库与问答对脱节。避开这三点，CompactRAG 就能长期又快又准地服务你的查询。想要 CompactRAG 的落地做法与检查清单？欢迎前往 ai.ud.hk 了解更多 UD 的 AI 员工方案，看看如何把它落地到你的问答系统。
懂AI，更懂你｜UD相伴，AI不冷