讓 AI 從經驗中學習,是近年 AI agent 發展的熱門方向。常見做法是叫 AI 把每次做事的「心得」記錄下來,例如總結出一條規則、一段摘要或一套技巧,下次遇到類似工作便直接套用,令它在不重新訓練模型的情況下越做越好。然而,二零二六年十月十九日發表的一份研究論文《More Memory, Worse Agents》指出,這種做法可能帶來一個隱藏問題:錯誤會被記憶不斷複製,令 AI 越做越差。本文會解釋什麼是「錯誤循環」、研究人員提出的「Anti-Persistence」記憶設計,以及企業管理 AI 記憶時可以參考的做法。
AI agent 如何「從經驗學習」?
大型語言模型本身的參數在使用時不會改變,因此要讓 AI agent 累積經驗,通常會為它加上一個外部記憶。每次執行任務後,系統可以保存兩類內容。第一類是原始紀錄,即 AI 實際做了哪些步驟,以及最終成功還是失敗。第二類是抽象化的知識,即 AI 從這些紀錄中自行總結出來的規則、摘要和技巧,例如「處理這類查詢時,應先查看訂單狀態」。下次遇到新任務,AI 便會從記憶中提取相關內容作參考。
保存「心得」的好處與風險
保存抽象化的知識有明顯好處:AI 不必每次都從大量原始紀錄中重新推敲,可以直接沿用已整理好的策略,既快又省成本。這也是很多人以為「記得越多越好」的原因。問題在於,AI 總結出來的規則不一定正確。它可能從少數個案得出過度概括的結論,或者誤解了成功的真正原因。一旦錯誤的規則被儲存下來,之後每次被提取和沿用,錯誤便會延續到新的決定之中。
什麼是「錯誤循環」?
研究人員發現,錯誤的影響不止於被直接沿用。錯誤的規則會影響 AI 的實際做法,而這些做法又會成為新的原始紀錄;當 AI 再從這些紀錄總結經驗時,便很可能再次得出同一個錯誤結論。論文把這個機制稱為「錯誤重現」(error reproduction),即錯誤經過「總結、執行、再總結」的循環不斷重生。換言之,即使刪除了最初那條錯誤規則,只要相關的做法紀錄仍在,錯誤仍有機會被重新「學」回來,持續的時間遠比單純沿用一條錯誤規則更長。
一個簡單的例子
以下是一個說明用的假設例子。假設一個 AI 客服在頭幾次處理退款查詢時,碰巧都先叫客人等候七日,而客人最後都沒有再追問,於是 AI 總結出一條規則:「退款查詢一律先要求客人等候七日。」其實客人沒有追問,可能只是因為退款早已自動完成。之後 AI 每次都照這條規則回覆,產生了大量「要求等候七日」的紀錄;當它再總結經驗時,這些紀錄又會強化同一條規則。結果,一條原本只是巧合的做法,變成了 AI 堅信不移的「經驗」,並不斷影響客戶體驗。
解決方法:Anti-Persistence
針對這個問題,研究人員提出一種名為「Anti-Persistence」的記憶設計,核心是把「累積經驗」和「長期保存心得」分開處理。具體來說,系統仍然持續保存原始的做事紀錄和結果,但不再把 AI 總結出來的指引當作永久知識儲存。每當遇到新任務,一個自適應的選擇機制會參考過往結果,決定是否需要、以及如何即場整理一份針對該任務的指引;任務完成後,這份指引便會被棄掉,不會被直接重用。論文亦坦言,由於原始紀錄仍然保留,錯誤仍有可能透過這些紀錄間接回流,但直接沿用錯誤規則的情況就可以避免。
研究結果與需要留意的地方
根據論文摘要,在不同測試項目和不同基礎模型上,Anti-Persistence 取得最高的整體成功率,而平均調用 AI 模型的成本亦是各種被比較的記憶設計之中最低。研究人員認為,結果支持把「累積經驗」與「長期保存抽象知識」分開。不過需要留意,這是一份剛發表的預印本論文,尚未經過同行評審,結果亦是在研究人員設定的測試環境中取得,實際應用效果仍有待更多驗證。
日常 AI 工具在哪裡保存「心得」?
這個問題並非只出現在研究實驗中。日常使用的 AI 工具,其實都有類似「抽象知識」的地方:ChatGPT、Claude 等工具的記憶功能,會自動記下 AI 對你的偏好和結論;自訂指示和 Projects 內的說明,會影響之後每一次回應;可重用的 Skills 或技巧檔案,會被反覆套用到同類工作;AI agent 平台的知識庫,則是 agent 做決定時的主要參考。這些內容一旦混入錯誤的結論,就會長期影響 AI 的表現,情況與論文描述的錯誤循環相似。因此,建議定期打開這些工具的記憶管理頁面,查看 AI 究竟記住了什麼,對有疑問的項目即時刪除或更正。
企業管理 AI 記憶的五個實用做法
即使企業不會自行開發 AI agent,這項研究對日常使用 AI 仍有參考價值。第一,保留原始紀錄和結果:記錄 AI 實際做了什麼、結果如何,而不只是保存它總結出來的結論。第二,把 AI 自行總結的規則與人手確認的規則分開標示,前者應視為「待驗證」,不應自動成為正式政策。第三,定期檢查 AI 的記憶、自訂指示和技巧檔案,刪除過時或有疑問的內容。第四,重要的業務規則應由人手維護在一份正式文件中,作為 AI 的唯一依據,而不是讓 AI 自行累積。第五,一旦發現 AI 重複犯同一個錯,除了修改錯誤規則,亦應檢查並清理相關的歷史紀錄,避免錯誤再被學回來。
結語:記住事實,而不是死記道理
AI 的記憶並非越多越好,關鍵在於記住什麼。保存「發生了什麼」的事實,比保存 AI 自己推斷出來的「道理」更可靠;而真正重要的規則,應由人手確認和維護。懂得管理 AI 的記憶,企業才能讓 AI 員工持續進步,而不是不斷重複同一個錯誤。想了解如何為公司建立可靠的 AI 員工流程,歡迎前往 ai.ud.hk 了解 UD 的 AI 員工方案。
懂AI,更懂你|UD相伴,AI不冷