AI记忆机制解析：从SOAR架构到ChatGPT记忆模式

这是一篇h uggingface社区Ksenia Se的投稿文章， 文章探讨了有关AI记忆的相关议题，包括：早期认知架构SOAR、记忆类型、生成式智能体中的记忆应用、LLM的记忆模式以及AI对人类记忆的潜在影响。

在人工智能领域，Agentic Workflow 中的记忆 (Memory) 扮演着至关重要的角色。记忆与知识 (Knowledge) 和画像 (Profiling) 密切相关，但又在功能和粒度上存在差异。画像定义了智能体的身份、行为模式和运行环境；知识提供了决策的依据；而记忆则是经验的动态记录，将各要素整合并参与决策过程。尽管记忆研究已历经数十年，但如何使大型语言模型 (LLM) 实现稳定、持续的记忆仍然是一个挑战。

1. SOAR架构：Agentic记忆系统的早期探索

1987年，Allen Newell, Paul Rosenbloom 和 John Laird 提出了SOAR架构，旨在构建通用人工智能系统。SOAR架构的核心思想是将问题解决、学习和记忆整合为一个统一的认知框架。其创新之处在于区分了工作记忆 (Working Memory) 和长期程序性记忆 (Long-Term Procedural Memory)。工作记忆负责处理即时认知任务，长期程序性记忆则存储学习到的规则。这种结构化的记忆方法预示了现代Agentic AI架构的发展方向。尽管现代Agentic AI更多依赖统计学习和向量检索，但“系统如何记忆和改进”这一核心问题依然是AI研究的关键，SOAR架构因此成为现代AI框架的重要理论先驱。

SOAR架构的核心概念：

• 声明式知识与程序性知识： SOAR架构区分了两种知识类型：声明式知识 (Declarative Knowledge) 指事实性信息，存储于工作记忆；程序性知识 (Procedural Knowledge) 指操作性规则，存储于长期程序性记忆。
• 分块 (Chunking)： SOAR系统通过“分块”机制，将成功的问题解决经验压缩为可重用的知识单元，提升学习效率和问题解决能力。
• 子目标 (Subgoaling)： 当系统遇到知识不足以解决的问题时，SOAR会自动生成子目标，将复杂问题分解为更易于管理的子问题，体现了分层问题解决的思想。

SOAR架构的结构化记忆方法对后来的认知架构和通用人工智能研究产生了深远影响。尽管深度学习等新兴技术在某些方面超越了SOAR，但其关于记忆、学习和问题分解的核心思想，在当前AI研究中仍具有重要的参考价值。

2. AI记忆的类型：长期记忆与短期记忆

现代AI系统中的记忆并非单一结构，而是由多种类型的记忆协同构成。根据信息存储时间和功能，AI记忆可分为长期记忆 (Long-Term Memory) 和短期记忆 (Short-Term Memory) 两种主要类型。

2.1 长期记忆 (Long-Term Memory)

长期记忆是AI系统存储持久性知识的基础，可进一步细分为：

• 显性记忆 (Explicit Memory) / 声明性记忆 (Declarative Memory)： 存储可意识检索的知识，包括事实、概念和事件等。显性记忆又可分为：

• 语义记忆 (Semantic Memory)： 存储一般知识和常识，例如 “埃菲尔铁塔位于巴黎”、“犬科动物属于哺乳动物” 等事实性信息。语义记忆是知识库型AI应用的基础。
• 情景记忆 (Episodic Memory)： 存储特定事件和个人经历，例如用户历史交互记录、偏好设置等。情景记忆使AI能够理解对话语境，提供更个性化的服务。需要注意的是，当前LLM的情景记忆并非真正意义上的情景记忆，而是通过模式匹配和信息摘要来模拟记忆效果。

• 隐性记忆 (Implicit Memory) / 非声明性记忆 (Non-Declarative Memory)： 存储难以意识提取的技能和习惯，例如运动技能、条件反射等。程序性记忆是隐性记忆的主要形式。

• 程序性记忆 (Procedural Memory)： 存储“如何做”的知识，例如驾驶技能、语言处理技能等。程序性记忆使AI能够自动执行特定任务，无需显式回忆。

2.2 短期记忆 (Short-Term Memory)

短期记忆主要用于支持AI系统的实时交互和即时任务处理，包括：

• 上下文窗口 (Context Window)： 指LLM在单次交互中能够保留的历史信息量。上下文窗口的大小直接影响LLM的对话连贯性。扩展和优化上下文窗口是当前LLM研究的重要方向。
• 工作记忆 (Working Memory)： 类似于人类的工作记忆，用于在执行复杂任务时暂时存储和处理多个信息片段。工作记忆对多步骤推理、规划和决策至关重要。

长期记忆和短期记忆协同工作，使AI系统能够有效地学习、推理和交互。长期记忆提供持久的知识基础，短期记忆确保AI能够响应实时需求，工作记忆则支持复杂认知过程。

3. 生成式智能体：记忆驱动的Agentic行为案例

“生成式智能体 (Generative Agents)” 研究项目，旨在探索记忆在Agentic行为中的作用。该研究构建了虚拟环境，并设计了具有“记忆流 (Memory Stream)” 系统的生成式智能体，模拟其在虚拟社会中的行为。

记忆流系统： 生成式智能体通过记忆流记录其在虚拟环境中的经历，并定期进行“反思 (Reflection)”，从记忆中提取高层次的认知和规律。

记忆检索机制： 记忆检索受以下因素影响：

1. 新近度 (Recency)： 近期记忆更易被检索。
2. 重要性 (Importance)： 重要事件的记忆具有更高优先级。
3. 相关性 (Relevance)： 检索与当前情境相关的信息。

反思 (Reflection)： 使智能体能够从经验中概括，形成指导未来行为的认知。例如，智能体可能通过反思形成对自身职业或兴趣的认知。

规划 (Planning)： 智能体基于记忆进行未来行动规划，生成日程安排和行动序列。

研究结果表明，记忆驱动的生成式智能体展现出信息传播、关系建立和协同活动等涌现的社会行为。该研究验证了记忆在构建可信Agentic行为中的关键作用。然而，生成式智能体仍存在记忆检索局限、幻觉和模型偏见等问题，未来研究需进一步完善记忆机制。

4. ChatGPT记忆模式：技术原理与实现方式

OpenAI推出的“记忆模式 (Memory Mode)” 为ChatGPT赋予了跨会话记忆能力。与传统聊天模型不同，启用记忆模式的ChatGPT可以保留用户的关键信息，实现更连贯和个性化的对话体验。

工作原理：

• 关键信息提取： ChatGPT不会存储完整对话日志，而是提取对话中的关键事实和模式，例如用户兴趣、偏好等信息。

• 选择性记忆： ChatGPT记忆具有选择性，主要记忆重复提及或用户明确要求记忆的信息，以保证记忆的有效性和相关性。

• 向量嵌入存储： 提取的信息通过向量嵌入 (Vector Embeddings) 技术，以抽象形式存储在OpenAI服务器上。向量嵌入是一种高效的数值表示方法，支持快速检索和匹配。

  记忆检索与整合： 当用户开始新的对话时，系统检索相关的向量嵌入，并将信息融入到新的对话上下文中，使ChatGPT能够“回忆”起用户的历史信息。用户可以查看、编辑和删除存储的记忆信息，保障用户对记忆数据的控制权。

ChatGPT记忆模式的实现，是LLM在记忆能力上的重要进展，提升了对话的连贯性和用户体验。然而，当前的记忆模式仍处于发展初期，未来仍需持续优化和完善。

5. AI对人类记忆的影响：反思与展望

Andrew Hoskins 在《AI and Memory》一文中提出，AI正在创造“记忆的第三种方式”。他认为，AI记忆不再是简单的检索，而是一种持续的重建过程。AI甚至可以生成从未经历过的“记忆”，模糊了真实与虚拟的界限。AI构建“对话式过去 (Conversational Past)”，重塑了人类对记忆的传统认知。

特别是在 AI 生成的“(Deadbots)” 等应用兴起引发了关于数字遗产、身份认同和伦理道德的深刻讨论。更进一步，AI记忆的变革可能对集体记忆产生深远影响。随着AI参与到历史记录、信息传播和文化传承中，传统记忆载体面临被AI生成内容取代的风险。如何定义真实的历史，如何保障人类在集体记忆构建中的自主性，成为值得深入思考的问题。

“记忆可以改变房间的形状；它可以改变汽车的颜色。而记忆可以被扭曲。它们只是解释，而不是记录，如果你有事实，它们就是无关紧要的。”——伦纳德· Shelby《记忆碎片》……或者 AI？

如同电影《记忆碎片》的台词所揭示，人类记忆本身具有主观性和易失真的特点。AI记忆的出现，进一步复杂化了记忆的本质。在AI记忆技术不断发展和普及的未来，我们需要重新审视记忆的定义、功能和伦理边界，以应对AI记忆带来的机遇与挑战。

原文：https://huggingface.co/blog/Kseniase/memory

公众号内发送消息“进群”入群讨论。