3.0 KiB
3.0 KiB
AI 记忆技术演进研究
记录 AI/LLM 记忆能力从"无状态"到"全面记忆"的技术转变。
为什么做这个记录
AI 的"记忆"经历了剧烈的变革——从 GPT-2 的 1024 tokens 到 Llama 4 Scout 的 1000 万 tokens，从每次对话完全失忆到跨会话持久记忆，从单一上下文到 RAG + Agent + MCP 多层记忆体系。这些变化发生得太快，值得系统性地记录下来。
演进主线
无状态 LLM（2018-2022）
↓ 每次对话都是全新的，512-4K tokens 上下文
上下文窗口扩张（2023-2024）
↓ 4K → 32K → 128K → 200K，信息可以"塞进去"
RAG 检索增强（2023-2024）
↓ 外部知识库补充上下文，向量数据库兴起
持久记忆（2024-2025）
↓ ChatGPT Memory、Claude Memory，跨会话记住用户
Agent 记忆（2025-2026）
↓ 自主 Agent 拥有工作记忆+长期存储
全面记忆时代（2026-）
↓ 1M+ tokens 上下文 + 持久记忆 + MCP 工具记忆 + Agent 自主管理
文档目录
| 文件 | 内容 |
|---|---|
| 01-上下文窗口演进.md | 各模型上下文窗口从 512 到 1000 万的完整时间线 |
| 02-RAG技术演进.md | 从 RAG 论文到 GraphRAG、Agentic RAG 的发展 |
| 03-持久记忆系统.md | MemGPT、ChatGPT Memory、Claude Memory 等方案 |
| 04-微调与对齐.md | LoRA/QLoRA/RLHF/DPO——通过训练"写入"记忆 |
| 05-Agent记忆架构.md | 从 AutoGPT 到 Claude Agent SDK 的记忆设计 |
| 06-MCP与工具记忆.md | MCP 协议如何让记忆跨工具、跨平台流通 |
| 07-注意力机制演进.md | FlashAttention / Ring Attention——大上下文的底层支撑 |
关键数字速览
| 指标 | 起点 | 现在（2026.3） | 倍数 |
|---|---|---|---|
| 最大上下文窗口 | 512 tokens（GPT-1, 2018） | 10M tokens（Llama 4 Scout, 2025） | ~20,000x |
| 主流上下文窗口 | 4K tokens（GPT-3.5, 2022） | 1M tokens（Claude 4.6 / Gemini 2.5） | ~250x |
| 跨会话记忆 | 无 | 标配（ChatGPT / Claude / Cursor 等） | 0→1 |
| 向量数据库 | FAISS 一个库（2017） | 7+ 主流方案（2024） | 生态爆发 |
| 记忆框架 | 无 | Mem0 / Letta / Zep / OpenMemory 等 | 从零到生态 |
| MCP 服务器 | 0（2024.11 前） | 5,800+（2025.4） | 5 个月爆发 |
核心洞察
- 上下文窗口不是终极方案 —— 即使有 1M tokens，仍需 RAG 和持久记忆补充
- 记忆从产品特性变成基础设施 —— MCP 让记忆成为可插拔的标准化层
- Agent 让记忆从被动变主动 —— 不再是"用户塞进去"，而是 AI 自己管理记忆
- 多层记忆架构成为共识 —— 工作记忆 + 短期记忆 + 长期记忆，类比人脑
- 开源追赶速度极快 —— Llama 4 Scout 10M 上下文，Qwen 2.5 1M，差距在缩小
立项 2025.07 · 持续更新中 · 最后更新 2026.03.18