60 lines
3.0 KiB
Markdown
60 lines
3.0 KiB
Markdown
# AI 记忆技术演进研究
|
||
|
||
> 记录 AI/LLM 记忆能力从"无状态"到"全面记忆"的技术转变。
|
||
|
||
## 为什么做这个记录
|
||
|
||
AI 的"记忆"经历了剧烈的变革——从 GPT-2 的 1024 tokens 到 Llama 4 Scout 的 1000 万 tokens，从每次对话完全失忆到跨会话持久记忆，从单一上下文到 RAG + Agent + MCP 多层记忆体系。这些变化发生得太快，值得系统性地记录下来。
|
||
|
||
## 演进主线
|
||
|
||
```
|
||
无状态 LLM（2018-2022）
|
||
↓ 每次对话都是全新的，512-4K tokens 上下文
|
||
上下文窗口扩张（2023-2024）
|
||
↓ 4K → 32K → 128K → 200K，信息可以"塞进去"
|
||
RAG 检索增强（2023-2024）
|
||
↓ 外部知识库补充上下文，向量数据库兴起
|
||
持久记忆（2024-2025）
|
||
↓ ChatGPT Memory、Claude Memory，跨会话记住用户
|
||
Agent 记忆（2025-2026）
|
||
↓ 自主 Agent 拥有工作记忆+长期存储
|
||
全面记忆时代（2026-）
|
||
↓ 1M+ tokens 上下文 + 持久记忆 + MCP 工具记忆 + Agent 自主管理
|
||
```
|
||
|
||
## 文档目录
|
||
|
||
| 文件 | 内容 |
|
||
|------|------|
|
||
| [01-上下文窗口演进.md](01-上下文窗口演进.md) | 各模型上下文窗口从 512 到 1000 万的完整时间线 |
|
||
| [02-RAG技术演进.md](02-RAG技术演进.md) | 从 RAG 论文到 GraphRAG、Agentic RAG 的发展 |
|
||
| [03-持久记忆系统.md](03-持久记忆系统.md) | MemGPT、ChatGPT Memory、Claude Memory 等方案 |
|
||
| [04-微调与对齐.md](04-微调与对齐.md) | LoRA/QLoRA/RLHF/DPO——通过训练"写入"记忆 |
|
||
| [05-Agent记忆架构.md](05-Agent记忆架构.md) | 从 AutoGPT 到 Claude Agent SDK 的记忆设计 |
|
||
| [06-MCP与工具记忆.md](06-MCP与工具记忆.md) | MCP 协议如何让记忆跨工具、跨平台流通 |
|
||
| [07-注意力机制演进.md](07-注意力机制演进.md) | FlashAttention / Ring Attention——大上下文的底层支撑 |
|
||
|
||
## 关键数字速览
|
||
|
||
| 指标 | 起点 | 现在（2026.3） | 倍数 |
|
||
|------|------|----------------|------|
|
||
| 最大上下文窗口 | 512 tokens（GPT-1, 2018） | 10M tokens（Llama 4 Scout, 2025） | ~20,000x |
|
||
| 主流上下文窗口 | 4K tokens（GPT-3.5, 2022） | 1M tokens（Claude 4.6 / Gemini 2.5） | ~250x |
|
||
| 跨会话记忆 | 无 | 标配（ChatGPT / Claude / Cursor 等） | 0→1 |
|
||
| 向量数据库 | FAISS 一个库（2017） | 7+ 主流方案（2024） | 生态爆发 |
|
||
| 记忆框架 | 无 | Mem0 / Letta / Zep / OpenMemory 等 | 从零到生态 |
|
||
| MCP 服务器 | 0（2024.11 前） | 5,800+（2025.4） | 5 个月爆发 |
|
||
|
||
## 核心洞察
|
||
|
||
1. **上下文窗口不是终极方案** —— 即使有 1M tokens，仍需 RAG 和持久记忆补充
|
||
2. **记忆从产品特性变成基础设施** —— MCP 让记忆成为可插拔的标准化层
|
||
3. **Agent 让记忆从被动变主动** —— 不再是"用户塞进去"，而是 AI 自己管理记忆
|
||
4. **多层记忆架构成为共识** —— 工作记忆 + 短期记忆 + 长期记忆，类比人脑
|
||
5. **开源追赶速度极快** —— Llama 4 Scout 10M 上下文，Qwen 2.5 1M，差距在缩小
|
||
|
||
---
|
||
|
||
*立项 2025.07 · 持续更新中 · 最后更新 2026.03.18*
|