init repo
This commit is contained in:
59
README.md
Normal file
59
README.md
Normal file
@@ -0,0 +1,59 @@
|
||||
# AI 记忆技术演进研究
|
||||
|
||||
> 记录 AI/LLM 记忆能力从"无状态"到"全面记忆"的技术转变。
|
||||
|
||||
## 为什么做这个记录
|
||||
|
||||
AI 的"记忆"经历了剧烈的变革——从 GPT-2 的 1024 tokens 到 Llama 4 Scout 的 1000 万 tokens,从每次对话完全失忆到跨会话持久记忆,从单一上下文到 RAG + Agent + MCP 多层记忆体系。这些变化发生得太快,值得系统性地记录下来。
|
||||
|
||||
## 演进主线
|
||||
|
||||
```
|
||||
无状态 LLM(2018-2022)
|
||||
↓ 每次对话都是全新的,512-4K tokens 上下文
|
||||
上下文窗口扩张(2023-2024)
|
||||
↓ 4K → 32K → 128K → 200K,信息可以"塞进去"
|
||||
RAG 检索增强(2023-2024)
|
||||
↓ 外部知识库补充上下文,向量数据库兴起
|
||||
持久记忆(2024-2025)
|
||||
↓ ChatGPT Memory、Claude Memory,跨会话记住用户
|
||||
Agent 记忆(2025-2026)
|
||||
↓ 自主 Agent 拥有工作记忆+长期存储
|
||||
全面记忆时代(2026-)
|
||||
↓ 1M+ tokens 上下文 + 持久记忆 + MCP 工具记忆 + Agent 自主管理
|
||||
```
|
||||
|
||||
## 文档目录
|
||||
|
||||
| 文件 | 内容 |
|
||||
|------|------|
|
||||
| [01-上下文窗口演进.md](01-上下文窗口演进.md) | 各模型上下文窗口从 512 到 1000 万的完整时间线 |
|
||||
| [02-RAG技术演进.md](02-RAG技术演进.md) | 从 RAG 论文到 GraphRAG、Agentic RAG 的发展 |
|
||||
| [03-持久记忆系统.md](03-持久记忆系统.md) | MemGPT、ChatGPT Memory、Claude Memory 等方案 |
|
||||
| [04-微调与对齐.md](04-微调与对齐.md) | LoRA/QLoRA/RLHF/DPO——通过训练"写入"记忆 |
|
||||
| [05-Agent记忆架构.md](05-Agent记忆架构.md) | 从 AutoGPT 到 Claude Agent SDK 的记忆设计 |
|
||||
| [06-MCP与工具记忆.md](06-MCP与工具记忆.md) | MCP 协议如何让记忆跨工具、跨平台流通 |
|
||||
| [07-注意力机制演进.md](07-注意力机制演进.md) | FlashAttention / Ring Attention——大上下文的底层支撑 |
|
||||
|
||||
## 关键数字速览
|
||||
|
||||
| 指标 | 起点 | 现在(2026.3) | 倍数 |
|
||||
|------|------|----------------|------|
|
||||
| 最大上下文窗口 | 512 tokens(GPT-1, 2018) | 10M tokens(Llama 4 Scout, 2025) | ~20,000x |
|
||||
| 主流上下文窗口 | 4K tokens(GPT-3.5, 2022) | 1M tokens(Claude 4.6 / Gemini 2.5) | ~250x |
|
||||
| 跨会话记忆 | 无 | 标配(ChatGPT / Claude / Cursor 等) | 0→1 |
|
||||
| 向量数据库 | FAISS 一个库(2017) | 7+ 主流方案(2024) | 生态爆发 |
|
||||
| 记忆框架 | 无 | Mem0 / Letta / Zep / OpenMemory 等 | 从零到生态 |
|
||||
| MCP 服务器 | 0(2024.11 前) | 5,800+(2025.4) | 5 个月爆发 |
|
||||
|
||||
## 核心洞察
|
||||
|
||||
1. **上下文窗口不是终极方案** —— 即使有 1M tokens,仍需 RAG 和持久记忆补充
|
||||
2. **记忆从产品特性变成基础设施** —— MCP 让记忆成为可插拔的标准化层
|
||||
3. **Agent 让记忆从被动变主动** —— 不再是"用户塞进去",而是 AI 自己管理记忆
|
||||
4. **多层记忆架构成为共识** —— 工作记忆 + 短期记忆 + 长期记忆,类比人脑
|
||||
5. **开源追赶速度极快** —— Llama 4 Scout 10M 上下文,Qwen 2.5 1M,差距在缩小
|
||||
|
||||
---
|
||||
|
||||
*立项 2025.07 · 持续更新中 · 最后更新 2026.03.18*
|
||||
Reference in New Issue
Block a user