121 lines
5.3 KiB
Markdown
121 lines
5.3 KiB
Markdown
# 上下文窗口演进
|
||
|
||
> 从 512 tokens 到 1000 万 tokens，AI 的"工作记忆"扩大了近 20,000 倍。
|
||
|
||
## OpenAI GPT 系列
|
||
|
||
| 模型 | 发布时间 | 上下文窗口 | 备注 |
|
||
|------|----------|-----------|------|
|
||
| GPT-1 | 2018.06 | 512 tokens | 最初的 Transformer LM |
|
||
| GPT-2 | 2019.02 | 1,024 tokens | 1.5B 参数 |
|
||
| GPT-3 | 2020.05 | 2,048 tokens | 175B 参数，few-shot 涌现 |
|
||
| GPT-3.5 / ChatGPT | 2022.11.30 | 4,096 tokens | 聊天界面上线，AI 出圈 |
|
||
| GPT-4 | 2023.03.14 | 8K / 32K tokens | 多模态，两个上下文版本 |
|
||
| GPT-4 Turbo | 2023.11.06 | 128K tokens | DevDay 发布，上下文翻 4 倍 |
|
||
| GPT-4o | 2024.05.13 | 128K tokens | 全模态，速度更快 |
|
||
| o1-preview | 2024.09.12 | 128K tokens | 思维链推理 |
|
||
| o1 (正式版) | 2024.12.05 | 200K tokens | 100K 输出 tokens |
|
||
| GPT-4.1 | 2025.04.14 | 1M tokens | 含 mini 和 nano 变体 |
|
||
| o3 | 2025.04 | 200K tokens | 与 o4-mini 同期发布 |
|
||
|
||
## Anthropic Claude 系列
|
||
|
||
| 模型 | 发布时间 | 上下文窗口 | 备注 |
|
||
|------|----------|-----------|------|
|
||
| Claude 1 | 2023.03 | 9K tokens | 首次 API 发布 |
|
||
| Claude 2 | 2023.07.11 | 100K tokens | 从 9K 跳到 100K，里程碑 |
|
||
| Claude 2.1 | 2023.11.21 | 200K tokens | 翻倍 |
|
||
| Claude 3 (Haiku/Sonnet/Opus) | 2024.03.04 | 200K tokens | 三级模型家族 |
|
||
| Claude 3.5 Sonnet | 2024.06.20 | 200K tokens | 性能超 Opus，性价比之王 |
|
||
| Claude 3.5 Sonnet v2 | 2024.10.22 | 200K tokens | Computer Use 引入 |
|
||
| Claude 3.7 Sonnet | 2025.02.25 | 200K tokens | Extended Thinking 模式 |
|
||
| Claude Sonnet 4 / Opus 4 | 2025.05.22 | 200K tokens | Opus 4 最强编程模型 |
|
||
| Claude Sonnet 4.5 | 2025.09.29 | 200K (1M beta) | 1M 上下文 Beta 测试 |
|
||
| Claude Opus 4.5 | 2025.11.24 | 200K tokens | 最强推理 |
|
||
| Claude Opus 4.6 | 2026.02.05 | **1M tokens** | 1M GA，128K 输出 |
|
||
| Claude Sonnet 4.6 | 2026.02.17 | **1M tokens** | 1M GA，64K 输出 |
|
||
|
||
## Google Gemini 系列
|
||
|
||
| 模型 | 发布时间 | 上下文窗口 | 备注 |
|
||
|------|----------|-----------|------|
|
||
| Gemini 1.0 | 2023.12.06 | 32K tokens | Ultra/Pro/Nano 三版 |
|
||
| Gemini 1.5 Pro | 2024.02.15 | **1M tokens** (默认 128K) | 首个 1M 上下文模型 |
|
||
| Gemini 1.5 Pro (扩展) | 2024 年中 | **2M tokens** | Google I/O 翻倍 |
|
||
| Gemini 2.0 Flash | 2024.12 | 1M tokens | Agentic 时代开启 |
|
||
| Gemini 2.5 Pro | 2025 | 1M tokens | — |
|
||
| Gemini 2.5 Flash | 2025.05.20 | 1M tokens | 混合思考控制 |
|
||
|
||
## 开源模型
|
||
|
||
### Meta Llama
|
||
|
||
| 模型 | 发布时间 | 上下文窗口 |
|
||
|------|----------|-----------|
|
||
| LLaMA 1 | 2023.02.24 | 2,048 tokens |
|
||
| Llama 2 | 2023.07 | 4,096 tokens |
|
||
| Llama 3 | 2024.04.18 | 8,192 tokens |
|
||
| Llama 3.1 | 2024.07.23 | 128K tokens |
|
||
| Llama 3.2 | 2024.09 | 128K tokens |
|
||
| Llama 4 Maverick | 2025.04.05 | **1M tokens** |
|
||
| Llama 4 Scout | 2025.04.05 | **10M tokens** |
|
||
|
||
### Mistral AI
|
||
|
||
| 模型 | 发布时间 | 上下文窗口 |
|
||
|------|----------|-----------|
|
||
| Mistral 7B | 2023.10 | 8K (滑动窗口到 32K) |
|
||
| Mixtral 8x7B | 2023.12.11 | 32K tokens |
|
||
| Mistral Large 2 | 2024 | 128K tokens |
|
||
| Mistral Small 3.1 | 2025.03.17 | 128K tokens |
|
||
|
||
### 阿里 Qwen（通义千问）
|
||
|
||
| 模型 | 发布时间 | 上下文窗口 |
|
||
|------|----------|-----------|
|
||
| Qwen 1 | 2023.08 | 8K tokens |
|
||
| Qwen 2 | 2024.06.06 | 128K tokens |
|
||
| Qwen 2.5 | 2024.09.19 | 128K tokens |
|
||
| Qwen 2.5-1M | 2025.01 | **1M tokens** |
|
||
| Qwen 3 | 2025.04.28 | 1M tokens |
|
||
|
||
### DeepSeek
|
||
|
||
| 模型 | 发布时间 | 上下文窗口 |
|
||
|------|----------|-----------|
|
||
| DeepSeek-V2 | 2024.05 | 128K tokens |
|
||
| DeepSeek-V3 | 2024.12.25 | 128K tokens |
|
||
| DeepSeek-R1 | 2025.01.20 | 128K tokens |
|
||
|
||
## 增长趋势图
|
||
|
||
```
|
||
tokens
|
||
10M ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ★ Llama 4 Scout
|
||
│
|
||
1M ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ★─────────────★ Claude 4.6 / GPT-4.1
|
||
│ │ Gemini 1.5
|
||
│ │
|
||
200K ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ★───────┤ Claude 2.1 → 3.x
|
||
128K ─ ─ ─ ─ ─ ─ ─ ─ ─ ★─┤ │ GPT-4 Turbo / Llama 3.1
|
||
│ │ │ │
|
||
100K ─ ─ ─ ─ ─ ─ ─ ★───┤ │ │ Claude 2
|
||
32K ─ ─ ─ ─ ─ ─ ★─┤ │ │ │ GPT-4 32K
|
||
8K ─ ─ ─ ─ ─ ★─┤ │ │ │ │ GPT-4
|
||
4K ─ ─ ─ ─ ★─┤ │ │ │ │ │ ChatGPT
|
||
2K ─ ─ ─ ★─┤ │ │ │ │ │ │ GPT-3
|
||
1K ─ ─ ★─┤ │ │ │ │ │ │ │ GPT-2
|
||
512 ─ ★─┤ │ │ │ │ │ │ │ │ GPT-1
|
||
│ │ │ │ │ │ │ │ │ │
|
||
─────┼──┼──┼──┼──┼──┼──┼───┼─┼───────┼──→ 时间
|
||
'18'19'20'22'23 '24 '25-26
|
||
```
|
||
|
||
## 关键转折点
|
||
|
||
1. **Claude 2（2023.07）** —— 首次突破 100K，证明长上下文可行
|
||
2. **Gemini 1.5 Pro（2024.02）** —— 首个 1M 上下文，开启百万 token 时代
|
||
3. **Llama 3.1（2024.07）** —— 开源阵营跟进到 128K
|
||
4. **Claude 4.6 / GPT-4.1（2026.02 / 2025.04）** —— 主流商用模型进入 1M 时代
|
||
5. **Llama 4 Scout（2025.04）** —— 10M tokens，开源模型超越闭源上下文长度
|