Files
20250724-882ca434/01-上下文窗口演进.md
2026-04-25 19:20:45 +08:00

5.3 KiB
Raw Permalink Blame History

上下文窗口演进

从 512 tokens 到 1000 万 tokensAI 的"工作记忆"扩大了近 20,000 倍。

OpenAI GPT 系列

模型 发布时间 上下文窗口 备注
GPT-1 2018.06 512 tokens 最初的 Transformer LM
GPT-2 2019.02 1,024 tokens 1.5B 参数
GPT-3 2020.05 2,048 tokens 175B 参数few-shot 涌现
GPT-3.5 / ChatGPT 2022.11.30 4,096 tokens 聊天界面上线AI 出圈
GPT-4 2023.03.14 8K / 32K tokens 多模态,两个上下文版本
GPT-4 Turbo 2023.11.06 128K tokens DevDay 发布,上下文翻 4 倍
GPT-4o 2024.05.13 128K tokens 全模态,速度更快
o1-preview 2024.09.12 128K tokens 思维链推理
o1 (正式版) 2024.12.05 200K tokens 100K 输出 tokens
GPT-4.1 2025.04.14 1M tokens 含 mini 和 nano 变体
o3 2025.04 200K tokens 与 o4-mini 同期发布

Anthropic Claude 系列

模型 发布时间 上下文窗口 备注
Claude 1 2023.03 9K tokens 首次 API 发布
Claude 2 2023.07.11 100K tokens 从 9K 跳到 100K里程碑
Claude 2.1 2023.11.21 200K tokens 翻倍
Claude 3 (Haiku/Sonnet/Opus) 2024.03.04 200K tokens 三级模型家族
Claude 3.5 Sonnet 2024.06.20 200K tokens 性能超 Opus性价比之王
Claude 3.5 Sonnet v2 2024.10.22 200K tokens Computer Use 引入
Claude 3.7 Sonnet 2025.02.25 200K tokens Extended Thinking 模式
Claude Sonnet 4 / Opus 4 2025.05.22 200K tokens Opus 4 最强编程模型
Claude Sonnet 4.5 2025.09.29 200K (1M beta) 1M 上下文 Beta 测试
Claude Opus 4.5 2025.11.24 200K tokens 最强推理
Claude Opus 4.6 2026.02.05 1M tokens 1M GA128K 输出
Claude Sonnet 4.6 2026.02.17 1M tokens 1M GA64K 输出

Google Gemini 系列

模型 发布时间 上下文窗口 备注
Gemini 1.0 2023.12.06 32K tokens Ultra/Pro/Nano 三版
Gemini 1.5 Pro 2024.02.15 1M tokens (默认 128K) 首个 1M 上下文模型
Gemini 1.5 Pro (扩展) 2024 年中 2M tokens Google I/O 翻倍
Gemini 2.0 Flash 2024.12 1M tokens Agentic 时代开启
Gemini 2.5 Pro 2025 1M tokens
Gemini 2.5 Flash 2025.05.20 1M tokens 混合思考控制

开源模型

Meta Llama

模型 发布时间 上下文窗口
LLaMA 1 2023.02.24 2,048 tokens
Llama 2 2023.07 4,096 tokens
Llama 3 2024.04.18 8,192 tokens
Llama 3.1 2024.07.23 128K tokens
Llama 3.2 2024.09 128K tokens
Llama 4 Maverick 2025.04.05 1M tokens
Llama 4 Scout 2025.04.05 10M tokens

Mistral AI

模型 发布时间 上下文窗口
Mistral 7B 2023.10 8K (滑动窗口到 32K)
Mixtral 8x7B 2023.12.11 32K tokens
Mistral Large 2 2024 128K tokens
Mistral Small 3.1 2025.03.17 128K tokens

阿里 Qwen通义千问

模型 发布时间 上下文窗口
Qwen 1 2023.08 8K tokens
Qwen 2 2024.06.06 128K tokens
Qwen 2.5 2024.09.19 128K tokens
Qwen 2.5-1M 2025.01 1M tokens
Qwen 3 2025.04.28 1M tokens

DeepSeek

模型 发布时间 上下文窗口
DeepSeek-V2 2024.05 128K tokens
DeepSeek-V3 2024.12.25 128K tokens
DeepSeek-R1 2025.01.20 128K tokens

增长趋势图

tokens
10M ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ★ Llama 4 Scout
     │
 1M ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ★─────────────★ Claude 4.6 / GPT-4.1
     │                             │ Gemini 1.5
     │                             │
200K ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ★───────┤ Claude 2.1 → 3.x
128K ─ ─ ─ ─ ─ ─ ─ ─ ─ ★─┤       │ GPT-4 Turbo / Llama 3.1
     │                   │ │       │
100K ─ ─ ─ ─ ─ ─ ─ ★───┤ │       │ Claude 2
 32K ─ ─ ─ ─ ─ ─ ★─┤   │ │       │ GPT-4 32K
  8K ─ ─ ─ ─ ─ ★─┤  │   │ │       │ GPT-4
  4K ─ ─ ─ ─ ★─┤  │  │   │ │       │ ChatGPT
  2K ─ ─ ─ ★─┤  │  │  │   │ │       │ GPT-3
  1K ─ ─ ★─┤  │  │  │  │   │ │       │ GPT-2
512 ─ ★─┤  │  │  │  │  │   │ │       │ GPT-1
     │  │  │  │  │  │  │   │ │       │
─────┼──┼──┼──┼──┼──┼──┼───┼─┼───────┼──→ 时间
    '18'19'20'22'23     '24       '25-26

关键转折点

  1. Claude 22023.07 —— 首次突破 100K证明长上下文可行
  2. Gemini 1.5 Pro2024.02 —— 首个 1M 上下文,开启百万 token 时代
  3. Llama 3.12024.07 —— 开源阵营跟进到 128K
  4. Claude 4.6 / GPT-4.12026.02 / 2025.04 —— 主流商用模型进入 1M 时代
  5. Llama 4 Scout2025.04 —— 10M tokens开源模型超越闭源上下文长度