# 注意力机制演进

> 大上下文窗口背后的底层技术支撑——没有这些创新，1M tokens 就只是理论数字。

## 核心问题

原始 Transformer 的自注意力复杂度是 O(n^2)：
- 4K tokens → 1600 万次计算
- 128K tokens → 163 亿次计算
- 1M tokens → 1 万亿次计算

不解决这个问题，长上下文就是空谈。

## 关键创新时间线

| 时间 | 创新 | 影响 |
|------|------|------|
| 2017.06 | **原始 Transformer / 自注意力** | "Attention Is All You Need"；O(n^2) 复杂度限制了上下文长度 |
| 2019-2020 | **稀疏注意力变体** | Longformer、BigBird；降低注意力复杂度，支持更长序列 |
| 2022.05.27 | **FlashAttention** | IO 感知的精确注意力 + 分块计算；2-4x 加速；让长上下文训练变得实际可行 |
| 2023 | **FlashAttention-2** | 更好的并行和工作分配 |
| 2023.08 | **Ring Attention** | 分块并行 Transformer；将注意力计算分布到多设备，理论上支持"无限"上下文 |
| 2023.11 | **Striped Attention** | 优化 Ring Attention 在因果 Transformer 上的效率 |
| 2024 | **FlashAttention-3** | 异步计算 + 低精度支持 |
| 2024.02 | **Ring Attention 处理百万级视频** | 实际验证 1M+ token 处理能力 |

## FlashAttention：最关键的突破

### 传统注意力

```
Q, K, V 矩阵（全在 GPU HBM 中）
    ↓
计算完整 n×n 注意力矩阵（写回 HBM）
    ↓
与 V 相乘（再次读写 HBM）

问题：GPU 的计算很快，但 HBM 读写是瓶颈
```

### FlashAttention

```
Q, K, V 矩阵
    ↓
分块（Tiling）：切成小块放入 SRAM
    ↓
在 SRAM 中完成注意力计算（不写回中间结果）
    ↓
只输出最终结果到 HBM

效果：减少 HBM 读写次数，2-4x 加速，无精度损失
```

## Ring Attention：分布式长上下文

```
设备 1          设备 2          设备 3          设备 4
┌──────┐      ┌──────┐      ┌──────┐      ┌──────┐
│ Q块1  │      │ Q块2  │      │ Q块3  │      │ Q块4  │
│ K块1  │ ──→ │ K块1  │ ──→ │ K块1  │ ──→ │ K块1  │ ──→ (环形传递)
│ V块1  │      │ V块1  │      │ V块1  │      │ V块1  │
└──────┘      └──────┘      └──────┘      └──────┘

KV 块在设备间环形传递，每个设备只需要存储自己的 Q 块
→ 上下文长度随设备数线性扩展
→ 理论上：设备数 × 单设备上下文 = 总上下文
```

## 技术栈对应关系

| 上下文里程碑 | 底层技术支撑 |
|-------------|-------------|
| 4K → 32K | 模型架构优化（RoPE 位置编码等） |
| 32K → 128K | FlashAttention 让训练可行 |
| 128K → 1M | FlashAttention-2/3 + 稀疏注意力 |
| 1M → 10M | Ring Attention + 分布式计算 |

## 趋势

- **精确注意力没有被抛弃** —— FlashAttention 证明通过 IO 优化，精确注意力也能高效
- **分布式是长上下文的终极答案** —— Ring Attention 让上下文长度和硬件规模线性相关
- **硬件在追赶** —— 更大 SRAM、更快 HBM 让长上下文的成本持续下降