# Attention Evolution × Step 5：提取与来源记录

整理日期：2026-10-03。学习页：[统一教程](attention-evolution-tutorial.html)。

## 材料与证据层次

1. 用户提供的 Step 5 文章全文（开头为“9月份，是一个神仙打架、周周洗牌的修罗场”）；[原始链接](https://mp.weixin.qq.com/s/Su3y0jY4tVE5S3CR_m4yIw)。读取依据是用户提供的文本，不是重新访问被拦截的微信页面。
2. 原有 attention-evolution 课程的 8 个主题和论文入口。合并保留了原来的机制、公式、取舍和测验。
3. 补充概念使用一手论文或通用教学推导。所有集合、数值小例子和 Amdahl 滑块都是教学示例，不是厂商实验。

“文章披露”不等于“已独立验证”。正文没有提供完整 Step 5 技术报告、代码与官方权重链接，未能完成该模型的论文—实现—权重三方交叉核验。未将第三方同名 Hugging Face 仓库认作官方发布。

## 提取清单与学习顺序

| 顺序 | 知识点 | 与材料的关系 |
| --- | --- | --- |
| 01 | Token、上下文、多跳依赖 | 原文 1M、多跳任务的先修解释 |
| 02 | Prefill / Decode | 原文明示 Prefill；补充 Decode 对照 |
| 03 | KV Cache | 连接长上下文与旧课的基础 |
| 04 | Hidden State、残差 | 原文明示 Hidden State；补充残差 |
| 05 | RMSNorm | 原文明示；使用 RMSNorm 论文解释 |
| 06 | Narrow but Deep | 原文 92 层设计动机 |
| 07 | 数值爆炸、梯度尖峰、稳定训练 | 原文明示；稳定手段仅为通用示例 |
| 08 | GPT-2 / Causal Softmax | 原课程保留 |
| 09 | MHA / MQA / GQA | Sparse GQA 先修 |
| 10 | MLA | 原课程 KDA / K3 的先修补充 |
| 11 | Sparse GQA | 原文明示 |
| 12 | Indexer / Top-k | 原文明示 |
| 13 | Block-wise Token Merging | 原文明示；具体合并算法未知 |
| 14 | FlashAttention | 区分精确注意力的执行优化与稀疏选择 |
| 15 | GPU 利用率 / Amdahl 定律 | 解释原文“稀疏不天然等于更快” |
| 16–20 | Linear、DeltaNet、Chunkwise、Gated DeltaNet、KDA | 原课程主干保留 |
| 21 | Sparse MoE / 激活参数 | 原文明示，与 K3 交叉联系 |
| 22 | AttnRes / Block AttnRes | 原课程保留；不能推断 Step 5 也使用 |
| 23 | Kimi K3 | 原课程整机案例保留 |
| 24 | Step 5 与 K3 架构对照 | 两份材料的整合节点 |
| 25 | 长程 Agent / 工具调用 | 原文应用和训练主线 |
| 26 | 任务合成 / 可验证环境 / 动态编排 | 原文数据体系 |
| 27 | Anti-hacking / Reward hacking | 原文明示，补充验收器原理 |
| 28 | 长轨迹 RL / 任务时域 | 原文明示 |
| 29 | 细粒度奖励 / Credit Assignment | 原文明示，补充概念公式 |
| 30 | 训推一致性 | 原文明示，具体修正方案未知 |
| 31 | Context Compaction | 原文明示，与内部状态压缩区分 |
| 32 | 多模态 / GUI / 端侧约束 | 提取通用技术层，区分各产品线 |
| 33 | 帕累托前沿 / Benchmark | 原文比较框架；不复述未复现的排行榜结论 |

## Step 5 专有说法的边界

| 说法 | 页面处理 |
| --- | --- |
| 600B 总参、27B 激活、92 层、1M | 明确归于所给文章；27/600=4.5% 是算术比值，不是显存或延迟比例 |
| 窄深改善隐式多跳推理 | 作为设计动机；不解释为“一层完成一跳”，不把相关性当因果消融 |
| 优化 Hidden State、RMSNorm 与梯度 | 未知实际配方；裁剪公式只是通用教学例子 |
| Sparse GQA | 解释 GQA 共享和历史位置筛选；不编造头数、稀疏预算或索引器结构 |
| Block-wise Token Merging | 按文章说明相邻选择的复用与合并；集合并集仅说明可复用性，非官方算法 |
| Indexer / Top-k 成本降低 8× | 保留局部成本口径；块大小、基线、设备未知，不推导整网 8× |
| 百万级可验证环境、Anti-hacking | 作为文章披露；任务质量、泄漏与验证器可靠性需另外检验 |
| 长轨迹、训推一致性、Compaction、奖励优化 | 解释目标，不指定未披露的 PPO/GRPO、奖励权重或精度配置 |
| 开源、榜单排名、商业价格、应用案例 | 不用作可复现技术结论；API 可用、权重开放、许可证是不同事项 |

## 一手阅读入口

- [Transformer](https://arxiv.org/abs/1706.03762)：Attention、子层与残差基础。
- [RMSNorm](https://arxiv.org/abs/1910.07467)：均方根归一化；本次已读取摘要与论文公式片段。
- [GQA](https://arxiv.org/abs/2305.13245)：分组查询与 KV 头共享；本次已读取摘要与论文片段。
- [DeepSeek-V2](https://arxiv.org/abs/2405.04434)：MLA 低维 KV 表示；本次已核对论文入口。
- [FlashAttention](https://arxiv.org/abs/2205.14135)：精确注意力的 I/O 优化；本次已核对论文入口。
- [Sparsely-Gated MoE](https://arxiv.org/abs/1701.06538)：稀疏专家层；本次已核对论文入口。
- [Linear Attention](https://arxiv.org/abs/2006.16236)、[DeltaNet](https://arxiv.org/abs/2102.11174)、[Chunkwise DeltaNet](https://arxiv.org/abs/2406.06484)、[Gated DeltaNet](https://arxiv.org/abs/2412.06464)：原课程保留的来源入口。
- [Kimi Linear](https://arxiv.org/abs/2510.26692)、[Attention Residuals](https://arxiv.org/abs/2603.15031)：本次已核对来源入口，沿用原课程讲解。
- [Kimi K3 技术报告](https://arxiv.org/html/2607.24653v1)：本次读取报告，确认混合注意力、Attention Residuals、Stable LatentMoE 等架构章节。性能数字是作者报告，不是本课程的独立复现。

正文还包含 three.js、shader、检索引用、电子表格公式、ASR 词错误率等应用案例细节。它们在本课归入多模态、Agent 工作流和评测边界，不展开为渲染、财务或语音识别的独立课程；不将营销与装机量描述混进注意力原理。