Learning Path 04

Attention Evolution

从“读入一段文字”开始,理解模型怎样稳定地算、选择性地读、紧凑地记,最后持续完成一项任务。将 Step 5 文章与原有注意力演进课程合为一条学习路径。

一条路径,六个阶段

按知识依赖排序,不按发布时间排名。初学者从 01 开始;熟悉 Transformer 的读者可以直接选 Sparse GQA、Block-wise Token Merging,或回到原算法主干。

来源边界:Step 5 的专有设计以你提供的文章为准;公式与小例子是教学解释。600B / 27B、92 层、1M 与局部 8× 均保留原文口径,不视为独立复现。查看来源说明

测验完成 0 / 33
展开原有算法演进图 · 固定状态与跨层检索支线

箭头表示本课程的理解顺序与机制联系,不表示所有架构都依次替代前者。GQA / Sparse GQA 的显式位置路线与这条固定状态路线并行。

概念与算法演进树 上方是序列记忆的演进,下方是深度路由的演进,两条路线在 Kimi K3 汇合。 序列维度 · 记什么 / 怎么改 / 怎么忘 深度维度 · 从哪一层取信息 压缩 纠错写入 并行训练 主动遗忘 通道级门控 混合检索 固定相加 → 可学习选择 跨层检索

都在“省”,省的对象却不同

机制改变什么不能据此推断
GQA / MLAKV 头共享 / 每个位置的表示压缩历史位置数变成常数
Sparse GQA本次参与注意力的历史位置所有未选位置的 KV 都被删除
Block-wise Token Merging按原文,复用与合并相邻查询的选择工作删掉文本、块大小等于 8、整网快 8×
Linear / Delta / KDA把历史关联写入固定状态任意细节均可无损恢复
MoE / AttnRes选专家 / 选跨层表示它们都在选择历史 token
Context Compaction工作历史与任务状态的上下文表示等同于模型内部的注意力压缩

动手算:一个部分快 8 倍,整机能快多少?

教学模型:其余耗时不变,且没有新增开销或重叠变化。滑块不是 Step 5 的实测数据。

来源、核验边界与文章技术点清单

Step 5 原文由用户粘贴提供,技术段落已覆盖到课程中。原文链接;逐项提取与来源记录。整理日期:2026-10-03。

每个知识点的链接区分“一手论文”和“用户提供的文章”。Step 5 的具体合并规则、稳定训练配方与 RL 算法未在正文披露,页面不将教学示例当作这些实现。已有 Kimi 路线保留论文入口,性能数字均应按论文测试条件理解。

文章的榜单、商业价格和案例成绩不作为本课程的复现实验。检索到的第三方同名模型仓库也不作为官方权重发布证据;权重与许可状态应以厂商正式发布为准。