第三部分 · 预训练
32T tokens 怎么挑、loss spike 怎么压、Base 模型怎么读评分。
读完这部分，你将能够
- 列出 V4 的 32T 预训练数据与 V3 相比的 4 个关键差异，并说出每个差异背后的目的。
- 读懂 V4-Pro / Flash 的关键超参表，并解释 4K → 16K → 64K → 1M 序列长度调度的工程意义。
- 解释 Anticipatory Routing 的"用 θ_t 算特征、用 θ_{t-Δt} 算路由"为什么能压住 loss spike。
- 说出 SwiGLU Clamping 的两组阈值（线性 [-10,10] / gate ≤ 10），并解释 DeepSeek 为什么愿意公开"还没理解清楚"的 trick。
- 读懂 V3.2-Base / V4-Flash-Base / V4-Pro-Base 的同框对比表，指出"Flash 用更小的参数赢更多 benchmark"的关键证据。
- 说明 Base 评测为什么是观察后训练起点的重要依据，以及为什么不能把它当作 OPD 成绩的固定上限。
本部分章节路线图
32T Tokens 数据构造
长文档优先、采样级 mask、超参表速查。
Anticipatory & SwiGLU 钳位
两个朴素而极有效的稳定性 trick。
Base 模型评测
三模型同框对比，观察后训练介入前的综合能力起点。
如果你只关心"V4 与 V3 在数据 / 稳定性上有哪些不同"，Ch13 + Ch14 已经够。Ch15 展示架构、数据、规模与训练优化共同作用后的 Base 结果；它不是这些因素的单项消融。
本部分小结
核心要点回顾
- 数据（Ch13）：32T 长文档优先、采样级 mask、tokenizer 沿用、agentic mid-training 注入；序列长度 4K → 16K → 64K → 1M 阶梯式扩。
- 稳定（Ch14）：Anticipatory Routing 把"路由 / 主干"更新解耦压 spike；SwiGLU Clamping 双阈值（线性 [-10,10] / gate ≤ 10）灭 outlier。
- 评测（Ch15）：Flash-Base 以更少总参数在多数内部统一设置的 benchmark 上超过 V3.2-Base；Pro-Base 进一步提高知识、推理、代码与长上下文结果。
关键公式 / 参数速查
| 位置 | 表达 / 数值 | 含义 |
|---|---|---|
| SwiGLU 钳位 | 线性 [-10, 10] / gate ≤ 10 | 消 outlier 不掉性能 |
| Anticipatory 开销 | ~20%（仅 spike 时） | 平时回退 standard 路由 |
| 序列长度调度 | 4K → 16K → 64K → 1M | 阶梯式扩长上下文 |
| 训练 token | 32T (Flash) / 33T (Pro) | 近似总规模 |
| 采样级 mask | 同源样本可见 / 跨源屏蔽 | V4 与 V3 的关键差异 |
设计直觉地图
- 稳定性的两个 trick 是"承认子系统会发散，但把发散关在小窗口里"—— 与 mHC（Ch3）的"残差矩阵从主干隔出"是同一种思路。
- Base 评测里 Flash-Base 反超 V3.2-Base 的事实直接说明：架构红利 > 参数红利。这是 Part 1 + Part 2 在数据上的"兑现单"。
- 序列长度调度不是单纯"扩 ctx"，而是稀疏 attention 切换的时机—— sparse attention 在 64K 阶段才接管，前 1T token 用 dense warmup。
自检题
Q1. V4 与 V3 在 attention masking 上的最大差异是什么？为什么这个改动重要？
查看参考答案
V4 引入 sample-level attention masking：同一 packed sequence 中，不同样本之间的 token 不可见。这样既能通过 packing 减少 padding，又不会让模型把相邻拼接但语义无关的样本当成同一上下文。报告没有量化它与长文档平均长度之间的关系。
Q2. Anticipatory Routing 用 θ_{t-Δt} 算路由 index，为什么不会让训练偏离方向？
查看参考答案
(1) 仅 spike 检测到时短暂触发，平时回退 standard；(2) Δt 很小，θ_{t-Δt} 与 θ_t 差距可控；(3) 主干特征仍用 θ_t；只是路由这一步被解耦，不影响信号本身的传递。本质是"治标"而不是"治本"——但治标足够。
Q3. 为什么 Pro-Base 上 FACTS Parametric +35.5 这个数字尤其值得关注？
查看参考答案
FACTS Parametric 用于评估参数化知识相关表现。Pro-Base 相比 V3.2-Base 的大幅提升与更大的模型、更多训练 token 和数据构造变化同时出现；仅凭该分数不能把增益归因于长文档、多语言或 agentic mid-training 中的某一项。