Large Reasoning Model:教学大纲
第三部分:Large Reasoning Model
2026-11-20 修订。沿教学逻辑连续推进,不按固定课时切节。连续主讲共 131 页,包含88 个原页;三个专题完整资料共 132 页。原页不拆分、不合并,保持原页相对顺序和元素布局。
标题层级与讲授顺序
总标题为“Large Reasoning Model”,副标题为“推理过程、可验证学习与不确定性推断”。三个内容主题是:3.1 Reasoning Processes and Search;3.2 Learning and Scaling Reasoning;3.3 Logic and Uncertainty。12 个小节均有独立标题页,以主题为主标题、小节为子标题;节标题与页面正文分开。
分节依据是当前要解决的问题和计算对象发生变化。模型从生成一条路径转为搜索多条路径,搜索反馈转为参数更新,硬逻辑转为概率建模,布尔世界转为连续软赋值,都是自然的分节位置。一次方法介绍的框图、机制、算例与结果应当连在一起,不在这些页面之间新增小节。
| 小节 | 标题与入口 | 本节问题 |
|---|---|---|
| 3.1.1 | Explicit Reasoning and Decomposition | 怎样把直接回答组织成可以执行和检查的中间过程? |
| 3.1.2 | Test-Time Scaling I: Search and Feedback | 固定模型,怎样把计算分配给候选、分支、修订和选择? |
| 3.2.1 | From Search Experience to Learning | 怎样让当前搜索得到的经验改变后续问题上的生成能力? |
| 3.2.2 | R1-Zero: Learning from Verifiable Rewards | 规则奖励怎样经由 GRPO 改变模型策略? |
| 3.2.3 | Test-Time Scaling II: Length Control | 回到同一预算框架,单条轨迹应继续多久,怎样与多候选结合? |
| 3.2.4 | Reasoning Efficiency | 如何在正确率、延迟和资源约束之间分配推理计算? |
| 3.2.5 | Code and Proof: Learning from Verification | 执行测试和形式证明怎样进入完整的学习系统? |
| 3.3.1 | Natural Language to Logic: Formalization and Solving | 如何忠实表达任务,并把推导交给符号求解器? |
| 3.3.2 | Uncertain Evidence and Soft Rules | 前提有噪声、规则有例外时,怎样保留结构和不确定性? |
| 3.3.3 | Markov Random Fields: Joint Distributions and Inference | 局部势函数怎样组成可学习、可查询的联合分布? |
| 3.3.4 | Markov Logic Networks: Weighted Logic and Inference | 一阶逻辑模板怎样生成网络,并融合有噪声的事实? |
| 3.3.5 | Probabilistic Soft Logic: Continuous Optimization | 改变变量语义和势函数后,怎样获得可扩展的 MAP 推断? |
关键衔接
- 课堂采用连续讲授:算例由教师直接演示,不安排小练习、分组作答或限时计算。
- 3.1.1 按“直接回答失败与基线 → 构造 CoT 提示 → 新题生成步骤 → 实验效果”推进;不在开场提前总结 CoT 收益或搜索、验证等后续方法。
- 显式推理与分解执行之后,才进入多路径的搜索、选择与修订。
- 搜索和反馈讲清之后,再进入推理学习;R1-Zero 的奖励、GRPO、训练现象与结果属于同一小节。
- R1-Zero 结果之后,切回固定检查点下的长度控制与效率。前后两节统一为“推理时计算(一)/(二)”:先讲搜索与反馈,中间解释模型怎样学习,再回到同一框架研究长度、停止与资源分配。
- 两个验证案例讲完之后,沿规格与前提的边界进入语言到逻辑;Logic-LM 与 LINC 各自的框图、机制和结果连续保留。
- 在 Logic-LM / LINC 的证据边界讲清后,进入不确定证据与软规则。原先提前出现的 MLN 页改题为“Weighted Logic and Probability”,用于说明建模方向;正式 MLN 小节在 MRF 完整讲完后才开始。
- MRF、MLN、PSL 各自独立成节:先建立联合分布,再由逻辑模板生成分布,最后改变变量与势函数形式做连续优化。各方法使用独立算例,不再安排跨方法贯通故事。
两段推理时计算:同一个预算框架,两次展开
统一问题是:固定模型检查点与评价组件,怎样在给定预算内组织当前题目的求解过程,取得更好的最终质量?控制器可以增加候选和分支、延续或修订已有状态,也可以评价、选择和停止。模型根据已有上下文改变后续输出分布,不等于权重发生更新。
| 共同控制量 | 前段已经涉及 | 后段重点与组合 |
|---|---|---|
| 候选广度 | 解码候选、自一致、ToT 分支 | 可以对多条候选分别施加长度控制 |
| 序列延续 | ToT 深度、Self-Refine 反馈修订 | Budget forcing 调整思考长度与结束方式 |
| 选择与停止 | 投票、评分、剪枝、执行检查 | 长度上限、结束符干预;选择与检查仍可保留 |
因此,前段不能整体等同于“并行”,后段也不是与搜索互斥的“串行方法”。ToT 本来就可兼有广度和深度;反馈修订本来就有序列依赖。Budget forcing 是这个框架里的一个长度与停止控制机制,也可以与多次采样、投票或验证组合。
保留两处的教学理由。 先建立如何使用给定模型的过程框架,再用 R1-Zero 解释可验证反馈怎样改变模型策略,之后冻结检查点,回到同一框架讨论长轨迹、停止控制与效率。顺序是“使用模型 → 学习模型 → 重新分配推理计算”。这不是技术上的先决关系:budget forcing 不要求先做 RLVR;代表工作 s1 使用 SFT 建立其检查点,也不是 R1-Zero 的后续阶段。两张现有衔接页复用同一框图,原页顺序与数量不变。
统一预算小例子。 给定 4,096 个生成 token 的上限,可以分配为 8×512、1×4,096 或 4×1,024。它们分别突出广度、序列延续或二者组合。这些数值仅为课堂方案,不预先决定哪种表现更好,也不等于严格相同的实际计算成本。记录实际生成量、重复提示处理、评分/工具成本与延迟;失败或被丢弃的候选同样计入。
另一个层次的预算问题。 训练与推理的计算交换比较相同总 FLOPs 下的两条路线:固定预训练 token 数、扩大模型参数后贪心解码;或保留小模型、增加修订与搜索计算。累计推理负载 R 和相对小模型的题目难度决定哪条路线更有效。这与固定模型后的推理内部分配不同。
分开评测三件事。 固定检查点改变预算总量,考察 scaling 曲线;固定检查点与成本口径改变分配策略,比较搜索与长度控制;固定评价协议比较训练前后检查点,考察学习效果。上限相同不等于成本相同。s1 v1 Figure 4 的序列扩展与多数投票使用不同检查点,不能单凭跨图差异断言串行策略普遍优于并行策略。
课堂入口:统一框架与学习衔接;回到长度控制。参考:Snell 等,§2–3;s1,§3–4。
原页组织与保留
Large Reasoning Model 保留原第 1–43、48–50 页;System I / II 原第 44–47 页仍在第四部分 Agent。Symbolic Reasoning 保留原第 1–46 页,原第 47 页收尾讨论页已删除,已删除的 KGE 不恢复。原页相对顺序、布局、独立媒体与公式保持;新增的六页验证案例整体移到原第 43 页后,避免插断 R1-Zero 到推理预算的原讲授顺序。
三个完整专题共 132 页,连续主讲共 131 页。仅“ReAct / Reflexion”一张增补页留作相关阅读;当前展示的原页都在主讲路线中。MLN 原第 31–39 页、PSL 原第 40–43 页、MRF 原第 19–30 页、CoT-decoding 原第 10–12 页和后段 scaling 原第 35–42 页均完整进入授课。
Test-time scaling 统一解释为固定检查点下的计算分配。前段讲候选、聚合、搜索与修订;后段讲长度控制、效果曲线与效率。R1-Zero 的参数更新与两段推理时计算明确分开;概念 scaling 图不当作已验证的定律。
语言到逻辑:方法与论文案例
代码与数学验证之后,先说明已有验证器检查的对象及自然语言规格接口的缺口。Logic-LM 使用原论文 Figure 2 的车辆排序案例,依次讲变量与约束、三个模块、求解器选择、执行报错修订及实验边界。LINC 使用原论文 Figures 1–2 的矩形推理,依次讲前提和查询的语义解析、Prover9 演绎、多路解析及标签投票,再看结果与错误分析。
不再用同一个人物故事串联形式化、概率与优化。MRF 保留双变量势函数算例;MLN 使用朋友、兴趣及吸烟关系说明模板与地化网络,再用关系辅助实体链接的六页算例完整演算后验;PSL 保留独立的一维 hinge 优化。
逐页内容顺序
3.1 Reasoning Processes and Search
3.2 Learning and Scaling Reasoning
3.3 Logic and Uncertainty
课件导航
首页提供三个主题及十二个小节的进入点。课件右上角“Sections”菜单与大纲使用同一套编号和英文标题;当前小节随翻页显示。每个小节以独立标题页开始,原正文页保持相对顺序。