跳至主要内容

Large Reasoning Model:教学大纲

课程首页 · 教学大纲

第三部分:Large Reasoning Model

2026-11-20 修订。沿教学逻辑连续推进,不按固定课时切节。连续主讲共 131 页,包含88 个原页;三个专题完整资料共 132 页。原页不拆分、不合并,保持原页相对顺序和元素布局。

标题层级与讲授顺序

总标题为“Large Reasoning Model”,副标题为“推理过程、可验证学习与不确定性推断”。三个内容主题是:3.1 Reasoning Processes and Search;3.2 Learning and Scaling Reasoning;3.3 Logic and Uncertainty。12 个小节均有独立标题页,以主题为主标题、小节为子标题;节标题与页面正文分开。

分节依据是当前要解决的问题和计算对象发生变化。模型从生成一条路径转为搜索多条路径,搜索反馈转为参数更新,硬逻辑转为概率建模,布尔世界转为连续软赋值,都是自然的分节位置。一次方法介绍的框图、机制、算例与结果应当连在一起,不在这些页面之间新增小节。

小节 标题与入口 本节问题
3.1.1 Explicit Reasoning and Decomposition 怎样把直接回答组织成可以执行和检查的中间过程?
3.1.2 Test-Time Scaling I: Search and Feedback 固定模型,怎样把计算分配给候选、分支、修订和选择?
3.2.1 From Search Experience to Learning 怎样让当前搜索得到的经验改变后续问题上的生成能力?
3.2.2 R1-Zero: Learning from Verifiable Rewards 规则奖励怎样经由 GRPO 改变模型策略?
3.2.3 Test-Time Scaling II: Length Control 回到同一预算框架,单条轨迹应继续多久,怎样与多候选结合?
3.2.4 Reasoning Efficiency 如何在正确率、延迟和资源约束之间分配推理计算?
3.2.5 Code and Proof: Learning from Verification 执行测试和形式证明怎样进入完整的学习系统?
3.3.1 Natural Language to Logic: Formalization and Solving 如何忠实表达任务,并把推导交给符号求解器?
3.3.2 Uncertain Evidence and Soft Rules 前提有噪声、规则有例外时,怎样保留结构和不确定性?
3.3.3 Markov Random Fields: Joint Distributions and Inference 局部势函数怎样组成可学习、可查询的联合分布?
3.3.4 Markov Logic Networks: Weighted Logic and Inference 一阶逻辑模板怎样生成网络,并融合有噪声的事实?
3.3.5 Probabilistic Soft Logic: Continuous Optimization 改变变量语义和势函数后,怎样获得可扩展的 MAP 推断?

关键衔接

  • 课堂采用连续讲授:算例由教师直接演示,不安排小练习、分组作答或限时计算。
  • 3.1.1 按“直接回答失败与基线 → 构造 CoT 提示 → 新题生成步骤 → 实验效果”推进;不在开场提前总结 CoT 收益或搜索、验证等后续方法。
  • 显式推理与分解执行之后,才进入多路径的搜索、选择与修订。
  • 搜索和反馈讲清之后,再进入推理学习;R1-Zero 的奖励、GRPO、训练现象与结果属于同一小节。
  • R1-Zero 结果之后,切回固定检查点下的长度控制与效率。前后两节统一为“推理时计算(一)/(二)”:先讲搜索与反馈,中间解释模型怎样学习,再回到同一框架研究长度、停止与资源分配。
  • 两个验证案例讲完之后,沿规格与前提的边界进入语言到逻辑;Logic-LM 与 LINC 各自的框图、机制和结果连续保留。
  • 在 Logic-LM / LINC 的证据边界讲清后,进入不确定证据与软规则。原先提前出现的 MLN 页改题为“Weighted Logic and Probability”,用于说明建模方向;正式 MLN 小节在 MRF 完整讲完后才开始。
  • MRF、MLN、PSL 各自独立成节:先建立联合分布,再由逻辑模板生成分布,最后改变变量与势函数形式做连续优化。各方法使用独立算例,不再安排跨方法贯通故事。

两段推理时计算:同一个预算框架,两次展开

统一问题是:固定模型检查点与评价组件,怎样在给定预算内组织当前题目的求解过程,取得更好的最终质量?控制器可以增加候选和分支、延续或修订已有状态,也可以评价、选择和停止。模型根据已有上下文改变后续输出分布,不等于权重发生更新。

共同控制量 前段已经涉及 后段重点与组合
候选广度 解码候选、自一致、ToT 分支 可以对多条候选分别施加长度控制
序列延续 ToT 深度、Self-Refine 反馈修订 Budget forcing 调整思考长度与结束方式
选择与停止 投票、评分、剪枝、执行检查 长度上限、结束符干预;选择与检查仍可保留

因此,前段不能整体等同于“并行”,后段也不是与搜索互斥的“串行方法”。ToT 本来就可兼有广度和深度;反馈修订本来就有序列依赖。Budget forcing 是这个框架里的一个长度与停止控制机制,也可以与多次采样、投票或验证组合。

保留两处的教学理由。 先建立如何使用给定模型的过程框架,再用 R1-Zero 解释可验证反馈怎样改变模型策略,之后冻结检查点,回到同一框架讨论长轨迹、停止控制与效率。顺序是“使用模型 → 学习模型 → 重新分配推理计算”。这不是技术上的先决关系:budget forcing 不要求先做 RLVR;代表工作 s1 使用 SFT 建立其检查点,也不是 R1-Zero 的后续阶段。两张现有衔接页复用同一框图,原页顺序与数量不变。

统一预算小例子。 给定 4,096 个生成 token 的上限,可以分配为 8×512、1×4,096 或 4×1,024。它们分别突出广度、序列延续或二者组合。这些数值仅为课堂方案,不预先决定哪种表现更好,也不等于严格相同的实际计算成本。记录实际生成量、重复提示处理、评分/工具成本与延迟;失败或被丢弃的候选同样计入。

另一个层次的预算问题。 训练与推理的计算交换比较相同总 FLOPs 下的两条路线:固定预训练 token 数、扩大模型参数后贪心解码;或保留小模型、增加修订与搜索计算。累计推理负载 R 和相对小模型的题目难度决定哪条路线更有效。这与固定模型后的推理内部分配不同。

分开评测三件事。 固定检查点改变预算总量,考察 scaling 曲线;固定检查点与成本口径改变分配策略,比较搜索与长度控制;固定评价协议比较训练前后检查点,考察学习效果。上限相同不等于成本相同。s1 v1 Figure 4 的序列扩展与多数投票使用不同检查点,不能单凭跨图差异断言串行策略普遍优于并行策略。

课堂入口:统一框架与学习衔接;回到长度控制。参考:Snell 等,§2–3;s1,§3–4。

原页组织与保留

Large Reasoning Model 保留原第 1–43、48–50 页;System I / II 原第 44–47 页仍在第四部分 Agent。Symbolic Reasoning 保留原第 1–46 页,原第 47 页收尾讨论页已删除,已删除的 KGE 不恢复。原页相对顺序、布局、独立媒体与公式保持;新增的六页验证案例整体移到原第 43 页后,避免插断 R1-Zero 到推理预算的原讲授顺序。

三个完整专题共 132 页,连续主讲共 131 页。仅“ReAct / Reflexion”一张增补页留作相关阅读;当前展示的原页都在主讲路线中。MLN 原第 31–39 页、PSL 原第 40–43 页、MRF 原第 19–30 页、CoT-decoding 原第 10–12 页和后段 scaling 原第 35–42 页均完整进入授课。

Test-time scaling 统一解释为固定检查点下的计算分配。前段讲候选、聚合、搜索与修订;后段讲长度控制、效果曲线与效率。R1-Zero 的参数更新与两段推理时计算明确分开;概念 scaling 图不当作已验证的定律。

语言到逻辑:方法与论文案例

代码与数学验证之后,先说明已有验证器检查的对象及自然语言规格接口的缺口。Logic-LM 使用原论文 Figure 2 的车辆排序案例,依次讲变量与约束、三个模块、求解器选择、执行报错修订及实验边界。LINC 使用原论文 Figures 1–2 的矩形推理,依次讲前提和查询的语义解析、Prover9 演绎、多路解析及标签投票,再看结果与错误分析。

不再用同一个人物故事串联形式化、概率与优化。MRF 保留双变量势函数算例;MLN 使用朋友、兴趣及吸烟关系说明模板与地化网络,再用关系辅助实体链接的六页算例完整演算后验;PSL 保留独立的一维 hinge 优化。

逐页内容顺序

3.2 Learning and Scaling Reasoning

页码 内容 授课位置
1 3.2.1 From Search Experience to Learning 3.2.1 · 连续主讲
2 Search Experience and Parameter Learning 3.2.1 · 连续主讲
3 Search Can Teach a Policy 3.2.1 · 连续主讲
4 o1: Reasoning Model Overview 3.2.1 · 连续主讲
5 o1: Reported Results 3.2.1 · 连续主讲
6 o1: What Was Publicly Known 3.2.1 · 连续主讲
7 3.2.2 R1-Zero: Learning from Verifiable Rewards 3.2.2 · 连续主讲
8 R1-Zero: Learning from Verifiable Rewards 3.2.2 · 连续主讲
9 R1-Zero: Response Structure 3.2.2 · 连续主讲
10 R1-Zero: Accuracy and Format Rewards 3.2.2 · 连续主讲
11 R1-Zero: From Response to Verifiable Reward 3.2.2 · 连续主讲
12 R1-Zero: Math and Format Rewards 3.2.2 · 连续主讲
13 R1-Zero: Code Execution Rewards 3.2.2 · 连续主讲
14 R1-Zero: GRPO 3.2.2 · 连续主讲
15 R1-Zero: Response Length during Training 3.2.2 · 连续主讲
16 R1-Zero: A Self-Checking Trace 3.2.2 · 连续主讲
17 R1-Zero: Evaluation Results 3.2.2 · 连续主讲
18 3.2.3 Test-Time Scaling II: Length Control 3.2.3 · 连续主讲
19 Test-Time Compute: Length and Stopping 3.2.3 · 连续主讲
20 Budget Forcing: Controlling Reasoning Length 3.2.3 · 连续主讲
21 Budget Forcing: A Worked Example 3.2.3 · 连续主讲
22 Budget Forcing: Compute and Performance 3.2.3 · 连续主讲
23 Compute Scaling: A Schematic 3.2.3 · 连续主讲
24 3.2.4 Reasoning Efficiency 3.2.4 · 连续主讲
25 Overthinking: Redundant Computation 3.2.4 · 连续主讲
26 Overthinking: Length and Performance 3.2.4 · 连续主讲
27 Allocating Inference Compute 3.2.4 · 连续主讲
28 Coconut: Reasoning in Latent Space 3.2.4 · 连续主讲
29 3.2.5 Code and Proof: Learning from Verification 3.2.5 · 连续主讲
30 DeepCoder: The Training Loop 3.2.5 · 连续主讲
31 DeepCoder: Execution Feedback and Learning 3.2.5 · 连续主讲
32 DeepCoder: Compare Matching Token Caps 3.2.5 · 连续主讲
33 AlphaProof: The Learning and Search System 3.2.5 · 连续主讲
34 Lean: Proof Names and the Goal State 3.2.5 · 连续主讲
35 AlphaProof: Inside the Proof Search 3.2.5 · 连续主讲
36 AlphaProof: Candidates and Lean Feedback 3.2.5 · 连续主讲
37 AlphaProof: From Verified Proofs to Learning 3.2.5 · 连续主讲
38 AlphaProof: Learning Gains and IMO Results 3.2.5 · 连续主讲
39 Learning from Verifiable Feedback 3.2.5 · 连续主讲
40 What Code and Math Verifiers Check 3.2.5 · 连续主讲
41 Further Reading: Reasoning Models 3.2.5 · 连续主讲
42 Reference Paper: DeepSeek-R1 3.2.5 · 连续主讲

3.3 Logic and Uncertainty

页码 内容 授课位置
1 3.3.1 Natural Language to Logic: Formalization and Solving 3.3.1 · 连续主讲
2 Logic-LM: The Vehicle Ordering Example 3.3.1 · 连续主讲
3 Logic-LM: Formulation and Symbolic Solving 3.3.1 · 连续主讲
4 Logic-LM: Refinement from Solver Feedback 3.3.1 · 连续主讲
5 Logic-LM: Results and the Remaining Bottleneck 3.3.1 · 连续主讲
6 LINC: Semantic Parsing and Deduction 3.3.1 · 连续主讲
7 LINC: Multiple Parses and Solver Votes 3.3.1 · 连续主讲
8 LINC: Strong Gains, with a Dataset Boundary 3.3.1 · 连续主讲
9 What Symbolic Solvers Establish 3.3.1 · 连续主讲
10 3.3.2 Uncertain Evidence and Soft Rules 3.3.2 · 连续主讲
11 Errors, Conflicts and Missing Evidence 3.3.2 · 连续主讲
12 Logic and Probability: A Roadmap 3.3.2 · 连续主讲
13 Statistical Relational Learning 3.3.2 · 连续主讲
14 Uncertainty in Evidence and Rules 3.3.2 · 连续主讲
15 Preserving Uncertainty for Joint Inference 3.3.2 · 连续主讲
16 Cross-Algorithm and Cross-Task Challenges 3.3.2 · 连续主讲
17 Structured Reasoning with SRL 3.3.2 · 连续主讲
18 Dependencies Between Facts and Decisions 3.3.2 · 连续主讲
19 Modeling Dependencies 3.3.2 · 连续主讲
20 From Intuition to Formal Rules 3.3.2 · 连续主讲
21 Formalizing with Weighted First-Order Logic 3.3.2 · 连续主讲
22 Predicate Grounding and Domain Constraints 3.3.2 · 连续主讲
23 Statistical Relational Learning Frameworks 3.3.2 · 连续主讲
24 What SRL Enables 3.3.2 · 连续主讲
25 Key Requirements for an SRL Framework 3.3.2 · 连续主讲
26 Weighted Logic and Probability 3.3.2 · 连续主讲
27 3.3.3 Markov Random Fields: Joint Distributions and Inference 3.3.3 · 连续主讲
28 Markov Random Fields 3.3.3 · 连续主讲
29 Conditional Independence in Markov Networks 3.3.3 · 连续主讲
30 Conditional Independence: A Graph Example 3.3.3 · 连续主讲
31 Clique Factorization and Hammersley–Clifford 3.3.3 · 连续主讲
32 Log-Linear Models: Features and Weights 3.3.3 · 连续主讲
33 A Two-Variable Markov Network 3.3.3 · 连续主讲
34 Potentials: Scoring Four Worlds 3.3.3 · 连续主讲
35 Normalization, Marginals and MAP 3.3.3 · 连续主讲
36 From Potentials to Features and Weights 3.3.3 · 连续主讲
37 Feature Representation and Learnability 3.3.3 · 连续主讲
38 Markov Networks: Parameter Learning 3.3.3 · 连续主讲
39 Markov Networks: Inference Queries 3.3.3 · 连续主讲
40 3.3.4 Markov Logic Networks: Weighted Logic and Inference 3.3.4 · 连续主讲
41 Markov Logic Networks 3.3.4 · 连续主讲
42 MLN: Weighted Logical Rules 3.3.4 · 连续主讲
43 MLN: From Templates to Networks 3.3.4 · 连续主讲
44 MLN: Grounding with Typed Domains 3.3.4 · 连续主讲
45 MLN: Ground Formulas as Factors 3.3.4 · 连续主讲
46 MLN: Shared Weights and World Probabilities 3.3.4 · 连续主讲
47 MLN Example: Friends, Smoking and Cancer 3.3.4 · 连续主讲
48 MLN: Expressive Power and Hard Constraints 3.3.4 · 连续主讲
49 MLN: Inference and Learning Costs 3.3.4 · 连续主讲
50 MLN Case: Linking an Ambiguous Name 3.3.4 · 连续主讲
51 MLN Case: Grounding the Relation Rule 3.3.4 · 连续主讲
52 MLN Case: Evidence Becomes Weighted Logic 3.3.4 · 连续主讲
53 MLN Case: Enumerating Four Worlds 3.3.4 · 连续主讲
54 MLN Case: MAP Is Not a Marginal 3.3.4 · 连续主讲
55 MLN Case: Let Weak Relations Be Rejected 3.3.4 · 连续主讲
56 3.3.5 Probabilistic Soft Logic: Continuous Optimization 3.3.5 · 连续主讲
57 Probabilistic Soft Logic 3.3.5 · 连续主讲
58 PSL: Continuous Truth Semantics 3.3.5 · 连续主讲
59 PSL: Hinge-Loss Potentials and MAP 3.3.5 · 连续主讲
60 PSL: Learning Rule Weights 3.3.5 · 连续主讲

课件导航

首页提供三个主题及十二个小节的进入点。课件右上角“Sections”菜单与大纲使用同一套编号和英文标题;当前小节随翻页显示。每个小节以独立标题页开始,原正文页保持相对顺序。