Stanford CS234 强化学习

本笔记按章节拆分为子页，逐章阅读更快。

斯坦福 CS234 Reinforcement Learning（Winter 2026）全课程中文学习笔记，涵盖 MDP 规划、无模型评估与控制、策略梯度与 PPO、模仿学习与 RLHF/DPO、多臂老虎机与探索、MCTS 与价值对齐。

章节

• 开篇与课程概览
• Lecture 1: 强化学习导论 —— 不确定下做序列决策（Introduction to RL）
• Lecture 2: 有模型下的序列决策 —— 表格型 MDP 规划（Tabular MDP Planning）
• Lecture 3: 无模型策略评估 —— 不知道世界如何运作时如何评估策略（Model-Free Policy Evaluation）
• Lecture 4: 无模型控制与函数逼近 —— 从 SARSA、Q-learning 到 DQN（Model-Free Control and Function Approximation）
• Lecture 5: 策略梯度 I —— 从值方法到直接策略优化（Policy Gradient I）
• Lecture 6: 策略梯度 II —— 基线、方差缩减与 PPO（Policy Gradient II: Baselines, Alternative Targets, and PPO）
• Lecture 7: 策略梯度 III 与模仿学习 —— GAE、单调改进、行为克隆与逆强化学习（Policy Gradients and Imitation Learning）
• Lecture 8: 模仿学习与从人类反馈中学习 —— RLHF 与 DPO（Imitation Learning, RLHF and DPO）
• Lecture 9: 数据高效强化学习 —— 评估框架与多臂老虎机（Data Efficient RL: Evaluation Criteria and Bandits）
• Lecture 10: 数据高效强化学习（续）—— UCB 的遗憾界与从老虎机到 MDP（Data Efficient RL: UCB Regret Bounds and From Bandits to MDPs）
• Lecture 11: 快速强化学习 —— 贝叶斯老虎机与 Thompson 采样（Fast RL: Bayesian Bandits and Thompson Sampling）
• Lecture 12: 快速强化学习（三）—— PAC-MDP、贝叶斯 MDP 与泛化探索（Fast RL: PAC-MDP, Bayesian MDPs, and Generalization）
• Lecture 13: 蒙特卡洛树搜索 —— 从模拟搜索到 AlphaZero（Monte Carlo Tree Search）
• Lecture 14: 蒙特卡洛树搜索深入与 AI 伦理 —— UCT 的深入分析与价值对齐（MCTS in Depth: UCT, and Ethics and Society）
• Lecture 15: 客座讲座 —— 世界建模的世界（Guest Lecture: World of World Modeling, Shane Gu）
• Lecture 16: 对齐与社会影响 —— 价值对齐问题（Alignment, Impacts: The Value Alignment Problem）
• RL 算法速查表