Sitemap
A list of all the posts and pages found on the site. For you robots out there, there is an XML version available for digesting as well.
Pages
Posts
导读：从朴素内核到 cuBLAS 的 94%——CUDA 矩阵乘法优化工作记录
Published:
一篇围绕 CUDA SGEMM 逐步优化的导读：从朴素实现的 1.3% 到 warptiling 的 93.7%，拆解每一版内核的性能瓶颈、优化手段与实测数据，并梳理其中可迁移的方法论。
主流后训练框架对比总结（源码级）
Published:
对 veRL、TRL、DeepSpeed、OpenRLHF、slime、NeMo-RL 六个主流后训练框架做源码级横向对比：推理引擎选型、训练并行路线、同步与异步、权重同步难题、多轮 TITO 与 MoE 路由回放，并附 Miles v0.1 的谱系对照。
DeepSeek-V4.1-Flash 技术报告模块化解析
Published:
对 DeepSeek-V4.1-Flash 技术报告的模块化拆解：CED 因果编码器-解码器、CSA2 压缩稀疏注意力、MoE 规格、KV Cache 与上下文预算，逐条标注证据等级并回溯一手来源。
course-notes
CMU 15-418/15-618 并行计算机体系结构与编程
卡内基梅隆大学 CMU 15-418/15-618 Parallel Computer Architecture and Programming 系统学习笔记，涵盖并行硬件、SIMD、多核、GPU 与 CUDA、性能分析、work-span 模型与并行算法。
CS106B 编程抽象：C++ 实现与算法图解
斯坦福 CS106B Programming Abstractions 系统学习笔记，涵盖现代 C++、递归、数据结构、算法分析、树、图与经典算法。
Lecture 17: 拓展专题：Trie 与并查集（Bonus: Tries & Union-Find）（延伸专题，官方 2026 夏季未设独立讲座）
目录 · ← l16 · appendix →
CS106L 现代 C++：Standard C++ Programming
斯坦福 CS106L 系统学习笔记，涵盖现代 C++、STL、RAII、模板、移动语义、并发与 C++26 特性。
CS111 操作系统原理
斯坦福 CS111 Operating Systems Principles 系统学习笔记，涵盖并发、进程与线程、内存管理、文件系统和虚拟化。
CS229 机器学习：数学直觉与算法
斯坦福 CS229 Machine Learning 系统学习笔记，涵盖监督学习、生成学习、核方法、深度学习、学习理论与强化学习。
CS336 从零构建语言模型（中文版）
斯坦福 CS336 Language Modeling from Scratch 全课程中文学习笔记，涵盖分词、Transformer、训练系统、数据、扩展定律、对齐与模型评测。
H100 CUDA 编程 · 完整教学合集（Lesson 1–10）
NVIDIA H100 GPU 的 CUDA 编程完整教学笔记合集（Lesson 1–10），涵盖 Hopper 架构、TMA 与 cuTensorMap、异步与屏障、内联 PTX、WGMMA 与集群。
MIT 18.06 线性代数
麻省理工 MIT 18.06 Linear Algebra（Gilbert Strang）系统学习笔记，涵盖矩阵消元与 LU 分解、向量空间与四个基本子空间、正交与最小二乘、特征值与对角化、正定矩阵与奇异值分解。
MIT 18.100A 实分析
麻省理工 MIT 18.100A Real Analysis 系统学习笔记，涵盖实数与集合、序列与级数、极限与连续、度量空间、微分与积分、函数序列与幂级数。
Lecture 25: Power Series and the Weierstrass Approximation Theorem（幂级数与 Weierstrass 逼近定理）
目录 · ← l24 · appendix →
Lecture 5: The Archimedian Property, Density of the Rationals, and Absolute Value（阿基米德性质、有理数稠密性与绝对值）
MIT 6.031 软件构造
麻省理工 MIT 6.031 Software Construction 系统学习笔记，涵盖不变式、抽象函数与表示独立、规约设计、测试驱动开发、并发与死锁、以及可维护的软件设计。
Stanford CS149 并行计算
斯坦福 CS149 Parallel Computing（Fall 2025）系统学习笔记，涵盖并行抽象、多核与 GPU 编程、ISPC、CUDA、数据并行原语与性能优化。
Lecture 15: Implementing Synchronization + Memory Consistency（实现同步 + 内存一致性）（日期：2025-11-13, Thursday）
Lecture 3: Modern Multi-Core Architecture (Part II) + ISPC Programming Abstractions（日期：Sep 30, 2025）
Stanford CS234 强化学习
斯坦福 CS234 Reinforcement Learning（Winter 2026）全课程中文学习笔记，涵盖 MDP 规划、无模型评估与控制、策略梯度与 PPO、模仿学习与 RLHF/DPO、多臂老虎机与探索、MCTS 与价值对齐。
Lecture 16: 对齐与社会影响 —— 价值对齐问题（Alignment, Impacts: The Value Alignment Problem）
目录 · ← l15 · appendix →
UC Berkeley CS70 离散数学与概率论
加州大学伯克利 CS70 Discrete Mathematics and Probability Theory 系统学习笔记，涵盖命题逻辑与证明、图论与稳定匹配、模运算与 RSA、多项式与纠错码、概率、随机变量与期望、大数定律与马尔可夫链。
UIUC CS 425 / ECE 428 分布式系统
伊利诺伊大学 UIUC CS 425 / ECE 428 Distributed Systems 系统学习笔记，涵盖分布式算法实现与正确性论证、共识与复制、容错、一致性与云计算。
UIUC ECE 220 计算机系统与编程
伊利诺伊大学 UIUC ECE 220 Computer Systems & Programming 系统学习笔记，涵盖 C 语言、指针与内存、位运算、汇编与机器级表示、程序结构与调试。
Lecture 21: 调试工具与技术 (Testing, Debugging and Tooling: GDB, Valgrind and assert)
目录 · ← l20 · appendix →
UIUC ECE 408 应用并行编程
伊利诺伊大学 UIUC ECE 408 / CS 483 Applied Parallel Programming 系统学习笔记，涵盖 CUDA 编程模型、线程与内存层次、tiling、归并与扫描、性能优化。
portfolio
ARH — AI Research Helper Permalink
Open-source CLI-first research assistant agent for AI researchers. Tool use, three-layer memory, plan–execute safety, skill self-learning, multi-LLM fallback.
colibri — MoE Inference Engine
Contributor to colibri: three merged pull requests covering multi-drive expert streaming for the 510 GB DeepSeek-V4.1 container, OpenMP team sizing in the four engines that never had it, and a plan/engine mismatch that silently allocated 6.23 GiB of unbudgeted KV cache.
DeepSpeed — Distributed Training & Hybrid Engine
Contributor to DeepSpeed: merged fixes for ZeRO-3 rollout synchronization and Hybrid Engine fallback for unsupported model architectures.
PyTorch, vLLM, SGLang, Megatron-LM and more — open pull requests
Open pull requests to PyTorch, vLLM, SGLang, Megatron-LM, TensorRT-LLM, CUTLASS, LMCache, Miles and Cordis, plus 13 filed bug reports with minimal reproducers.
Triton — GPU Compiler Correctness
Contributor to Triton: merged a loop-fusion correctness fix that prevents invalid assumptions from removing zero-trip guards and causing unintended memory writes.
verl — Reinforcement Learning Infrastructure
Contributor to verl: merged a TRL compatibility fix for FSDP value-head critics, and reported and investigated a vLLM rollout startup regression.
publications
FinVault: Benchmarking Financial Agent Safety in Execution-Grounded Environments
Published in arXiv preprint, 2026
The first execution-grounded security benchmark for LLM-based financial agents — 31 regulatory sandbox scenarios, 107 real-world vulnerabilities, 963 test cases. arXiv preprint.
VeriBRT: Plan-Guided, Evidence-Based Automated Bug Reproduction
Published in Manuscript, 2026
An LLM-based framework for generating bug-reproducing tests using a persistent Two-Axis Plan and reliability-aware evidence. Manuscript available online.
Reasoning-Visual Critical Token Fine-Tuning for Multimodal Reasoning
Published in Manuscript, 2026
RVCFT applies direct supervision selectively to response tokens that are both reasoning-relevant and sensitive to visual evidence. Manuscript available online.