接下来几个月，我会系统地学推理系统、GPU 编程和分布式，这里记录过程中自己推过、跑过的东西。
会写哪几类#
| 分类 | 写什么 |
|---|---|
| 原理推导 | 注意力、RoPE、softmax 与交叉熵这类公式，从头推一遍 |
| GPU 与算子 | 归约、GEMM、FlashAttention 这类 kernel，附真卡上的性能数字 |
| 推理系统 | KV Cache、连续批处理、投机解码、PD 分离，以及自己写的小引擎 |
| 源码阅读 | 读 SGLang、vLLM 等框架时的笔记 |
| 分布式 | 张量并行、专家并行、通信 |
| 复盘 | 阶段性的总结 |
两条原则#
- 只写自己推过、跑过的东西。
- 每个数字都注明在哪台机器、什么配置下测的。