阶段 07

Transformer 深度解析

The architecture that changed everything. Understand every layer.

01为什么是 Transformer —— RNN 的困境Learn~45 minutes 02从零实现自注意力Build~90 minutes测验 03多头注意力Build~75 minutes 04位置编码 —— 正弦、RoPE 与 ALiBiBuild~45 minutes 05完整的 Transformer —— 编码器 + 解码器Build~75 minutes 06BERT —— 掩码语言建模Build~45 minutes 07GPT——因果语言建模Build~75 minutes 08T5、BART——编码器-解码器模型Learn~45 minutes 09视觉 Transformer（ViT）Build~45 minutes 10音频 Transformer——Whisper 架构Learn~45 minutes 11混合专家（MoE）Build~45 minutes 12KV Cache、Flash Attention 与推理优化Build~75 minutes 13缩放定律Learn~45 minutes 14从零构建 Transformer——项目Build~120 minutes 15注意力变体——滑动窗口、稀疏、差分Build~60 minutes 16投机解码——草稿、验证、重复Build~60 minutes 17用你自己的训练跑数拟合 Scaling LawBuild~65 minutes测验

“Stay hungry, stay foolish.”

— Steve Jobs