阶段 12

多模态 AI

Models that see, hear, read, and reason across modalities.

01Vision Transformer 与 patch-token 原语Learn~120 minutes 02CLIP 与对比式视觉-语言预训练Build~180 minutes 03从 CLIP 到 BLIP-2——Q-Former 作为模态桥梁Build~180 minutes 04Flamingo 与面向少样本 VLM 的门控交叉注意力Learn~120 minutes 05LLaVA 与视觉指令微调Build~180 minutes 06任意分辨率视觉：patch-n'-pack 与 NaFlexBuild~120 minutes 07开放权重 VLM 配方：真正重要的是什么Learn + lab~180 minutes 08LLaVA-OneVision：一个模型处理单图、多图与视频Build~180 minutes 09Qwen-VL 家族与动态 FPS 视频Learn~120 minutes 10InternVL3：原生多模态预训练Learn~120 minutes 11Chameleon 与早期融合的纯 token 多模态模型Build~180 minutes 12Emu3：用下一 token 预测做图像与视频生成Learn~120 minutes 13Transfusion：一个 Transformer 中的自回归文本 + 扩散图像Build~180 minutes 14Show-o 与离散扩散统一模型Learn~120 minutes 15Janus-Pro：面向统一多模态模型的解耦编码器Build~120 minutes 16MIO 与任意到任意的流式多模态模型Learn~120 minutes 17视频-语言模型：时间 token 与定位Build~180 minutes 18百万 token 上下文下的长视频理解Build~180 minutes 19音频-语言模型：从 Whisper 到 Audio Flamingo 3 的演进弧线Build~180 minutes 20Omni 模型：Qwen2.5-Omni 与 Thinker-Talker 分离架构Build~180 minutes 21具身 VLA：RT-2、OpenVLA、π0、GR00TLearn~180 minutes 22文档与图表理解Build~180 minutes 23ColPali 与视觉原生文档 RAGBuild~180 minutes 24多模态 RAG 与跨模态检索Build~180 minutes 25多模态 Agent 与计算机使用（项目）Capstone~240 minutes

“Stay hungry, stay foolish.”

— Steve Jobs