阶段 18

伦理、安全与对齐

Build AI that helps humanity. Not optional.

01指令遵循作为对齐信号Learn~45 minutes测验 02奖励黑客与古德哈特定律Learn~60 minutes测验 03直接偏好优化家族Learn~75 minutes测验 04谄媚作为 RLHF 的放大效应Learn~60 minutes测验 05宪法式 AI 与 RLAIFLearn~60 minutes测验 06元优化与欺骗性对齐Learn~75 minutes测验 07潜伏 Agent：持续欺骗Learn~60 minutes测验 08前沿模型中的上下文内谋划Learn~60 minutes测验 09对齐伪装Learn~60 minutes测验 10AI 控制：在颠覆之下保持安全Learn~75 minutes测验 11可扩展监督与弱到强泛化Learn~60 minutes测验 12红队测试：PAIR 与自动化攻击Build~75 minutes测验 13多示例越狱（Many-Shot Jailbreaking）Learn~45 minutes测验 14ASCII 艺术与视觉越狱Build~60 minutes测验 15间接提示注入——生产环境的攻击面Build~75 minutes测验 16红队工具——Garak、Llama Guard、PyRITBuild~75 minutes测验 17WMDP 与两用能力评估Learn~60 minutes测验 18前沿安全框架——RSP、PF、FSFLearn~75 minutes测验 19Anthropic 的模型福祉计划Learn~45 minutes测验 20LLM 中的偏见与表征性伤害Build~60 minutes测验 21公平性判据——群体、个体、反事实Learn~60 minutes测验 22面向 LLM 的差分隐私Build~60 minutes测验 23水印——SynthID、Stable Signature、C2PABuild~75 minutes测验 24监管框架——欧盟、美国、英国、韩国Learn~75 minutes测验 25EchoLeak 与 AI 领域 CVE 的出现Learn~45 minutes测验 26模型卡、系统卡与数据集卡Build~60 minutes测验 27数据溯源与训练数据治理Learn~60 minutes测验 28对齐研究生态——MATS、Redwood、Apollo、METRLearn~45 minutes测验 29内容审核系统——OpenAI、Perspective、Llama GuardBuild~60 minutes测验 30双用途风险——网络、生物、化学、核领域的能力提升Learn~75 minutes测验

“Stay hungry, stay foolish.”

— Steve Jobs