阶段 06

语音与音频

The other half of human communication. Hear, understand, speak.

01音频基础 — 波形、采样与傅里叶变换Learn~45 minutes 02频谱图、梅尔尺度与音频特征Build~45 minutes 03音频分类 — 从 MFCC 上的 k-NN 到 AST 与 BEATsBuild~75 minutes 04语音识别（ASR）— CTC、RNN-T 与注意力Build~45 minutes 05Whisper — 架构与微调Build~75 minutes 06说话人识别与验证Build~45 minutes 07文本转语音（TTS）——从 Tacotron 到 F5 与 KokoroBuild~75 minutes 08声音克隆与声音转换Build~75 minutes 09音乐生成——MusicGen、Stable Audio、Suno 与授权大地震Build~75 minutes 10音频语言模型——Qwen2.5-Omni、Audio Flamingo、GPT-4o AudioLearn~45 minutes 11实时音频处理Build~75 minutes 12构建语音助手 pipeline——第 6 阶段项目Build~120 minutes 13神经音频编解码器 —— EnCodec、SNAC、Mimi、DAC 与语义-声学拆分Learn~60 minutes 14语音活动检测与轮次切换 —— Silero、Cobra 与 flush 技巧Build~45 minutes 15流式语音到语音 —— Moshi、Hibiki 与全双工对话Learn~75 minutes 16语音反欺骗与音频水印 —— ASVspoof 5、AudioSeal、WaveVerifyBuild~75 minutes 17音频评估 —— WER、MOS、UTMOS、MMAU、FAD 与公开排行榜Learn~60 minutes

“Stay hungry, stay foolish.”

— Steve Jobs