Tech
[算法] SwanTale:字节把声音克隆和「自然语言导演」塞进了同一个模型
💡 一句话带走 :字节 2026 年 8 月的技术报告 SwanTale 用一套统一框架( SwanVAE 连续 latent + Flow-matching Transformer + Unified MoE + GRPO 后训练)同时做好了两件原本要分开做的事—— 用自然语言 caption 当「导演」指挥生成 ( instruct TTS )和 用参考音频克隆音色 ( zero-shot TTS ),还能在一条波形里塞下多说话人对话、环境音和音效;做语音生成 / AIGC 内容工具的人值得看它的 MoE 双路由和 GRPO 多奖励范式,但记住这是闭源技术报告、分数要打折。
🎬 导语:你做语音生成,是不是也在拼一堆积木?
先问一个可能戳到你的问题:你做的那个语音 / 配音 pipeline ,是不是塞了至少两个模型?
一个负责"给我一段参考音频,我克隆这个人的声音"( zero-shot TTS / 声音克隆),另一个负责"按文字描述生成带情绪和环境的声音"( instruct TTS )。然后你想做动画配音或广播剧,还要再接一个音效模型、一个音乐模型,外加一个多...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX