Tech
[分享创造] 做了个把多人录音按说话人拆成独立音轨的工具
最近做了一个小工具 Seply ,主要解决多人录音里的说话人分离问题。
这里的“分离”不是只在文字稿里标记 Speaker 1 、Speaker 2 ,而是上传一段播客、采访或者会议录音后,实际生成每位说话人的独立音轨,并且保持和原录音的时间轴对齐,方便后续剪辑、转写或者单独处理某个人的声音。
最开始做这个功能,是因为我发现很多 diarization 工具只能告诉你“谁在什么时候说话”,但如果想真正拿到每个人的音频,仍然需要手工剪辑。
目前主要支持:
上传音频或视频
自动识别或手动设置说话人数
为每位说话人生成独立 WAV 音轨
普通对话和重叠语音两种处理模式
另外做了带说话人和时间轴的语音转文字功能
实际做下来,最难处理的还是多人同时说话。
普通轮流对话的分离效果相对稳定,但遇到抢话、打断或者两个人同时说话时,很难做到完全干净。我后来增加了一个针对重叠语音的 Advanced 模式,效果会好一些,但处理成本也高很多。
所以现在产品里保留了两个模式:
Standard:适合大多数轮流说话的播客、采访和会议
Advanced:适合重叠说话较多、对分离质量...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX