seed-tts-eval: ByteDance的开源文本转语音评估工具

seed-tts-eval

seed-tts-eval: ByteDance开源的文本转语音评估工具

在人工智能语音合成领域,ByteDance最近开源了一个名为seed-tts-eval的项目,这是一个用于评估零样本文本转语音(TTS)和语音转换(VC)能力的工具集。该项目的开源不仅展示了ByteDance在语音合成技术上的实力,也为整个AI语音合成社区提供了宝贵的评估资源。

项目概述

seed-tts-eval项目主要包含两个核心组件:

客观测试数据集:这是一个域外(out-of-domain)的测试集,用于评估模型的零样本语音生成能力。数据集包含从公开语料库中提取的英语和中文样本。
评估指标计算脚本:提供了用于计算词错率(WER)和说话人相似度(SIM)这两个客观指标的代码。

值得注意的是,出于AI安全考虑,ByteDance并未开源seed-TTS的源代码和模型权重。他们鼓励用户体验字节跳动产品中的语音生成功能。

测试数据集

seed-tts-eval的测试数据集具有以下特点:

英语样本:从Common Voice数据集中提取了1,000个样本
中文样本:从DiDiSpeech-2数据集中提取了2,000个样本
涵盖了零样本TTS和零样本VC两种任务

这个多语言、多任务的测试集设计,使得评估结果能够更全面地反映模型的通用性能。

评估指标

项目采用了两个主要的客观评估指标:

词错率(WER):
- 英语:使用Whisper-large-v3作为ASR引擎
- 中文:使用Paraformer-zh作为ASR引擎
说话人相似度(SIM):
- 使用经过说话人验证任务微调的WavLM-large模型来提取说话人嵌入
- 计算测试语音样本与参考音频之间的余弦相似度

这两个指标分别从语音内容准确性和说话人声音相似度两个维度评估生成语音的质量。

WER and SIM calculation

使用方法

要使用seed-tts-eval进行评估,用户需要遵循以下步骤:

安装依赖:
```
pip3 install -r requirements.txt
```
下载测试数据集: 项目提供了一个Google Drive链接,用户可以从中下载完整的测试集。

运行评估脚本:

计算WER:

bash cal_wer.sh {meta文件路径} {合成音频目录} {语言:zh或en}

计算SIM:

bash cal_sim.sh {meta文件路径} {合成音频目录} {WavLM模型路径}

通过这些简单的步骤,研究人员和开发者就能够使用seed-tts-eval来评估自己的TTS或VC模型。

项目意义

seed-tts-eval的开源具有多方面的重要意义:

标准化评估:提供了一个统一的测试集和评估流程,有助于不同模型间的公平比较。
推动技术进步:开放的评估工具可以激励研究人员不断改进自己的模型。
促进社区协作:开源项目为AI语音合成社区提供了一个交流和合作的平台。
提高透明度:虽然没有开源核心模型,但评估工具的开放增加了ByteDance语音合成技术的透明度。
实用价值:对于正在开发TTS或VC系统的团队来说,这是一个现成可用的评估工具。

Project structure

未来展望

尽管seed-tts-eval已经提供了很有价值的资源,但仍有一些潜在的改进空间:

扩展语言支持:目前仅支持英语和中文,未来可以考虑添加更多语言的测试集。
增加主观评估:除了客观指标,引入人工评分等主观评估方法可能会更全面。
持续更新:随着语音合成技术的发展,测试集和评估指标也需要与时俱进。
社区贡献:鼓励社区成员提供反馈并参与项目改进。

结语

ByteDance的seed-tts-eval项目为AI语音合成领域提供了一个valuable的评估工具。虽然核心模型未开源,但这个评估套件的发布仍然彰显了ByteDance在推动AI技术开放和发展方面的努力。对于研究人员和开发者来说,seed-tts-eval无疑是一个值得关注和使用的资源,它将有助于推动整个语音合成技术的进步。

ByteDance的这一举措也为其他科技公司树立了榜样,展示了如何在保护核心技术的同时,为开源社区做出贡献。我们期待看到更多类似的开源项目,共同推动AI语音技术的发展与应用。