NISQA

项目介绍：NISQA 语音质量与自然度评估

NISQA 项目是一个旨在预测语音质量和合成语音自然度的深度学习模型与框架。近日，NISQA 模型更新到了最新的 NISQA v2.0 版本，该版本能够提供更高精确度的多维度预测，并支持模型的训练和微调。

语音质量预测

NISQA 使用深度学习技术来预测语音样本的质量，特别是那些通过电话或者视频通话等通信系统传递的语音。除了总体语音质量外，NISQA 还能够对噪声性、音色、断续性和响度等质量维度提供细致的预测，从而帮助用户更好地了解语音质量下降的原因。

合成语音自然度预测

NISQA-TTS 模型权重可以用来评估由语音转换或文本到语音（TTS）系统（如 Siri、Alexa 等）生成的合成语音的自然性程度。

模型训练与微调

NISQA 支持对新单端或双端语音质量预测模型进行训练。用户可以选择不同的深度学习架构，如卷积神经网络（CNN）、自注意力网络（Self-Attention）或长短期记忆网络（LSTM）等。模型权重同样可以用于微调已训练模型，以适应新数据或进行不同任务的迁移学习（如增强语音的质量评估、说话人相似度估算或情感识别）。

语音质量数据集

NISQA 提供了一个包含超过 14,000 个语音样本的庞大数据集，这些样本包含主观语音质量和各维度的标签信息。

NISQA 的安装与使用

安装 NISQA 非常简单。用户首先需要安装 Anaconda，然后在命令行中使用特定的命令来创建和激活环境。具体步骤包括创建一个名为“nisqa”的新环境，并激活此环境以继续进行操作。

质量预测

用户可以通过三种方式预测语音质量：单个文件、文件夹内所有文件、或者 CSV 文件列表中的所有文件。通过特定的命令行参数，用户可以方便地实现这些操作，并将结果保存为 CSV 文件。

模型训练

用户可以微调现有模型或训练新模型。微调只需一个包含文件名和标签的 CSV 文件，并通过 YAML 文件控制训练配置。设计灵活的 YAML 文件允许用户定制各种训练选项，以适应不同的神经网络组合，如无 CNN 的 LSTM 模型等。

评价

训练好的模型可以在给定数据集上进行评估。评价过程包括调整路径和选项，并对结果进行统计分析。

NISQA 数据集

NISQA 数据集包含超过 14,000 个语音样本，模拟了多种条件（如编解码器、丢包、背景噪音）和真实条件（如手机、Zoom、Skype、WhatsApp）下的语音传输质量。

论文与许可证

使用 NISQA 模型或数据集进行研究的用户，应引用相关的参考文献。NISQA 的代码和模型权重依据不同的开源许可发布，而 NISQA 数据集则依据源语音和噪声样本的原始条款提供。

NISQA 是一项具有创新性且灵活的项目，为语音和合成语音的质量与自然度评估提供了强大的工具。其多维度预测能力和可训练性使其成为学术研究和实际应用中的一个重要资源。