NISQA学习资料汇总 - 深度学习模型预测语音质量和自然度

NISQA简介

NISQA (Non-Intrusive Speech Quality Assessment)是一个用于语音质量和自然度评估的深度学习模型框架。它主要有以下几个功能:

1. 语音质量预测:可以预测经过通信系统传输后的语音样本质量,包括总体质量、噪声、音色、不连续性和响度等维度。

2. TTS自然度预测:可以预测语音合成或声音转换系统生成的合成语音的自然度。

3. 模型训练/微调:支持训练新的语音质量预测模型,或在已有模型基础上进行微调。

4. 大规模语音质量数据集:提供了包含14000多个语音样本的NISQA语料库,用于模型训练和评估。

安装与使用

1. 安装依赖:

conda env create -f env.yml

2. 预测语音质量:

python run_predict.py --mode predict_file --pretrained_model weights/nisqa.tar --deg /path/to/wav/file.wav 

3. 训练/微调模型:

python run_train.py --yaml config/finetune_nisqa.yaml

4. 评估模型:

python run_evaluate.py

详细的安装和使用说明可以参考NISQA GitHub主页。

数据集

NISQA Corpus是一个包含14000多个语音样本的大规模数据集,用于训练和评估语音质量预测模型。它包含:

• 模拟失真样本(编解码器、丢包、背景噪声等)
• 真实场景样本(手机通话、Zoom、Skype、WhatsApp等)
• 每个样本都标注了总体质量、噪声、音色、不连续性和响度等维度的主观评分

数据集下载和详细说明请参考NISQA Corpus Wiki。

相关论文

如果您在研究中使用了NISQA,请引用以下相关论文:

1. NISQA模型: NISQA: A Deep CNN-Self-Attention Model for Multidimensional Speech Quality Prediction with Crowdsourced Datasets

2. NISQA-TTS模型: Deep Learning Based Assessment of Synthetic Speech Naturalness

3. 双端NISQA模型: Full-reference speech quality estimation with attentional Siamese neural networks

许可证

• NISQA代码采用MIT许可证
• 模型权重采用CC BY-NC-SA 4.0许可证
• NISQA Corpus数据集遵循原始语音和噪声样本的使用条款

更多资源

• NISQA GitHub仓库
• NISQA Wiki
• NISQA论文

NISQA为语音质量评估领域提供了强大的深度学习解决方案。希望本文汇总的学习资料能够帮助您更好地了解和使用NISQA。如果您对NISQA有任何问题,欢迎在GitHub上提issue讨论。