EmoV-DB

另请参阅

https://github.com/noetits/ICE-Talk 用于可控制的文本转语音

使用方法

下载链接

排序版本（推荐），新链接： https://openslr.org/115/

旧链接（下载速度慢）但提供使用"load_emov_db()"函数所需的文件夹结构： https://mega.nz/#F!KBp32apT!gLIgyWf9iQ-yqnWFUFuUHg

未排序版本： http://www.coe.neu.edu/Research/AClab/Speech%20Data/

强制对齐

"这是一个过程，将语音段的文本转录与确定特定单词在语音段中的时间位置相结合。"来源

它还允许分离句子前后的语言和非语言发声（笑声、哈欠等）。注意，当非语言发声与语音不混合时（例如单词间的轻笑），也可能通过Montreal-Forced-Aligner的"sil"或"spn"标记来检测句子内的非语言发声。但我们尚未对此进行实验。

使用Montreal Forced Aligner (MFA)进行对齐

首先安装MFA

安装

然后按照以下步骤操作。这是基于数据集的音素对齐的说明，使用他们的声学和g2p模型。要使用它们，你需要下载模型，如此处所示。在此示例中，我们使用english_us_arpa，但你也可以使用他们的IPA模型。

在Python终端中：

from emov_mfa_alignment import Emov
dataset = Emov()
dataset.download()
dataset.prepare_mfa()

然后在shell终端中：

mfa align EMOV-DB/ english_us_arpa english_us_arpa EMOV

然后"convert"函数用于移除整个句子前后的非语言发声。它只是读取音素对齐的结果，提取第一个音素的开始时间和最后一个音素的结束时间来剪切音频并重写。

from emov_mfa_alignment import Emov
dataset = Emov()
dataset.convert()

使用gentle进行对齐

较旧的替代方案，性能可能不如MFA

<details> <summary>点击显示过程</summary>

访问 https://github.com/lowerquality/gentle
克隆仓库
在"开始使用"中，使用第3个选项：.\install.sh
将align_db.py复制到仓库中
在align_db.py中，更改"path"变量，使其对应EmoV-DB的路径。
运行命令"python align_db.py"。你可能需要安装一些包才能运行
它应该在仓库中创建一个名为"alignments"的文件夹，具有与数据库相同的结构，包含数据库中每个句子的json文件。
函数"get_start_end_from_json(path)"允许你提取计算出的强制对齐的开始和结束
你可以使用函数"play(path)"播放文件
你可以使用"play_start_end(path, start, end)"播放根据强制对齐中有语音的文件部分

</details>

数据概览

情感声音数据库：朝着控制语音生成系统中的情感表现力

这个数据集是为情感语音合成而建立的。文本基于CMU arctic数据库：http://www.festvox.org/cmu_arctic/cmuarctic.data.
它包括四位说话人的录音 - 两男两女。
情感风格包括中性、困倦、愤怒、厌恶和愉悦。
每个音频文件以16位.wav格式录制
Spk-Je（女性，英语：中性（417个文件），愉悦（222个文件），愤怒（523个文件），困倦（466个文件），厌恶（189个文件））
Spk-Bea（女性，英语：中性（373个文件），愉悦（309个文件），愤怒（317个文件），困倦（520个文件），厌恶（347个文件））
Spk-Sa（男性，英语：中性（493个文件），愉悦（501个文件），愤怒（468个文件），困倦（495个文件），厌恶（497个文件））
Spk-Jsh（男性，英语：中性（302个文件），愉悦（298个文件），困倦（263个文件））
文件命名（音频文件夹）：anger_1-28_0011.wav - 1）第一个词（情感风格），1-28 - 注释文档文件范围，最后四位数字是句子编号。
文件命名（注释文件夹）：anger_1-28.TextGrid - 1）第一个词（情感风格），1-28 - 注释文档范围

参考文献

数据库描述在此： https://arxiv.org/pdf/1806.09514.pdf

使用此数据库时请引用此论文：

Bibtex:

@article{adigwe2018emotional,
  title={The emotional voices database: Towards controlling the emotion dimension in voice generation systems},
  author={Adigwe, Adaeze and Tits, No{\'e} and Haddad, Kevin El and Ostadabbas, Sarah and Dutoit, Thierry},
  journal={arXiv preprint arXiv:1806.09514},
  year={2018}
}