mHuBERT-147

mHuBERT-147 项目介绍

项目概述

mHuBERT-147 是一种紧凑且具竞争力的多语言 HuBERT 模型，专为处理多语言语音任务而设计。该模型经过训练，可以处理147种不同的语言，并且利用了90,000小时的开放许可证数据进行训练。与传统的 HuBERT 模型不同，mHuBERT-147 使用 faiss IVF 离散语音单元进行训练，并采用两级语言和数据来源的上采样策略。

模型详情

mHuBERT-147 项目目前包含多个版本，包括第三次迭代的最优模型。该模型基于 HuBERT 基础架构，拥有95M的参数量。

第三次迭代：K=1000
相关模型：第二次和第一次迭代的 mHuBERT-147 模型，以及一个处理12种语言的 CommonVoice 原型。

训练数据与代码

项目提供了用于训练 mHuBERT-147 的多语言批处理脚本，这些脚本可以通过Fairseq fork获取。此外，还提供了预处理和 faiss 聚类的脚本及用于训练的数据列表。但需要注意的是，由于一些数据集（例如 CommonVoice 数据集）的移除请求，一些列出的文件可能不再可用。

评价与成绩

mHuBERT-147 的表现不俗，在 ML-SUPERB 测试中，在10分钟和1小时排行榜中分别取得了第二和第一的位置，并为三项语言识别任务创造了新的最优成绩。

支持语言和数据集

mHuBERT-147 支持丰富的语音数据集，用于自动语音识别（ASR）、语音转换（ST）和文本转语音（TTS）等任务。主要的数据集包括：

Aishell 和 AISHELL-3
BibleTTS
ClovaCall
CommonVoice v11
Google 提供的多种语言 TTS 数据

特别是，还包含了一些未被 Huggingface 索引的语言，如阿斯图里亚（Asturian）、巴萨（Basaa）和苏格兰语（Scots）等。

引用与资助信息

该项目是欧洲预研项目 UTTER 构成的一部分，获得了由欧盟 Horizon Europe 研究与创新计划的资助，项目编号为101070631。如需引用此项目，请参考以下论文：

@inproceedings{boito2024mhubert,
author={Marcely Zanon Boito, Vivek Iyer, Nikolaos Lagos, Laurent Besacier, Ioan Calapodescu},
title={{mHuBERT-147: A Compact Multilingual HuBERT Model}},
year=2024,
booktitle={Interspeech 2024},
}

更多信息访问 UTTER 项目官方网站。