nix-tts

项目介绍：Nix-TTS

概述

Nix-TTS 是一种轻量级的端到端文本到语音（Text-to-Speech，简称 TTS）系统。该项目由 Rendi Chevi、Radityo Eko Prasojo、Alham Fikri Aji、Andros Tjandra 和 Sakriani Sakti 开发，并已被 IEEE SLT 2022 会议接收。Nix-TTS 的亮点在于其通过模块化蒸馏技术，实现了在非自回归和端到端 TTS 模型中，大幅度缩小模型的体积，同时依然保持较高的语音自然度和清晰度。

项目背景

传统的 TTS 模型虽然效果出色，但由于体积庞大和训练成本高，使得硬件需求和训练时间成为阻碍其广泛应用的主要问题。Nix-TTS 就是为了解决这些痛点而设计的。通过将知识从大体积、高质量的教师模型中提取并注入到轻量化的学生模型中，Nix-TTS 成功在不显著损失语音质量的情况下，将模型参数数量减少至仅 5.23M，相较于教师模型缩减了高达 89.34%。

技术细节

Nix-TTS 采用了一种模块化蒸馏的方法，使得编码器模块和解码器模块之间的蒸馏过程能够独立灵活地进行。尽管模型强度得到极大压缩，但是 Nix-TTS 仍然保留了从教师模型继承的非自回归和端到端的优势。此外，在不同的硬件环境下，Nix-TTS 的推理速度也得到了显著提升：在 Intel-i7 CPU 和树莓派 3B 的测试中，其速度分别提高了 3.04 倍和 8.36 倍。