moshika-pytorch-bf16

项目介绍：moshika-pytorch-bf16

moshika-pytorch-bf16 项目是一个基于 PyTorch 的模型项目，专注于实现一个名为 "Moshi" 的语音-文本基础模型。该项目使用了 bf16 精度技术，是一个全双工语音对话框架，能够在实时对话中进行语音到语音的生成。

项目背景

"Moshi" 是一种创新的语音-文本基础模型，旨在将语音对话转换为语音生成任务。通过一个文本语言模型作为基础，Moshi 能够从神经音频编解码器的残差量化器中生成语音。此外，Moshi 还能将自身的语音和用户的语音分别建模为并行流，从而消除了显式的说话者换班，使其能够表现出复杂的会话动态。

该模型引入了一种被称为“内心独白”的方法，能够在音频生成之前预测时间对齐的文本令牌，提高了生成语音的语言质量，同时支持流式语音识别和语音合成。这使得 Moshi 成为第一个实时全双工的大型语音语言模型，理论延迟为 160 毫秒，实际使用中延迟约为 200 毫秒。

关键特性

开发者： Kyutai
模型类型： 多模态语音-文本基础模型
主要语言： 英语
许可协议： CC-BY

项目资源

代码仓库： GitHub 仓库
研究论文： 论文链接
在线演示： 在线访问

使用场景

直接使用

Moshi 模型可以用作聊天机器人，用于进行日常交谈、提供基本信息和建议（如食谱、百科问答）、角色扮演等。然而，该模型在复杂任务上能力有限，无法访问其他工具，而是专注于自然、低延迟的交互。

下游使用

模型的一些组件可以单独使用或轻松重新配置。例如，Mimi 编解码器是一个先进的音频神经编解码器，将语义和音频信息整合为音频令牌，运行频率为 12Hz，速率为 1.1kbps，特别适合用于训练语音语言模型或语音合成系统。对于主要的 Moshi 架构，其他下游用例可能需要进行一些微调或领域适应。

不适用场景

这个模型不适合用于假冒他人或任何其它恶意用途。本模型仅供研究，我们不推荐用它提供建议或执行任何专业职能。

偏见、风险与局限性

模型经过了一些保护措施的训练以限制潜在的有害用法。然而，毒性分析表明，Moshi 在文本生成方面的表现位于现有模型的中游。由于训练数据中某些领域和主题过度代表，因此模型可能存在一定的偏见。目前其能力有限，并且只训练了一种话音以避免冒充风险。我们仍需时间来明确其社会技术局限性。

开始使用

想要了解如何开始使用该模型，请参考其主要 README 文件。

训练细节

训练数据

文本数据： Helium 模型的基础数据来自互联网和已筛选的高质量数据，组成如下：
- 12.5% 来自如 Wikipedia、Wikibooks、Wikisource、Wikinews 和 StackExchange 等高质量来源。
- 87.5% 来自经过筛选的 CommonCrawl 网络数据。
音频数据：
- 无监督音频数据集： 包含 700 万小时音频，主要来自英语演讲，用于预训练。
- Fisher 数据集： 包含 2000 小时的电话对话内容。
- 监督多流数据集： 170 小时的自然和脚本对话数据。
- 合成数据： 2 万小时由 TTS 系统生成的模拟对话数据。

训练过程与参数

训练过程和超参数的具体信息可在研究论文中详细查看。

计算基础设施

模型训练在由 Scaleway 提供的 127 个 DGX 节点上进行，使用 1016 个 Nvidia H100 GPU。

引用

如果引用本项目，请使用以下信息：

@techreport{kyutai2024moshi,
    author = {Alexandre D\'efossez and Laurent Mazar\'e and Manu Orsini and Am\'elie Royer and Patrick P\'erez and Herv\'e J\'egou and Edouard Grave and Neil Zeghidour},
    title = {Moshi: a speech-text foundation model for real-time dialogue},
    institution = {Kyutai},
    year={2024},
    month={September},
    url={http://kyutai.org/Moshi.pdf},
}

本项目的信息为用户提供了一个清晰的入门指南和全面的背景说明，不论是技术人员或普通用户都能从中受益。