athena

Athena 项目介绍

项目概况

Athena 是一个开源的端到端语音处理引擎实现。其愿景是为工业应用和学术研究提供语音处理的端到端模型支持。为了让人人都能使用语音处理技术，Athena 还提供了一些开源数据集的示例实现和操作指南，涵盖了自动语音识别（ASR）、语音合成（TTS）、语音活动检测（VAD）、唤醒词检测（KWS）等任务。

所有的模型都基于 TensorFlow 2.0.1 及以上版本实现。为了简化操作，Athena 提供了一个无 Kaldi 依赖的 Python 特征提取器 Athena_transform。

关键特性

• 基于混合注意力/CTC 的端到端和流方法的自动语音识别（ASR）
• 提供快速的文本到语音合成（TTS），包括 FastSpeech、FastSpeech2 和 Transformer 方法
• 语音活动检测（VAD）
• 基于端到端和流方法的关键词检测（KWS）
• ASR 的无监督预训练（MPC）
• 使用 Horovod 进行单机或多机的多 GPU 训练
• 使用 C++ 创建和基于 WFST 的解码
• 支持使用 TensorFlow C++ 进行本地服务器部署

版本信息

• Athena v2.0（最新版本）
• Athena v1.0

最新动态

• 2022 年 6 月 1 日，建立了 Athena-model-zoo
• 2022 年 5 月 13 日，运行时支持 C++ 解码 和 部署
• 其他功能更新，详见项目历史记录

讨论与交流

Athena 设置了一个微信讨论群，通过扫描项目页面上的二维码可以加入群聊，与大家进行技术交流。

安装指南

Athena 可以在 TensorFlow 2.3 和 TensorFlow 2.8 上成功安装。

有关详细的安装步骤，请参阅项目的安装文档。

结果展示

自动语音识别（ASR）

Athena 展示了多种 ASR 模型的性能，使用了如 AISHELL-1、HKUST 等多种常用数据集进行测试。

语音合成（TTS）

Athena 支持 LJSpeech 和中文普通话（data_baker）等 TTS 任务，提供了如 Tacotron2、FastSpeech2 等模型的实现和音频示例。

语音活动检测（VAD）

Athena 支持基于 Google Speech Commands Dataset V2 的 VAD 模型开发，具体性能如 Frame Error Rate 详情见项目页面。

唤醒词检测（KWS）

Athena 进行了多种 KWS 模型的实验，并在 MISP2021 数据集上展示了相关性能。

CTC 对齐

Athena 提供了 CTC 对齐功能，并展示了实际对齐效果图。

部署功能

Athena V2.0 支持 ASR 的本地服务部署，详细性能和操作流程详见项目文档。

支持的模型架构和参考

Athena V2.0 支持多种模型架构，包括 Transformer、Conformer、FastSpeech2 等，涵盖 ASR、TTS、VAD 和 KWS 等任务，具体参考可在项目文档中查阅。

目录结构

Athena 的基本目录结构如下，包含数据处理、模型定义、工具、示例及文档等多个部分。

致谢

Athena 项目在开发过程中，借鉴了诸如 Espnet、Wenet、TensorFlowTTS、NeMo 等众多优秀的开源项目，在此感谢这些项目所提供的参考和灵感！