kotoba-whisper-v2.1

Kotoba-Whisper-v2.1 项目介绍

项目概述

Kotoba-Whisper-v2.1 是一个基于 kotoba-tech/kotoba-whisper-v2.0 的日语自动语音识别（ASR）模型。该项目通过集成额外的后处理组件，特别是添加标点符号的功能，进一步提升了语音识别的质量和可读性。这个新版本的模型不仅保持了原有的高精度识别能力，还通过无缝集成的管道（pipeline）方式，为识别结果添加了更为自然的标点符号。

主要特点

1. 基础模型: 基于 kotoba-tech/kotoba-whisper-v2.0，继承了其优秀的日语语音识别能力。

2. 后处理增强: 集成了标点符号添加功能，使用 punctuators 库实现，提高了转录文本的可读性。

3. 管道集成: 通过 Transformers 库的 pipeline 功能，将后处理步骤无缝整合到模型中。

4. 性能表现: 在多个日语数据集上展现出优秀的性能，包括 CommonVoice 8、JSUT Basic 5000 和 ReazonSpeech 测试集。

5. 灵活使用: 支持通过 Hugging Face Transformers 库轻松调用和使用。

性能评估

Kotoba-Whisper-v2.1 在多个标准日语数据集上进行了评估，展现出与其前身相当甚至更优的性能：

• CommonVoice 8 (日语测试集): 17.7% CER
• JSUT Basic 5000: 15.4% CER
• ReazonSpeech (保留测试集): 17.0% CER

这些结果显示，该模型在不同类型的语音数据上都能保持稳定且出色的表现。

使用方法

使用 Kotoba-Whisper-v2.1 模型非常简单，主要步骤如下：

1. 安装必要的库，包括最新版本的 Transformers、accelerate、torchaudio 等。

2. 使用 Transformers 的 pipeline 功能加载模型。

3. 准备音频数据，可以是本地文件或来自数据集的样本。

4. 调用加载的模型进行转录，可以设置各种参数如语言、任务类型等。

5. 获取并处理识别结果。

高级功能

1. Flash Attention 2: 对于支持的 GPU，可以启用 Flash Attention 2 来提升性能。

2. 标点符号控制: 可以选择是否启用标点符号添加功能。

3. 批处理: 支持批量处理音频文件，提高处理效率。

4. 时间戳: 可以返回识别文本的时间戳信息。

项目贡献与致谢

Kotoba-Whisper-v2.1 是多方合作的成果，包括 Asahi Ushio 和 Kotoba Technologies 的共同努力。此外，项目还得益于 OpenAI 的 Whisper 模型、Hugging Face 的 Transformers 库，以及 Reazon Human Interaction Lab 提供的 ReazonSpeech 数据集等资源和技术支持。

结语

Kotoba-Whisper-v2.1 代表了日语语音识别技术的一个重要进步。通过集成先进的后处理技术，特别是自动添加标点符号的功能，该模型不仅提高了识别的准确性，还大大增强了输出文本的可读性。无论是学术研究还是实际应用，Kotoba-Whisper-v2.1 都为日语语音识别任务提供了一个强大而灵活的解决方案。