python版本 GitHub分叉数 GitHub仓库星标数 GitHub许可证

PPASR流式与非流式语音识别项目

本项目分为三个阶段分支，分别是入门级、进阶级和最终级分支，当前为最终级的V2版本，如果想使用最终级的V1版本，请查看r1.x分支。PPASR中文名称为PaddlePaddle中文语音识别（PaddlePaddle Automatic Speech Recognition），是一款基于PaddlePaddle实现的语音识别框架，PPASR致力于简单、实用的语音识别项目。可部署在服务器、Nvidia Jetson设备上，未来还计划支持Android等移动设备。别忘了给个star哦

欢迎大家扫码加入知识星球或QQ群进行讨论，知识星球里提供了项目的模型文件和博主其他相关项目的模型文件，以及其他一些资源。

在线使用

1. 在AI Studio平台训练预测

2. 在线使用Demo

3. inscode

<br/>

本项目使用的环境：

Anaconda 3
Python 3.8
PaddlePaddle 2.5.1
Windows 10 或 Ubuntu 18.04

项目快速了解

本项目支持流式识别模型deepspeech2、conformer、squeezeformer、efficient_conformer，每个模型都支持流式识别和非流式识别，在配置文件中通过streaming参数设置。
本项目支持两种解码器，分别是集束搜索解码器ctc_beam_search和贪心解码器ctc_greedy，集束搜索解码器ctc_beam_search准确率更高。
下面提供了一系列预训练模型的下载链接，下载预训练模型后，需要将所有文件复制到项目根目录，并执行导出模型才能使用语音识别。

更新记录

2023.01.28: 调整配置文件结构，支持efficient_conformer模型。
2022.12.05: 支持自动混合精度训练和导出量化模型。
2022.11.26: 支持Squeezeformer模型。
2022.11.01: 修改Conformer模型的解码器为BiTransformerDecoder，增加SpecSubAugmentor数据增强器。
2022.10.29: 正式发布最终级的V2版本。

视频讲解

快速使用

这里介绍如何使用PPASR快速进行语音识别，前提是要安装PPASR，安装文档请查看快速安装。执行过程不需要手动下载模型，全部自动完成。

短语音识别

from ppasr.predict import PPASRPredictor

predictor = PPASRPredictor(model_tag='conformer_streaming_fbank_wenetspeech')

wav_path = 'dataset/test.wav'
result = predictor.predict(audio_data=wav_path, use_pun=False)
score, text = result['score'], result['text']
print(f"识别结果: {text}, 得分: {int(score)}")

长语音识别

from ppasr.predict import PPASRPredictor
predictor = PPASRPredictor(model_tag='conformer_streaming_fbank_wenetspeech')

wav_path = 'dataset/test_long.wav'
result = predictor.predict_long(audio_data=wav_path, use_pun=False)
score, text = result['score'], result['text']
print(f"识别结果: {text}, 得分: {score}")

模拟流式识别

import time
import wave

from ppasr.predict import PPASRPredictor

predictor = PPASRPredictor(model_tag='conformer_streaming_fbank_wenetspeech')

# 识别间隔时间
interval_time = 0.5
CHUNK = int(16000 * interval_time)
# 读取数据
wav_path = 'dataset/test.wav'
wf = wave.open(wav_path, 'rb')
data = wf.readframes(CHUNK)
# 播放
while data != b'':
    start = time.time()
    d = wf.readframes(CHUNK)
    result = predictor.predict_stream(audio_data=data, use_pun=False, is_end=d == b'')
    data = d
    if result is None: continue
    score, text = result['score'], result['text']
    print(f"【实时结果】：消耗时间：{int((time.time() - start) * 1000)}ms, 识别结果: {text}, 得分: {int(score)}")
# 重置流式识别
predictor.reset_stream()

模型下载

WenetSpeech（10000小时）的预训练模型列表：

使用模型	是否为流式	预处理方式	语言	测试集字错率	下载地址
conformer	是	fbank	普通话	0.03579(aishell_test)<br>0.11081(test_net)<br>0.16031(test_meeting)	加入知识星球获取
deepspeech2	是	fbank	普通话	0.05379(aishell_test)	加入知识星球获取

WenetSpeech（10000小时）+中文语音数据集（3000+小时）的预训练模型列表：

使用模型	是否为流式	预处理方式	语言	测试集字错率	下载地址
conformere	是	fbank	普通话	0.02923(aishell_test)<br>0.11876(test_net)<br>0.18346(test_meeting)	加入知识星球获取

AIShell（179小时）的预训练模型列表：

使用模型	是否为流式	预处理方式	语言	测试集字错率	下载地址
squeezeformer	是	fbank	普通话	0.04675	加入知识星球获取
conformer	是	fbank	普通话	0.04178	加入知识星球获取
efficient_conformer	是	fbank	普通话	0.04143	加入知识星球获取
deepspeech2	是	fbank	普通话	0.09732	加入知识星球获取

Librispeech（960小时）的预训练模型列表：

使用模型	是否为流式	预处理方式	语言	测试集词错率	下载地址
squeezeformer	是	fbank	英文	0.13033	加入知识星球获取
conformer	是	fbank	英文	0.08109	加入知识星球获取
efficient_conformer	是	fbank	英文		加入知识星球获取
deepspeech2	是	fbank	英文	0.15294	加入知识星球获取

说明：

这里字错率或者词错率是使用eval.py程序并使用集束搜索解码ctc_beam_search方法计算得到的。
没有提供预测模型，需要把全部文件复制到项目的根目录下，执行export_model.py导出预测模型。
由于算力不足，这里只提供了流式模型，但全部模型都支持流式和非流式的，在配置文件中streaming参数设置。

有问题欢迎提 issue 交流

文档教程

特别感谢

感谢 <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/fe33e949-862e-48a6-95cf-8450edcdbd2c.png" height="25" width="25" >JetBrains开源社区提供开发工具。

打赏作者

<br/> <div align="center"> <p>打赏一块钱支持一下作者</p> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/57ed19ff-d936-41f7-bdaa-86f124f48e3b.png" alt="打赏作者" width="400"> </div>