FunASR

(简体中文|English)

<strong>FunASR</strong>希望在语音识别的学术研究和工业应用之间架起一座桥梁。通过支持工业级语音识别模型的训练和微调，研究人员和开发人员可以更方便地进行语音识别模型的研究和生产，促进语音识别生态的发展。让ASR变得有趣！

亮点 | 新闻 | 安装 | 快速开始 | 教程 | 运行时 | 模型库 | 联系我们

亮点

FunASR是一个基础的语音识别工具包，提供多种功能，包括语音识别（ASR）、语音活动检测（VAD）、标点恢复、语言模型、说话人验证、说话人分离和多人语音识别。FunASR提供便捷的脚本和教程，支持预训练模型的推理和微调。
我们在ModelScope和huggingface上发布了大量学术和工业预训练模型，可以通过我们的模型库访问。代表性的Paraformer-large是一个非自回归端到端语音识别模型，具有高准确率、高效率和便捷部署的优势，支持快速构建语音识别服务。有关服务部署的更多详情，请参考服务部署文档。

最新动态：

2024/07/04：SenseVoice是一个具有多种语音理解能力的语音基础模型，包括ASR、LID、SER和AED。
2024/07/01：离线文件转写服务GPU 1.1版本发布，优化BladeDISC模型兼容性问题；参考（文档）
2024/06/27：离线文件转写服务GPU 1.0版本发布，支持动态batch处理和多线程并发。在长音频测试集上，单线程RTF为0.0076，多线程加速比达1200+（相比CPU的330+）；参考（文档）
2024/05/15：新增支持情感识别模型。emotion2vec+large，emotion2vec+base，emotion2vec+seed。目前支持以下类别：0：生气 1：高兴 2：中性 3：悲伤 4：未知。
2024/05/15：离线文件转写服务4.5版本、英文离线文件转写服务1.6版本、实时转写服务1.10版本发布，适配FunASR 1.0模型结构；（文档）
2024/03/05：新增Qwen-Audio和Qwen-Audio-Chat大规模音频文本多模态模型，在多个音频领域排行榜上名列前茅。这些模型支持语音对话，使用方法。
2024/03/05：新增支持Whisper-large-v3模型，这是一个多任务模型，可以执行多语言语音识别、语音翻译和语言识别。可以从modelscope和openai下载。
2024/03/05：离线文件转写服务4.4版本、英文离线文件转写服务1.5版本、实时转写服务1.9版本发布，docker镜像支持ARM64平台，更新modelscope；（文档）
2024/01/30：funasr-1.0已发布（文档）

<details><summary>完整更新日志</summary> - 2024/01/30：新增支持情感识别模型。[模型链接](https://www.modelscope.cn/models/iic/emotion2vec_base_finetuned/summary)，修改自[此仓库](https://github.com/ddlBoJack/emotion2vec)。 - 2024/01/25：离线文件转写服务4.2版本、英文离线文件转写服务1.3版本发布，优化了VAD（语音活动检测）数据处理方法，显著降低了峰值内存使用，优化了内存泄漏；实时转写服务1.7版本发布，优化了客户端；（[文档](runtime/readme.md)） - 2024/01/09：FunASR SDK Windows版2.0已发布，支持普通话离线文件转写服务（CPU）4.1版本、英语离线文件转写服务（CPU）1.2版本、普通话实时转写服务（CPU）1.6版本。详情请参阅官方文档或发布说明（[FunASR-Runtime-Windows](https://www.modelscope.cn/models/damo/funasr-runtime-win-cpu-x64/summary)） - 2024/01/03：文件转写服务4.0版本发布，新增支持8k模型，优化时间戳不匹配问题并添加句级时间戳，提高英文词FST热词效果，支持自动配置线程参数，修复已知崩溃问题和内存泄漏问题，参见（[文档](runtime/readme.md#file-transcription-service-mandarin-cpu)）。 - 2024/01/03：实时转写服务1.6版本发布，2pass-offline模式支持Ngram语言模型解码和WFST热词，同时解决已知崩溃问题和内存泄漏问题，（[文档](runtime/readme.md#the-real-time-transcription-service-mandarin-cpu)） - 2024/01/03：修复已知崩溃问题和内存泄漏问题，（[文档](runtime/readme.md#file-transcription-service-english-cpu)）。 - 2023/12/04：FunASR SDK Windows版1.0已发布，支持普通话离线文件转写服务（CPU）、英语离线文件转写服务（CPU）、普通话实时转写服务（CPU）。详情请参阅官方文档或发布说明（[FunASR-Runtime-Windows](https://www.modelscope.cn/models/damo/funasr-runtime-win-cpu-x64/summary)） - 2023/11/08：普通话离线文件转写服务3.0（CPU）版本发布，新增标点大模型、Ngram语言模型和wfst热词。详细信息请参考[文档](runtime#file-transcription-service-mandarin-cpu)。 - 2023/10/17：英语离线文件转写服务（CPU）已发布。详情请参考（[文档](runtime#file-transcription-service-english-cpu)）。 - 2023/10/13：[SlideSpeech](https://slidespeech.github.io/)：一个大规模多模态音视频语料库，包含大量实时同步的幻灯片。 - 2023/10/10：ASR-说话人分离联合流水线[Paraformer-VAD-SPK](https://github.com/alibaba-damo-academy/FunASR/blob/main/egs_modelscope/asr_vad_spk/speech_paraformer-large-vad-punc-spk_asr_nat-zh-cn/demo.py)现已发布。体验模型以获取带有说话人信息的识别结果。 - 2023/10/07：[FunCodec](https://github.com/alibaba-damo-academy/FunCodec)：一个基础、可复现且可集成的开源神经语音编解码工具包。 - 2023/09/01：普通话离线文件转写服务2.0（CPU）版本发布，新增支持ffmpeg、时间戳和热词模型。详情请参考（[文档](runtime#file-transcription-service-mandarin-cpu)）。 - 2023/08/07：普通话实时转写服务（CPU）已发布。详情请参考（[文档](runtime#the-real-time-transcription-service-mandarin-cpu)）。 - 2023/07/17：BAT已发布，这是一个低延迟和低内存消耗的RNN-T模型。详情请参考（[BAT](egs/aishell/bat)）。 - 2023/06/26：ASRU2023多通道多方会议转写挑战赛2.0完成比赛并公布结果。详情请参考（[M2MeT2.0](https://alibaba-damo-academy.github.io/FunASR/m2met2/index.html)）。

安装

要求

python>=3.8
torch>=1.13
torchaudio

通过pypi安装

pip3 install -U funasr

或从源代码安装

git clone https://github.com/alibaba/FunASR.git && cd FunASR
pip3 install -e ./

安装modelscope或huggingface_hub以使用预训练模型（可选）

pip3 install -U modelscope huggingface_hub

模型库

FunASR开源了大量在工业数据上预训练的模型。您可以根据模型许可协议自由使用、复制、修改和共享FunASR模型。以下是一些代表性模型，更多模型请参考模型库。

（注：⭐代表ModelScope模型库，🤗代表Huggingface模型库，🍀代表OpenAI模型库）

模型名称	任务详情	训练数据	参数量
SenseVoiceSmall <br> (⭐ 🤗 )	多种语音理解能力，包括ASR、ITN、LID、SER和AED，支持中文、粤语、英语、日语、韩语等语言	300000小时	234M
paraformer-zh <br> (⭐ 🤗 )	语音识别，带时间戳，非流式	60000小时，普通话	220M
<nobr>paraformer-zh-streaming <br> ( ⭐ 🤗 )</nobr>	语音识别，流式	60000小时，普通话	220M
paraformer-en <br> ( ⭐ 🤗 )	语音识别，不带时间戳，非流式	50000小时，英语	220M
conformer-en <br> ( ⭐ 🤗 )	语音识别，非流式	50000小时，英语	220M
ct-punc <br> ( ⭐ 🤗 )	标点恢复	100M，中文和英文	290M
fsmn-vad <br> ( ⭐ 🤗 )	语音活动检测	5000小时，中文和英文	0.4M
fa-zh <br> ( ⭐ 🤗 )	时间戳预测	5000小时，中文	38M
cam++ <br> ( ⭐ 🤗 )	说话人验证/分离	5000小时	7.2M
Whisper-large-v2 <br> (⭐ 🍀 )	语音识别，带时间戳，非流式	多语言	1550 M
Whisper-large-v3 <br> (⭐ 🍀 )	语音识别，带时间戳，非流式	多语言	1550 M
Qwen-Audio <br> (⭐ 🤗 )	音频-文本多模态模型（预训练）	多语言	8B
Qwen-Audio-Chat <br> (⭐ 🤗 )	音频-文本多模态模型（对话）	多语言	8B
emotion2vec+large <br> (⭐ 🤗 )	语音情感识别	40000小时	300M

快速开始

以下是一个快速入门教程。测试音频文件（中文，英文）。

命令行使用

funasr ++model=paraformer-zh ++vad_model="fsmn-vad" ++punc_model="ct-punc" ++input=asr_example_zh.wav

注意：支持识别单个音频文件，以及Kaldi格式的wav.scp文件列表：wav_id wav_path

语音识别（非流式）

SenseVoice

from funasr import AutoModel
from funasr.utils.postprocess_utils import rich_transcription_postprocess

model_dir = "iic/SenseVoiceSmall"

model = AutoModel(
    model=model_dir,
    vad_model="fsmn-vad",
    vad_kwargs={"max_single_segment_time": 30000},
    device="cuda:0",
)
# 中文
res = model.generate(
    input=f"{model.model_path}/example/en.mp3",
    cache={},
    language="auto",  # "zn", "en", "yue", "ja", "ko", "nospeech"
    use_itn=True,
    batch_size_s=60,
    merge_vad=True,  #
    merge_length_s=15,
)
text = rich_transcription_postprocess(res[0]["text"])
print(text)

参数说明：

model_dir：模型名称，或本地磁盘上模型的路径。
vad_model：表示激活VAD（语音活动检测）。VAD的目的是将长音频分割成较短的片段。在这种情况下，推理时间包括VAD和SenseVoice的总消耗，代表端到端延迟。如果你想单独测试SenseVoice模型的推理时间，可以禁用VAD模型。
vad_kwargs：指定VAD模型的配置。max_single_segment_time：表示vad_model音频分割的最大持续时间，单位为毫秒（ms）。
use_itn：输出结果是否包含标点符号和逆文本规范化。
batch_size_s：表示使用动态批处理，批次中音频的总持续时间以秒（s）为单位。
merge_vad：是否合并由VAD模型分割的短音频片段，合并长度为merge_length_s，单位为秒（s）。
ban_emo_unk：是否禁止输出emo_unk标记。

Paraformer

from funasr import AutoModel
# paraformer-zh是一个多功能的asr模型
# 根据需要使用vad、punc、spk
model = AutoModel(model="paraformer-zh",  vad_model="fsmn-vad",  punc_model="ct-punc", 
                  # spk_model="cam++", 
                  )
res = model.generate(input=f"{model.model_path}/example/asr_example.wav", 
                     batch_size_s=300, 
                     hotword='魔搭')
print(res)

注意：hub：表示模型仓库，ms代表选择ModelScope下载，hf代表选择Huggingface下载。

语音识别（流式）

from funasr import AutoModel

chunk_size = [0, 10, 5] #[0, 10, 5] 600ms, [0, 8, 4] 480ms
encoder_chunk_look_back = 4 #编码器自注意力回看的块数
decoder_chunk_look_back = 1 #解码器交叉注意力回看的编码器块数

model = AutoModel(model="paraformer-zh-streaming")

import soundfile
import os

wav_file = os.path.join(model.model_path, "example/asr_example.wav")
speech, sample_rate = soundfile.read(wav_file)
chunk_stride = chunk_size[1] * 960 # 600ms

cache = {}
total_chunk_num = int(len((speech)-1)/chunk_stride+1)
for i in range(total_chunk_num):
    speech_chunk = speech[i*chunk_stride:(i+1)*chunk_stride]
    is_final = i == total_chunk_num - 1
    res = model.generate(input=speech_chunk, cache=cache, is_final=is_final, chunk_size=chunk_size, encoder_chunk_look_back=encoder_chunk_look_back, decoder_chunk_look_back=decoder_chunk_look_back)
    print(res)

注意：chunk_size是流式延迟的配置。[0,10,5]表示实时显示粒度为10*60=600ms，前瞻信息为5*60=300ms。每次推理输入600ms（采样点为16000*0.6=960），输出对应的文本。对于最后一个语音段输入，需要设置is_final=True以强制输出最后一个词。

语音活动检测（非流式）

from funasr import AutoModel

model = AutoModel(model="fsmn-vad")
wav_file = f"{model.model_path}/example/vad_example.wav"
res = model.generate(input=wav_file)
print(res)

注意：VAD模型的输出格式为：[[beg1, end1], [beg2, end2], ..., [begN, endN]]，其中begN/endN表示第N个有效音频段的起始/结束点，单位为毫秒。

语音活动检测（流式）

from funasr import AutoModel

chunk_size = 200 # ms
model = AutoModel(model="fsmn-vad")

import soundfile

wav_file = f"{model.model_path}/example/vad_example.wav"
speech, sample_rate = soundfile.read(wav_file)
chunk_stride = int(chunk_size * sample_rate / 1000)

cache = {}
total_chunk_num = int(len((speech)-1)/chunk_stride+1)
for i in range(total_chunk_num):
    speech_chunk = speech[i*chunk_stride:(i+1)*chunk_stride]
    is_final = i == total_chunk_num - 1
    res = model.generate(input=speech_chunk, cache=cache, is_final=is_final, chunk_size=chunk_size)
    if len(res[0]["value"]):
        print(res)

注意：流式VAD模型的输出格式可能是以下四种情况之一：

[[beg1, end1], [beg2, end2], .., [begN, endN]]：与上述离线VAD输出结果相同。
[[beg, -1]]：表示只检测到起始点。
[[-1, end]]：表示只检测到结束点。
[]：表示既没有检测到起始点也没有检测到结束点。

输出以毫秒为单位，表示从起始点开始的绝对时间。

标点恢复

from funasr import AutoModel

model = AutoModel(model="ct-punc")
res = model.generate(input="那今天的会就到这里吧 happy new year 明年见")
print(res)

时间戳预测

from funasr import AutoModel

model = AutoModel(model="fa-zh")
wav_file = f"{model.model_path}/example/asr_example.wav"
text_file = f"{model.model_path}/example/text.txt"
res = model.generate(input=(wav_file, text_file), data_type=("sound", "text"))
print(res)

语音情感识别

from funasr import AutoModel

model = AutoModel(model="emotion2vec_plus_large")

wav_file = f"{model.model_path}/example/test.wav"

res = model.generate(wav_file, output_dir="./outputs", granularity="utterance", extract_embedding=False)
print(res)

更多用法请参考文档，更多示例请参考演示

</details>

导出ONNX

命令行使用

funasr-export ++model=paraformer ++quantize=false ++device=cpu

Python

from funasr import AutoModel

model = AutoModel(model="paraformer", device="cpu")

res = model.export(quantize=False)

测试ONNX

# pip3 install -U funasr-onnx
from funasr_onnx import Paraformer
model_dir = "damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch"
model = Paraformer(model_dir, batch_size=1, quantize=True)

wav_path = ['~/.cache/modelscope/hub/damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/example/asr_example.wav']

result = model(wav_path)
print(result)

更多示例请参考演示

部署服务

FunASR支持部署预训练或进一步微调的模型进行服务。目前支持以下类型的服务部署：

文件转写服务，普通话，CPU版本，已完成
实时转写服务，普通话（CPU），已完成
文件转写服务，英语，CPU版本，已完成
文件转写服务，普通话，GPU版本，进行中
更多。如需更详细的信息，请参阅服务部署文档。

社区交流

如果您在使用过程中遇到问题，可以直接在 GitHub 页面上提出 Issues。

您也可以扫描以下钉钉群二维码加入社区群，进行交流讨论。

钉钉群
<div align="left"><img src="https://yellow-cdn.veclightyear.com/835a84d5/e538eda8-d302-47ad-a102-4e0065e1e0ac.png" width="250"/>

贡献者

<div align="left"><img src="https://yellow-cdn.veclightyear.com/835a84d5/15e890e2-8d1c-4a4e-bc83-96d54651d8f9.png" width="260"/>	<div align="left"><img src="https://yellow-cdn.veclightyear.com/835a84d5/8a22ab8a-c5d3-4605-8fdc-3fa6cf94a3fe.png" width="260"/>	<img src="https://yellow-cdn.veclightyear.com/835a84d5/8d23523b-a79c-43b9-8484-4c4742657891.png" width="200"/> </div>	<img src="https://yellow-cdn.veclightyear.com/835a84d5/effa818d-69ba-4440-bb1f-32faaf58103a.png" width="200"/> </div>	<img src="https://yellow-cdn.veclightyear.com/835a84d5/123b53d2-a3e7-468e-81cf-a0cf90783b3e.png" width="200"/> </div>	<img src="https://yellow-cdn.veclightyear.com/835a84d5/b8d1bd56-cde5-4855-8440-6f6fb275d41c.png" width="250"/> </div>

贡献者列表可在贡献者名单中找到。

许可证

本项目采用 MIT 许可证。FunASR 还包含了各种第三方组件，以及根据其他开源许可证修改的部分代码。预训练模型的使用受模型许可证约束。

引用

@inproceedings{gao2023funasr,
  author={Zhifu Gao and Zerui Li and Jiaming Wang and Haoneng Luo and Xian Shi and Mengzhe Chen and Yabin Li and Lingyun Zuo and Zhihao Du and Zhangyu Xiao and Shiliang Zhang},
  title={FunASR: A Fundamental End-to-End Speech Recognition Toolkit},
  year={2023},
  booktitle={INTERSPEECH},
}
@inproceedings{An2023bat,
  author={Keyu An and Xian Shi and Shiliang Zhang},
  title={BAT: Boundary aware transducer for memory-efficient and low-latency ASR},
  year={2023},
  booktitle={INTERSPEECH},
}
@inproceedings{gao22b_interspeech,
  author={Zhifu Gao and ShiLiang Zhang and Ian McLoughlin and Zhijie Yan},
  title={Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition},
  year=2022,
  booktitle={Proc. Interspeech 2022},
  pages={2063--2067},
  doi={10.21437/Interspeech.2022-9996}
}
@inproceedings{shi2023seaco,
  author={Xian Shi and Yexin Yang and Zerui Li and Yanni Chen and Zhifu Gao and Shiliang Zhang},
  title={SeACo-Paraformer: A Non-Autoregressive ASR System with Flexible and Effective Hotword Customization Ability},
  year={2023},
  booktitle={ICASSP2024}
}