微调Whisper语音识别模型和加速推理

简体中文 | English

python版本 GitHub分支 GitHub仓库星标 GitHub许可证

前言

OpenAI开源了号称其英文语音识别能力已达到人类水平的Whisper项目，该项目还支持其他98种语言的自动语音识别。Whisper提供自动语音识别与翻译任务，能将各种语言的语音转换为文本，也能将这些文本翻译成英文。本项目的主要目的是使用Lora对Whisper模型进行微调，支持无时间戳数据训练、有时间戳数据训练和无语音数据训练。目前已开源多个模型，具体可以在openai查看，下面列出了几个常用模型。此外，项目最后还支持使用CTranslate2和GGML加速推理，需要注意的是，加速推理支持直接使用转换后的Whisper原始模型，不一定需要微调。项目支持Windows桌面应用、Android应用和服务器部署。

请先点击 :star:

🔄 最新更新

[2024/06/11] 发布Belle-whisper-large-v3-zh-punct，基于Belle-whisper-large-v3提升中文标点能力，同时进一步提升复杂场景识别能力。
[2024/03/11] 发布Belle-whisper-large-v3-zh，基于whisper-large-v3提升中文识别能力，显著提升复杂场景识别能力。
[2023/12/29] 发布Belle-whisper-large-v2-zh，基于whisper-large-v2提升中文识别能力，中文识别能力显著提升。
[2023/12/29] 发布Belle-distilwhisper-large-v2-zh，基于distilwhisper-large-v2提升中文识别能力，兼顾速度和精度。

支持模型

openai/whisper-large-v2
openai/whisper-large-v3
distil-whisper

使用环境：

Anaconda 3
Python 3.10
Pytorch 2.1.0
GPU A100-PCIE-80GB

项目主要程序介绍

aishell.py：制作AIShell训练数据。
finetune.py：PEFT方式微调模型。
finetune_all.py：全参数微调模型。
merge_lora.py：合并Whisper和Lora的模型。
evaluation.py：评估使用微调后的模型或者Whisper原模型。
infer_tfs.py：使用transformers直接调用微调后的模型或者Whisper原模型预测，只适合推理短音频。
infer_ct2.py：使用转换为CTranslate2的模型预测，主要参考这个程序用法。
infer_gui.py：有GUI界面操作，使用转换为CTranslate2的模型预测。
infer_server.py：使用转换为CTranslate2的模型部署到服务器端，提供给客户端调用。
convert-ggml.py：转换模型为GGML格式模型，给Android应用或者Windows应用使用。
AndroidDemo：该目录存放的是部署模型到Android的源码。
WhisperDesktop：该目录存放的是Windows桌面应用的程序。

模型说明

模型	参数量(M)	基础模型	数据 (重)采样率	训练数据集	微调方式（全量或PEFT）
Belle-whisper-large-v2-zh	1550	whisper-large-v2	16KHz	AISHELL-1 AISHELL-2 WenetSpeech HKUST	全量微调
Belle-distil-whisper-large-v2-zh	756	distil-whisper-large-v2	16KHz	AISHELL-1 AISHELL-2 WenetSpeech HKUST	全量微调
Belle-whisper-large-v3-zh	1550	whisper-large-v3	16KHz	AISHELL-1 AISHELL-2 WenetSpeech HKUST	全量微调
Belle-whisper-large-v3-zh-punct	1550	Belle-whisper-large-v3-zh	16KHz	AISHELL-1 AISHELL-2 WenetSpeech HKUST	Lora微调
<a name='模型效果'></a>

模型效果 CER(%) ↓

模型	语言标签	aishell_1 测试集	aishell_2 测试集	wenetspeech 测试集_net	wenetspeech 测试集_meeting	HKUST_开发集	模型链接
whisper-large-v2	中文	8.818	6.183	12.343	26.413	31.917	HF
Belle-whisper-large-v2-zh	中文	2.549	3.746	8.503	14.598	16.289	HF
whisper-large-v3	中文	8.085	5.475	11.72	20.15	28.597	HF
Belle-whisper-large-v3-zh	中文	2.781	3.786	8.865	11.246	16.440	HF
Belle-whisper-large-v3-zh-punct	中文	2.945	3.808	8.998	10.973	17.196	HF
distil-whisper-large-v2	中文	-	-	-	-	-	HF
Belle-distilwhisper-large-v2-zh	中文	5.958	6.477	12.786	17.039	20.771	HF

重要说明：

评估时移除模型输出的标点符号，并将繁体中文转为简体中文。
aishell_1_test为AIShell-1的测试集，aishell_2_test为AIShell-2的测试集，test_net和test_meeting为WenetSpeech的测试集。
distil-whisper-large-v2基于英文数据蒸馏，只能输出英文。需要注意的是，原始的distil-whisper-large-v2无法转录中文（它只输出英文）。
Belle-whisper-large-v3-zh 相比Belle-whisper-large-v2-zh，在复杂场景有明显优势，在wenetspeech meeting上取得更好效果，有22%的相对提升。
Belle-whisper-large-v3-zh-punct 具备标点符号能力，标点符号来自punc_ct-transformer_cn-en-common-vocab471067-large。此外，复杂场景效果进一步提升。

安装环境

首先安装Pytorch的GPU版本，以下介绍两种安装Pytorch的方式，只需选择一种即可。

以下是使用Anaconda安装Pytorch环境，如果已经安装过了，请跳过。

conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia

以下是使用Docker镜像，拉取一个Pytorch环境的镜像。

sudo docker pull pytorch/pytorch:1.13.1-cuda11.6-cudnn8-devel

然后进入镜像，同时将当前路径挂载到容器的/workspace目录下。

sudo nvidia-docker run --name pytorch -it -v $PWD:/workspace pytorch/pytorch:1.13.1-cuda11.6-cudnn8-devel /bin/bash

安装所需的依赖库。

python -m pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

Windows需要单独安装bitsandbytes。

python -m pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.40.1.post1-py3-none-win_amd64.whl

准备数据

训练的数据集如下，是一个jsonlines的数据列表，每一行都是一个JSON数据，数据格式如下。本项目提供了一个制作AIShell数据集的程序aishell.py，执行这个程序可以自动下载并生成如下列格式的训练集和测试集，注意： 这个程序可以通过指定AIShell的压缩文件来跳过下载过程，如果直接下载会非常慢，可以使用如迅雷等下载器下载该数据集，然后通过参数--filepath指定下载的压缩文件路径，如/home/test/data_aishell.tgz。

小提示：

如果不使用时间戳训练，可以不包含sentences字段的数据。
如果只有一种语言的数据，可以不包含language字段数据。
如果训练空语音数据，sentences字段为[]，sentence字段为""，language字段可以不存在。
数据可以不包含标点符号，但微调的模型会损失添加符号能力。

{
   "audio": {
      "path": "dataset/0.wav"
   },
   "sentence": "近几年，不但我用书给女儿压岁，也劝说亲朋不要给女儿压岁钱，而改送压岁书。",
   "language": "Chinese",
   "sentences": [
      {
         "start": 0,
         "end": 1.4,
         "text": "近几年，"
      },
      {
         "start": 1.42,
         "end": 8.4,
         "text": "不但我用书给女儿压岁，也劝说亲朋不要给女儿压岁钱，而改送压岁书。"
      }
   ],
   "duration": 7.37
}

微调模型

准备好数据后，就可以开始微调模型了。训练最重要的两个参数分别是，--base_model指定微调的Whisper模型，这个参数值需要在HuggingFace存在，不需要提前下载，启动训练时可以自动下载，当然也可以提前下载，那么--base_model指定就是路径，同时--local_files_only设置为True。第二个--output_path是训练时保存的Lora检查点路径，因为我们使用Lora来微调模型。如果想存足够的话，最好将--use_8bit设置为False，这样训练速度会快很多。其他更多的参数请查看这个程序。

单卡训练

单卡训练命令如下，Windows系统可以不添加CUDA_VISIBLE_DEVICES参数。

CUDA_VISIBLE_DEVICES=0 python finetune.py --base_model=openai/whisper-tiny --output_dir=output/

多卡训练

多卡训练有两种方法，分别是torchrun和accelerate，开发者可以根据自己的习惯使用对应的方式。

使用torchrun启动多卡训练，命令如下，通过--nproc_per_node指定使用的显卡数量。

torchrun --nproc_per_node=2 finetune.py --base_model=openai/whisper-tiny --output_dir=output/

使用accelerate启动多卡训练，如果是第一次使用accelerate，需要配置训练参数，方式如下。

首先配置训练参数，过程是让开发者回答几个问题，基本都可以使用默认设置，但有几个参数需要根据实际情况设置。

accelerate config

大致过程如下：

--------------------------------------------------------------------
在哪种计算环境中运行？
This machine
--------------------------------------------------------------------
使用哪种类型的机器？
multi-GPU
将使用多少台不同的机器（多节点训练使用大于1）？[1]:
是否希望使用torch dynamo优化脚本？[yes/NO]:
是否要使用DeepSpeed？[yes/NO]:
是否要使用FullyShardedDataParallel？[yes/NO]:
是否要使用Megatron-LM？[yes/NO]: 
分布式训练应使用多少个GPU？[1]:2
在此机器上应使用哪些GPU（按ID）进行训练？请用逗号分隔列表。[all]:
--------------------------------------------------------------------
是否希望使用FP16或BF16（混合精度）？
fp16
accelerate配置已保存到/home/test/.cache/huggingface/accelerate/default_config.yaml

配置完成后，可以使用以下命令查看配置。

accelerate env

开始训练的命令如下。

accelerate launch finetune.py --base_model=openai/whisper-tiny --output_dir=output/

输出日志如下：

{'loss': 0.9098, 'learning_rate': 0.000999046843662503, 'epoch': 0.01}                                                     
{'loss': 0.5898, 'learning_rate': 0.0009970611012927184, 'epoch': 0.01}                                                    
{'loss': 0.5583, 'learning_rate': 0.0009950753589229333, 'epoch': 0.02}                                                  
{'loss': 0.5469, 'learning_rate': 0.0009930896165531485, 'epoch': 0.02}                                          
{'loss': 0.5959, 'learning_rate': 0.0009911038741833634, 'epoch': 0.03}

合并模型

PEFT方式微调模型完成后会有两个模型，第一个是Whisper基础模型，第二个是Lora模型，需要将这两个模型合并后才能进行后续操作。这个程序只需要传递两个参数，--lora_model指定的是训练结束后保存的Lora模型路径，实际上就是检查点文件夹路径，第二个--output_dir是合并后模型的保存目录。

python merge_lora.py --lora_model=output/whisper-tiny/checkpoint-best/ --output_dir=models/

评估模型

执行以下程序进行模型评估，最重要的两个参数分别是：第一个--model_path指定的是合并后的模型路径，同时也支持直接使用Whisper原模型，例如直接指定openai/whisper-large-v2，第二个是--metric指定的评估方法，例如字错率cer和词错率wer。提示： 未经微调的模型可能输出带有标点符号，影响准确率。其他更多参数请查看该程序。

python evaluation.py --model_path=models/whisper-tiny-finetune --metric=cer

预测

执行以下程序进行语音识别，这里使用transformers直接调用微调后的模型或Whisper原模型进行预测，只适合推理短音频，长语音还是参考infer_ct2.py的使用方式。第一个--audio_path参数指定要预测的音频路径。第二个--model_path指定合并后的模型路径，同时也支持直接使用Whisper原模型，例如直接指定openai/whisper-large-v2。其他更多参数请查看该程序。

python infer_tfs.py --audio_path=dataset/test.wav --model_path=models/whisper-tiny-finetune

加速预测

众所周知，直接使用Whisper模型推理比较慢，所以这里提供了一种加速方式，主要是使用CTranslate2进行加速。首先需要转换模型，将合并后的模型转换为CTranslate2模型。如下命令，--model参数指定合并后的模型路径，同时也支持直接使用Whisper原模型，例如直接指定openai/whisper-large-v2。--output_dir参数指定转换后的CTranslate2模型路径，--quantization参数指定量化模型大小，如不希望量化模型可以直接去掉此参数。

ct2-transformers-converter --model models/whisper-tiny-finetune --output_dir models/whisper-tiny-finetune-ct2 --copy_files tokenizer.json --quantization float16

执行以下程序进行加速语音识别，--audio_path参数指定要预测的音频路径。--model_path指定转换后的CTranslate2模型。其他更多参数请查看该程序。

python infer_ct2.py --audio_path=dataset/test.wav --model_path=models/whisper-tiny-finetune-ct2

输出结果如下：

-----------  Configuration Arguments -----------
audio_path: dataset/test.wav
model_path: models/whisper-tiny-finetune-ct2
language: zh
use_gpu: True
use_int8: False
beam_size: 10
num_workers: 1
vad_filter: False
local_files_only: True
------------------------------------------------
[0.0 - 8.0]：近几年,不但我用书给女儿压岁,也托说亲朋不要给女儿压岁钱,而改送压岁书。

GUI界面预测

这里同样使用CTranslate2进行加速，转换模型方式见上文。--model_path指定转换后的CTranslate2模型。其他更多参数请查看该程序。

python infer_gui.py --model_path=models/whisper-tiny-finetune-ct2

启动后界面如下：

Web部署

Web部署同样使用CTranslate2进行加速，转换模型方式见上文。--host指定服务启动的地址，这里设置为0.0.0.0，即任何地址都可以访问。--port指定使用的端口号。--model_path指定转换后的CTranslate2模型。--num_workers指定使用多少个线程并发推理，这在Web部署上很重要，当有多个并发访问时可以同时推理。其他更多参数请查看该程序。

python infer_server.py --host=0.0.0.0 --port=5000 --model_path=models/whisper-tiny-finetune-ct2 --num_workers=2

接口文档

目前提供两个接口，普通识别接口/recognition和流式返回结果/recognition_stream，注意这个流式是指流式返回识别结果，同样是上传完整的音频，然后流式返回识别结果，这种方式对长语音识别体验非常好。它们的接口文档是完全一致的，接口参数如下。

字段	是否必须	类型	默认值	说明
audio	是	File		需识别的音频文件
to_simple	否	int	1	是否繁体转简体
remove_pun	否	int	0	是否移除标点符号
task	否	String	transcribe	识别任务类型，支持transcribe和translate
language	否	String	zh	设置语言，简写，如果为None则自动检测语言

返回结果：

字段	类型	说明
results	list	分割的识别结果
+result	str	每片分隔的文本结果
+start	int	每片分隔的开始时间，单位秒
+end	int	每片分隔的结束时间，单位秒
code	int	错误码，0即为成功识别

示例如下：

{
  "results": [
    {
      "result": "近几年,不但我用书给女儿压岁,也跟亲朋说不要给女儿压岁钱,而改送压岁书。",
      "start": 0,
      "end": 8
    }
  ],
  "code": 0
}

为了方便理解，这里提供了调用Web接口的Python代码，下面的是/recognition的调用方式。

import requests

response = requests.post(url="http://127.0.0.1:5000/recognition", 
                         files=[("audio", ("test.wav", open("dataset/test.wav", 'rb'), 'audio/wav'))],
                         json={"to_simple": 1, "remove_pun": 0, "language": "zh", "task": "transcribe"}, timeout=20)
print(response.text)

下面的是/recognition_stream的调用方式。

import json
import requests

response = requests.post(url="http://127.0.0.1:5000/recognition_stream",
                         files=[("audio", ("test.wav", open("dataset/test_long.wav", 'rb'), 'audio/wav'))],
                         json={"to_simple": 1, "remove_pun": 0, "language": "zh", "task": "transcribe"}, stream=True, timeout=20)
for chunk in response.iter_lines(decode_unicode=False, delimiter=b"\0"):
    if chunk:
        result = json.loads(chunk.decode())
        text = result["result"]
        start = result["start"]
        end = result["end"]
        print(f"[{start} - {end}]：{text}")