Whisper-Diarization: 基于OpenAI Whisper的自动语音识别与说话人分类技术

whisper-diarization

Whisper-Diarization:语音识别与说话人分类的完美结合

在当今数字时代,语音识别技术已经成为人机交互的重要组成部分。然而,仅仅能够将语音转化为文字往往不足以满足复杂场景的需求,尤其是在涉及多人对话的情况下。这就是Whisper-Diarization项目应运而生的背景。该项目巧妙地结合了OpenAI的Whisper语音识别模型和说话人分类(Speaker Diarization)技术,为用户提供了一个强大而全面的语音分析解决方案。

项目概述

Whisper-Diarization是一个开源项目,旨在将OpenAI的Whisper自动语音识别(ASR)能力与语音活动检测(VAD)和说话人嵌入(Speaker Embedding)技术相结合。这个独特的组合使得系统不仅能够准确地转录语音内容,还能识别出每个句子的说话人。

Whisper Diarization Pipeline

该项目的核心优势在于其全面的处理流程:

首先,从音频中提取人声,以提高说话人嵌入的准确性。
使用Whisper生成初步转录。
通过WhisperX校正和对齐时间戳,最小化因时间偏移导致的分类错误。
利用MarbleNet进行VAD和分段,排除静默部分。
使用TitaNet提取说话人嵌入,识别每个片段的说话人。
将结果与WhisperX生成的时间戳关联,基于时间戳为每个单词检测说话人。
最后,使用标点模型重新对齐,补偿微小的时间偏移。

这一系列精心设计的步骤确保了Whisper-Diarization能够提供高质量的转录结果,同时准确区分不同说话人的贡献。

安装与使用

要开始使用Whisper-Diarization,首先需要安装一些先决条件。项目依赖于FFMPEG和Cython,可以通过以下命令安装:

pip install cython

或者在Ubuntu/Debian系统上:

sudo apt update && sudo apt install cython3

接下来,根据您的操作系统,安装FFMPEG:

# Ubuntu或Debian
sudo apt update && sudo apt install ffmpeg

# Arch Linux
sudo pacman -S ffmpeg

# macOS (使用Homebrew)
brew install ffmpeg

# Windows (使用Chocolatey)
choco install ffmpeg

# Windows (使用Scoop)
scoop install ffmpeg

# Windows (使用WinGet)
winget install ffmpeg

安装完先决条件后,克隆项目仓库并安装所需的Python包:

git clone https://github.com/MahmoudAshraf97/whisper-diarization.git
cd whisper-diarization
pip install -r requirements.txt

现在,您就可以使用以下命令来处理音频文件了:

python diarize.py -a AUDIO_FILE_NAME

核心功能与选项

Whisper-Diarization提供了多个命令行选项,允许用户根据具体需求调整处理过程:

-a AUDIO_FILE_NAME: 指定要处理的音频文件名。
--no-stem: 禁用音源分离。
--whisper-model: 选择用于ASR的模型,默认为medium.en。
--suppress_numerals: 将数字转录为其发音的字母形式,提高对齐准确性。
--device: 选择使用的设备,如果可用默认为"cuda"。
--language: 手动选择语言,当语言检测失败时很有用。
--batch-size: 设置批处理推理的批大小,如果内存不足可以减小,设为0则不使用批处理。

对于具有足够VRAM(>=10GB)的系统,还可以使用diarize_parallel.py脚本,它能够并行运行NeMo和Whisper,在某些情况下可以提高处理效率。

技术亮点

多模型协同: 项目巧妙地整合了多个先进模型,包括Whisper、WhisperX、MarbleNet和TitaNet,每个模型都在处理流程中发挥其独特优势。
时间戳优化: 通过WhisperX校正和对齐时间戳,大大提高了说话人分类的准确性。
灵活性: 用户可以根据自己的需求选择不同的Whisper模型,从而在性能和资源消耗之间取得平衡。
批处理支持: 对于大规模音频处理任务,批处理功能可以显著提高效率。
多语言支持: 得益于Whisper的多语言能力,该项目可以处理多种语言的音频输入。