WhisperPlus: 更快、更智能、更强大的语音识别工具

WhisperPlus:语音识别的新一代利器

在人工智能和语音识别技术飞速发展的今天,一个名为WhisperPlus的开源项目正在引起广泛关注。这个基于OpenAI Whisper模型的语音识别工具,不仅继承了Whisper的强大功能,还在速度、智能化和功能多样性方面实现了重大突破。本文将深入探讨WhisperPlus的主要特性、使用方法,以及它在长音频转录领域的卓越表现。

WhisperPlus的主要特性

WhisperPlus在GitHub上的简介是"更快、更智能、更强大"。那么它究竟快在哪里,智能在何处,又强大在什么方面呢?让我们一一探讨:

更快的处理速度:WhisperPlus采用了多项优化技术,如量化配置、闪存注意力机制等,大大提升了音频处理的速度。
更智能的功能:除了基本的语音转文字功能,WhisperPlus还支持说话人分离、长文本摘要等高级功能。
更强大的能力:WhisperPlus支持多种语言的转录,并且可以处理长音频文件,这使得它在实际应用中更加实用。

WhisperPlus Logo

如何使用WhisperPlus

WhisperPlus的安装和使用非常简单。以下是基本的安装步骤:

pip install whisperplus git+https://github.com/huggingface/transformers
pip install flash-attn --no-build-isolation

安装完成后,你就可以开始使用WhisperPlus的各种功能了。例如,从YouTube视频中提取音频并进行转录:

from whisperplus import SpeechToTextPipeline, download_youtube_to_mp3
from transformers import BitsAndBytesConfig, HqqConfig
import torch

url = "https://www.youtube.com/watch?v=di3rHkEZuUw"
audio_path = download_youtube_to_mp3(url, output_dir="downloads", filename="test")

pipeline = SpeechToTextPipeline(
    model_id="distil-whisper/distil-large-v3",
    quant_config=HqqConfig(nbits=4, group_size=64),
    flash_attention_2=True,
)

transcript = pipeline(
    audio_path=audio_path,
    chunk_length_s=30,
    stride_length_s=5,
    max_new_tokens=128,
    batch_size=100,
    language="english",
    return_timestamps=False,
)

print(transcript)