whispercpp

whisper.cpp的Pybind11绑定

快速开始

通过pip安装：

pip install whispercpp

注意：对于没有预构建轮子的平台，我们将设置一个封闭的工具链（这意味着你不需要设置任何东西来安装Python包），这将需要更长的安装时间。向pip传递-vv参数以查看进度。

要使用最新版本，请从源代码安装：

pip install git+https://github.com/aarnphm/whispercpp.git -vv

对于本地设置，初始化所有子模块：

git submodule update --init --recursive

构建轮子：

# 选项1：使用pypa/build
python3 -m build -w

# 选项2：使用bazel
./tools/bazel build //:whispercpp_wheel

安装轮子：

# 选项1：通过pypa/build
pip install dist/*.whl

# 选项2：使用bazel
pip install $(./tools/bazel info bazel-bin)/*.whl

该绑定提供了一个Whisper类：

from whispercpp import Whisper

w = Whisper.from_pretrained("tiny.en")

目前，推理API通过transcribe提供：

w.transcribe(np.ones((1, 16000)))

你可以使用任何你喜欢的音频库（ffmpeg或librosa，或whispercpp.api.load_wav_file）将音频文件加载到Numpy数组中，然后将其传递给transcribe：

import ffmpeg
import numpy as np

try:
    y, _ = (
        ffmpeg.input("/path/to/audio.wav", threads=0)
        .output("-", format="s16le", acodec="pcm_s16le", ac=1, ar=sample_rate)
        .run(
            cmd=["ffmpeg", "-nostdin"], capture_stdout=True, capture_stderr=True
        )
    )
except ffmpeg.Error as e:
    raise RuntimeError(f"Failed to load audio: {e.stderr.decode()}") from e

arr = np.frombuffer(y, np.int16).flatten().astype(np.float32) / 32768.0

w.transcribe(arr)

你也可以使用模型的transcribe_from_file方法以方便使用：

w.transcribe_from_file("/path/to/audio.wav")

Pybind11绑定支持whisper.cpp的所有功能，灵感来自whisper-rs

该绑定也可以通过api使用：

from whispercpp import api

# 直接从whisper.cpp绑定

开发

请参阅DEVELOPMENT.md

API

`Whisper`

Whisper.from_pretrained(model_name: str) -> Whisper

从本地缓存加载预训练模型，如果需要则下载并缓存。支持从作为model_name传递的本地路径加载自定义ggml模型。
```
w = Whisper.from_pretrained("tiny.en")
w = Whisper.from_pretrained("/path/to/model.bin")
```
模型将保存在$XDG_DATA_HOME/whispercpp或~/.local/share/whispercpp（如果未设置环境变量）。
Whisper.transcribe(arr: NDArray[np.float32], num_proc: int = 1)

对给定的Numpy数组进行转录。这调用了whisper.cpp中的full。如果num_proc大于1，则会使用full_parallel。
```
w.transcribe(np.ones((1, 16000)))
```
要从WAV文件转录，请使用transcribe_from_file：
```
w.transcribe_from_file("/path/to/audio.wav")
```
Whisper.stream_transcribe(*, length_ms: int=..., device_id: int=..., num_proc: int=...) -> Iterator[str]

[实验性功能] 流式转录。这调用了whisper.cpp中的stream_。转录结果将在可用时立即产生。有关示例，请参见stream.py。

注意：device_id是音频设备的索引。你可以使用whispercpp.api.available_audio_devices获取可用音频设备列表。

`api`

api是whisper.cpp的直接绑定，具有与whisper-rs类似的API。

api.Context

这个类是whisper_context的包装器
```
from whispercpp import api

ctx = api.Context.from_file("/path/to/saved_weight.bin")
```
注意：也可以通过Whisper类的w.context访问上下文
api.Params

这个类是whisper_params的包装器
```
from whispercpp import api

params = api.Params()
```
注意：也可以通过Whisper类的w.params访问参数

为什么不选择其他方案？

whispercpp.py。这里有几个关键区别：
- 他们提供Cython绑定。从用户体验的角度来看，这与whispercpp达到了相同的目标。区别在于whispercpp使用Pybind11而不是Cython。如果你更喜欢Cython而不是Pybind11，可以随意使用它。请注意，whispercpp.py和whispercpp是互斥的，因为它们也使用whispercpp命名空间。
- whispercpp提供了类似于whisper-rs的API，这提供了更好的用户体验。实际上只有两个API（from_pretrained和transcribe）可以在Python中快速使用whisper.cpp。
- whispercpp不会污染你的$HOME目录，而是遵循XDG基本目录规范来保存权重。
使用cdll和ctypes并完成它？
- 这也是有效的，但需要大量的修改，而且与Cython和Pybind11相比，它相当慢。