whisper.unity

项目介绍：whisper.unity

whisper.unity 项目是一个 Unity3D 的绑定库，它为 whisper.cpp 提供了高性能的推断能力，使 OpenAI 的 Whisper 自动语音识别模型可以在本地计算机上运行。

项目特点

• 多语言支持：whisper 模型支持约60种语言的语音识别。
• 语言翻译：可以实现将一种语言的语音转换为另一种语言的文本，例如将德语语音翻译成英语文本。
• 多种模型尺寸：提供不同的模型尺寸以平衡速度和准确性。
• 本地化运行：能够在用户的本地设备上运行，无需互联网连接。
• 免费开源：该项目是免费和开源的，允许用于商业项目。

支持的平台

• Windows（x86_64，支持 CUDA）
• MacOS（Intel 和 ARM，支持 Metal）
• Linux（x86_64，支持 CUDA）
• iOS（设备和模拟器）
• Android（ARM64）
• VisionOS

虽然目前不支持 WebGL，但针对该问题的讨论正在进行中。

使用示例

在展示视频中，“whisper-small.bin” 模型测试了麦克风输入的英语、德语和俄语，“whisper-tiny.bin” 模型在 M1 Pro 的 Macbook 上以比实时快 50 倍的速度运行。

快速上手

用户可以通过克隆该仓库，并作为普通的 Unity 项目打开来开始使用。项目自带示例和多语言的小型模型权重。

此外，用户还能将该仓库作为 Unity Package 添加到项目中。可以通过 Unity Package Manager 使用如下的 Git URL 添加：

https://github.com/Macoron/whisper.unity.git?path=/Packages/com.whisper.unity

高级功能支持

• CUDA 支持：若 Unity 项目编译时启用了 CUDA 功能，需在目标设备上安装 Nvidia GPU 和 CUDA 库。
• Metal 支持：适用于 Apple M1 芯片及更高版本，其他更旧的硬件将自动切换到 CPU 推断。

更多模型权重下载

用户可以根据需求选择不同的 Whisper 模型权重，例如使用仅限英语的权重或者更大的模型来改进英语语言的转录。可从指定来源下载模型权重并将其放入项目的 StreamingAssets 文件夹中。

从源代码编译 C++ 库

whisper.unity 项目自带所有受支持平台的预构建库，但用户可以通过 Github Actions 从源代码重新构建它们。构建完成后，编译好的库将自动更新到项目的 Plugins 文件夹中。

许可证

该项目基于 MIT 许可证，使用了 whisper.cpp 和 OpenAI Whisper 的编译库和模型权重，这些内容同样属于 MIT 许可证范围。