AI-Waifu-Vtuber

项目背景

AI Waifu Vtuber 是一个虚拟偶像项目，受到开发者 shioridotdev 的启发。项目利用了多种技术，包括 VoiceVox Engine、DeepL、Whisper OpenAI、Seliro TTS 和 VtubeStudio，致力于打造一个人工智能驱动的虚拟YouTuber。该项目也作为一个智能助手提供支持。

更新日志

• 版本 3.5：新增对 Twitch 直播的支持。
• 版本 3.0：不仅支持使用 VoiceVox 的日语文本转语音（TTS），还增加了对多种语言的支持，包括俄语、英语、德语、西班牙语、法语、鞑靼语、乌克兰语、乌兹别克语、卡尔梅克语和印地语，使用 Seliro TTS。

项目展示

AI Waifu Vtuber 项目的实际运行情况可以通过以下链接查看：

• 项目演示
• 直播测试
• 代码解释
• 项目剪辑

使用技术

项目使用了多种技术平台和工具：

• VoiceVox Docker：用于日语文本转语音
• DeepL 和 Deeplx：用于文本翻译
• Whisper OpenAI：用于语音识别和翻译
• Seliro TTS：支持多语言文本转语音
• VB-Cable：虚拟音频线路
• VtubeStudio：用于虚拟形象展示

安装指南

1. 安装项目依赖：通过命令 pip install -r requirements.txt。
2. 配置 OpenAI API 密钥：创建 config.py 文件，添加 api_key = '你的API密钥'。
3. 修改拥有者名称：在代码中设置 owner_name = "Ardha"。
4. 配置黑名单（用于直播）：在 run.py 文件中创建一个黑名单列表，比如 blacklist = ["Nightbot", "streamelements"]。
5. 定制助手身份：更改 characterConfig\Pina\identity.txt 中的文本。
6. 直播配置（适用于 Twitch）：修改 utils/twitch_config.py 文件。包括您的 Twitch 用户名和频道信息。
7. 选择 TTS 引擎：在代码中选择使用 VoiceVox 或 Silero，将日语输入用于 VoiceVox，其他语言则使用 Silero。
8. 设置翻译器（可选）：选择使用 Google Translate 或 Deeplx 进行内容翻译。
9. 设置虚拟音频线路：使用 Virtual Cable 来捕获程序的音频输出。

常见问题解答

音频转录错误

如遇音频转录错误，可以尝试使用以下代码片段来获取更详细的错误信息，从而改进转录过程。

Mecab 安装问题

如果在安装 Mecab 时遇到问题，可以选择不使用 katakana_converter 函数，因为此函数是可选的。

致谢

感谢所有为这个项目的技术开发做出贡献的团队，包括 VoiceVox Engine、DeepL、Whisper OpenAI 和 VtubeStudio。