YouDub-webui：高质量视频中文化工具

简介

YouDub-webui是YouDub项目的网页交互版本，基于Gradio构建，为用户提供简易操作界面来访问和使用YouDub的强大功能。YouDub是一个创新的开源工具，旨在将YouTube和其他平台上的优质视频翻译并配音成中文版本。该工具融合了最新的AI技术，包括语音识别、大型语言模型翻译和AI声音克隆技术，提供与原视频相似的中文配音，为中文用户带来卓越的观看体验。

YouDub-webui适用于多种场景，包括教育、娱乐和专业翻译，特别适合那些希望将国外优秀视频内容本地化的用户。此工具的简洁界面使得即使是非技术用户也能轻松上手，快速实现视频的中文化处理。

欲了解更多关于YouDub-webui的信息和示例，请访问我们的bilibili视频主页。为了更好地服务社区，我们还创建了微信群组，欢迎通过扫描下方的二维码加入我们，共同探讨并为YouDub-webui的发展做出贡献。

主要特点

YouDub-webui集成了多项先进技术，提供了一套完整的视频中文化工具包，其主要特点包括：

Video Download: 支持通过链接直接下载YouTube视频。无论是单个视频、播放列表还是频道内的多个视频，都能轻松下载。
AI语音识别：利用先进的AI技术，将视频中的语音高效转换为文字。不仅提供精确的语音到文本转换，还能自动对齐时间并识别不同说话者，极大地增强了信息的丰富性和准确性。
大型语言模型翻译：结合GPT等大型语言模型，实现快速且精准的中文翻译。无论是俚语还是专业术语，均能得到恰当的翻译，确保内容的准确性与地道性。
AI声音克隆：通过AI声音克隆技术，生成与原视频配音相似的中文语音。这不仅提升了视频的观看体验，也保留了原视频的情感和语调特色。
视频处理：综合了音视频同步处理、字幕添加、视频播放速度调整和帧率设置等多项功能。用户可以根据需要生成高质量的最终视频，实现无缝的观看体验。
自动上传：支持将最终视频自动上传到Bilibili平台。用户可以在不离开YouDub-webui的情况下，将视频上传到Bilibili平台，实现一键式的视频中文化处理。

YouDub-webui的这些特点使其成为一个强大且易于使用的视频中文化工具，无论是个人用户还是专业团队，都能从中受益。

安装与使用指南

要使用YouDub-webui，请按照以下步骤安装和配置您的环境：

1. 克隆仓库

首先，将YouDub-webui仓库克隆到您的本地系统：

git clone https://github.com/liuzhao1225/YouDub-webui.git

2. 安装依赖

您可以选择自动安装或手动安装依赖：

自动安装

进入YouDub-webui目录，运行setup_windows脚本。
脚本会在当前目录创建一个venv虚拟环境，并自动安装所需依赖，包括CUDA 12.1版本的PyTorch。

手动安装

进入YouDub-webui目录，使用以下命令安装依赖：
```
cd YouDub-webui
pip install -r requirements.txt
```
由于TTS依赖的特殊性，所以将TTS移出了requirements.txt，需要手动安装：
```
pip install TTS
```
默认安装为CPU版本的PyTorch。如果您需要手动安装特定CUDA版本的PyTorch，可根据您的CUDA版本从PyTorch官方网站获取安装命令。

3. 环境设置

在运行前，请配置环境变量：

环境变量配置：将.env.example改名为.env并填入以下环境变量：
- OPENAI_API_KEY：OpenAI API密钥，格式通常为sk-xxx。
- MODEL_NAME：模型名称，如'gpt-4'或'gpt-3.5-turbo'。
- OPENAI_API_BASE：OpenAI API基础URL，如果使用自己部署的模型，请填入。
- HF_TOKEN：Hugging Face token，用于speaker diarization功能。
- HF_ENDPOINT：如果从huggingface下载模型时出错，可以添加此环境变量。
- APPID和ACCESS_TOKEN：火山引擎TTS所需的凭据。
- BILI_BASE64：Bilibili API所需的凭据。获取方法请参考bilibili-toolman准备凭据。

4. 运行程序

选择以下任一方式运行程序：

自动运行

在YouDub-webui目录下运行run_windows.bat。

手动运行

使用以下命令启动主程序：
```
python app.py
```

使用步骤

1. 全自动（Do Everything）

此界面是一个一站式的解决方案，它将执行从视频下载到视频合成的所有步骤。

根文件夹：设置视频文件的根目录。
视频URL：输入视频、播放列表或频道的URL。
下载视频数量：设置要下载的视频数量。
分辨率：选择下载视频的分辨率。
Demucs模型：选择用于音频分离的Demucs模型。
Demucs设备：选择音频分离的处理设备。
移位次数：设置音频分离时的移位次数。
Whisper模型：选择用于语音识别的Whisper模型。
Whisper下载根目录：设置Whisper模型的下载根目录。
Whisper批处理大小：设置Whisper处理的批量大小。
Whisper说话者分离：选择是否进行说话者分离。
翻译目标语言：选择字幕的目标翻译语言。
强制使用字节跳动：选择是否强制使用字节跳动语音合成。
字幕：选择是否在视频中包含字幕。
加速：设置视频播放速度。
帧率：设置视频的帧率。
最大工作线程：设置处理任务的最大工作线程数。
最大重试次数：设置任务失败后的最大重试次数。
自动上传视频：选择是否自动上传视频到哔哩哔哩。

2. 下载视频

此界面用于单独下载视频。

视频URL：输入视频、播放列表或频道的URL。
输出文件夹：设置视频下载后的输出文件夹。
分辨率：选择下载视频的分辨率。
下载视频数量：设置要下载的视频数量。

3. 人声分离

此界面用于从视频中分离人声。

文件夹：设置包含视频的文件夹。
模型：选择用于音频分离的Demucs模型。
设备：选择音频分离的处理设备。
在控制台显示进度条：选择是否在控制台显示进度条。
移位次数：设置音频分离时的移位次数。

4. 语音识别

此界面用于从视频音频中进行语音识别。

文件夹：设置包含视频的文件夹。
模型：选择用于语音识别的Whisper模型。
下载根目录：设置Whisper模型的下载根目录。
设备：选择语音识别的处理设备。
批处理大小：设置Whisper处理的批量大小。
说话者分离：选择是否进行说话者分离。

5. 字幕翻译

此界面用于将识别出的语音转换为字幕并翻译。

文件夹：设置包含视频的文件夹。
目标语言：选择字幕的目标翻译语言。

6. 语音合成

此界面用于将翻译后的文字转换为语音。

文件夹：设置包含视频的文件夹。
强制使用字节跳动：选择是否强制使用字节跳动语音合成。

7. 视频合成

此界面用于将视频、字幕和语音合成为最终视频。

文件夹：设置包含视频的文件夹。
字幕：选择是否在视频中包含字幕。
加速：设置视频播放速度。
帧率：设置视频的帧率。
分辨率：选择视频的分辨率。

技术细节

AI 语音识别

我们的 AI 语音识别功能现在基于 WhisperX 实现。WhisperX 是一个高效的语音识别系统，建立在 OpenAI 开发的 Whisper 系统之上。它不仅能够精确地将语音转换为文本，还能自动对齐时间，并识别每句话的说话人物。这种先进的处理方式不仅提高了处理速度和准确度，还为用户提供了更丰富的信息，例如说话者的识别。