FFsubsync

与语言无关的字幕与视频自动同步，使字幕与视频中的正确起始点对齐。

从这样：	变成这样：

支持开发

请考虑支持乌克兰，而不是直接捐赠给这个项目。话虽如此，应一些人的要求，你现在可以使用页面顶部的 Github Sponsors 按钮或下面的 Paypal 捐赠按钮来帮助支付我的咖啡费用：

安装

首先，确保已安装 ffmpeg。在 MacOS 上，可以这样安装：

brew install ffmpeg

（Windows 用户：确保 ffmpeg 在你的路径中，并且可以从命令行引用！）

接下来，获取软件包（兼容 Python >= 3.6）：

pip install ffsubsync

如果你想冒险尝试，可以按以下方式获取最新版本：

pip install git+https://github.com/smacke/ffsubsync@latest

使用方法

ffs、subsync 和 ffsubsync 都可以作为入口点：

ffs video.mp4 -i unsynchronized.srt -o synchronized.srt

有时你可能有一个正确同步的 srt 文件，但是使用的是你不熟悉的语言，同时还有一个未同步的你母语的 srt 文件。在这种情况下，你可以直接使用正确同步的 srt 文件作为同步参考，而不是使用视频作为参考：

ffsubsync reference.srt -i unsynchronized.srt -o synchronized.srt

`ffsubsync` 使用文件扩展名来决定是对音频进行语音活动检测还是直接从 srt 文件中提取语音。同步问题

如果同步失败，可以尝试以下方法：

通过传递 --no-fix-framerate 参数，尝试假设视频和字幕帧率相同进行同步；
尝试传递 --gss 参数，使用黄金分割搜索来找到视频和字幕帧率之间的最佳比例（默认情况下，只评估几个常见比例）；
如果字幕与视频的不同步超过60秒（实际上不太可能，但也有可能），可以尝试将 --max-offset-seconds 的值设置为大于默认的60；
尝试使用 --vad=auditok，因为在音频质量较低的情况下，auditok有时比WebRTC的VAD效果更好。Auditok不专门检测语音，而是检测所有音频；这个特性在某些情况下可能导致同步效果不佳，但在某些情况下可能会有效。

如果同步仍然失败，可以考虑尝试以下类似工具之一：

sc0ty/subsync：进行语音转文字并寻找匹配的词素
kaegi/alass：基于Rust的字幕同步器，使用复杂的动态规划算法
tympanix/subsync：基于神经网络的方法，在进行语音检测时直接优化对齐
oseiskar/autosubsync：使用自定义频谱图和逻辑回归进行语音检测
pums974/srtsync：采用与ffsubsync类似的方法（WebRTC的VAD + FFT最大化信号互相关）

速度

ffsubsync 通常在20到30秒内完成，具体取决于视频的长度。最耗时的步骤实际上是提取原始音频。如果你已经有一个正确同步的"参考"srt文件（这种情况下可以跳过音频提取），ffsubsync 通常在不到一秒内运行完成。

工作原理

同步算法分为3个步骤：

将视频文件的音频流和字幕离散化为10毫秒的窗口。
对于每个10毫秒的窗口，确定该窗口是否包含语音。对于字幕来说，这很容易做到（我们只需确定每个时间窗口内是否有字幕"开启"）；对于音频流，使用现成的语音活动检测器（VAD），如webrtc内置的检测器。
现在我们有了两个二进制字符串：一个用于字幕，一个用于视频。尝试通过匹配0和0、1和1来对齐这些字符串。我们对这些对齐进行评分，计算方法为（与字幕1匹配的视频1的数量）-（与字幕0匹配的视频1的数量）。

第3步中得分最高的对齐方式决定了如何在时间上偏移字幕，使其与视频正确同步。由于二进制字符串相当长（对于超过一小时的视频，可能有数百万位），使用朴素的O(n^2)策略来评分所有对齐是不可接受的。相反，我们利用"评分所有对齐"是一个卷积操作的事实，可以用快速傅里叶变换（FFT）实现，将复杂度降低到O(n log n)。

局限性

在大多数情况下，视频和字幕之间的不一致发生在视频中存在但字幕中不存在的起始或结束片段，反之亦然。例如，当字幕中的电视剧回顾部分在视频中被剪掉时，就可能发生这种情况。FFsubsync在这些情况下通常表现良好，根据我的经验，这涵盖了95%以上的使用场景。处理开头和结尾片段以外的中断和分割留待未来工作（见下文）。