Practical-RIFE

免费在 Google Colab 上使用此项目！查看 Practical-RIFE Colab 笔记本。

2024.01 - 我们最近发布了新的 v4.7-4.14 模型。在我们的测试中，4.14 在动画场景方面取得了很大的进步。🎉

本项目基于 RIFE 和 SAFA。我们的目标是通过添加各种功能和设计新模型，使它们对用户更加实用。由于提高 PSNR 指标与主观效果不兼容，我们希望这部分工作与我们的学术研究相互独立。为了减少开发压力，本项目面向工程师和开发人员。对于普通用户，我们推荐以下软件：

SVFI (中文) | RIFE-App | FlowFrames | 丢帧修复和 FPS 转换器

感谢 SVFI 团队支持动画模型测试。

帧插值

模型列表

这些链接的内容与本项目使用相同的 MIT 许可证。lite 表示使用类似的训练框架，但计算成本较低的模型。

4.22 - 41M - 2024.08.08 | Google Drive 百度网盘 || 4.21 - 41M - 2024.08.04 | Google Drive 百度网盘

4.20 - 57M - 2024.07.24 | Google Drive 百度网盘 || 4.18 - 20M - 2024.07.03 | Google Drive 百度网盘

4.17 - 2024.05.24 | Google Drive 百度网盘 : 添加了来自 FILM 的 gram 损失 || 4.17.lite

4.15 - 2024.03.11 | Google Drive 百度网盘 || 4.15.lite || 4.14 - 2024.01.08 | Google Drive 百度网盘 || 4.14.lite

v4.9.2 - 2023.11.01 | Google Drive 百度网盘 || v4.3 - 2022.8.17 | Google Drive 百度网盘

v3.8 - 2021.6.17 | Google Drive 百度网盘 || v3.1 - 2021.5.17 | Google Drive 百度网盘

更多旧版本

安装

git clone git@github.com:hzwer/Practical-RIFE.git
cd Practical-RIFE
pip3 install -r requirements.txt

从模型列表下载一个模型，并将 *.py 和 flownet.pkl 放在 train_log/ 目录下。

运行

您可以使用我们的演示视频或您自己的视频。

python3 inference_video.py --multi=2 --video=video.mp4

（生成 video_2X_xxfps.mp4）

python3 inference_video.py --multi=4 --video=video.mp4

（用于 4 倍插值）

python3 inference_video.py --multi=2 --video=video.mp4 --scale=0.5

（如果您的视频分辨率较高，如 4K，我们建议设置 --scale=0.5（默认为 1.0））

python3 inference_video.py --multi=4 --img=input/

（从 PNG 文件读取视频，如 input/0.png ... input/612.png，确保 PNG 文件名为数字）

参数说明：

--img / --video：输入文件地址

--output：输出视频名称 'xxx.mp4'

--model：训练模型文件所在的目录 --UHD: 相当于设置 scale=0.5

--montage: 将生成的视频与原始视频拼接,如此演示所示

--fps: 手动设置输出帧率

--ext: 设置输出视频格式,默认为mp4

--multi: 插值帧率倍增器

--exp: 将 --multi 设置为 2^(--exp)

--skip: 已不再有用,请参考问题207

模型训练

整个仓库可从v4.0、v4.12、v4.15、v4.18下载。然而,我们目前没有时间很好地整理它们,它们仅供参考。

视频增强

我们正在开发SAFA的实用模型。欢迎查看其演示(BiliBili)并提供建议。

v0.5 - 2023.12.26 | Google Drive

python3 inference_video_enhance.py --video=demo.mp4

引用

@inproceedings{huang2022rife,
  title={Real-Time Intermediate Flow Estimation for Video Frame Interpolation},
  author={Huang, Zhewei and Zhang, Tianyuan and Heng, Wen and Shi, Boxin and Zhou, Shuchang},
  booktitle={Proceedings of the European Conference on Computer Vision (ECCV)},
  year={2022}
}

@inproceedings{huang2024safa,
  title={Scale-Adaptive Feature Aggregation for Efficient Space-Time Video Super-Resolution},
  author={Huang, Zhewei and Huang, Ailin and Hu, Xiaotao and Hu, Chen and Xu, Jun and Zhou, Shuchang},
  booktitle={Winter Conference on Applications of Computer Vision (WACV)},
  year={2024}
}