AnimeSR (NeurIPS 2022)

:open_book: AnimeSR：学习真实世界动画视频的超分辨率模型

<br> 吴彦泽、王鑫涛、李根、单瀛 <br> 腾讯 ARC 实验室；腾讯在线视频平台技术

:triangular_flag_on_post: 更新

2022.11.28：发布代码和模型。
2022.08.29：发布 AVC-Train 和 AVC-Test。

Web 演示和 API

视频演示

https://user-images.githubusercontent.com/11482921/204205018-d69e2e51-fbdc-4766-8293-a40ffce3ed25.mp4

https://user-images.githubusercontent.com/11482921/204205109-35866094-fa7f-413b-8b43-bb479b42dfb6.mp4

:wrench: 依赖和安装

Python >= 3.7（推荐使用 Anaconda 或 Miniconda）
PyTorch >= 1.7
其他所需包在 requirements.txt 中

安装

克隆仓库

git clone https://github.com/TencentARC/AnimeSR.git
cd AnimeSR

安装

# 安装依赖包
pip install -r requirements.txt

# 安装 AnimeSR
python setup.py develop

:zap: 快速推理

下载预训练的 AnimeSR 模型 [Google Drive]，并将它们放入 weights 文件夹。目前可用的预训练模型有：

AnimeSR_v1-PaperModel.pth：v1 模型，也是论文中的模型。你可以使用此模型复现论文结果。
AnimeSR_v2.pth：v2 模型。与 v1 相比，此版本具有更好的自然度、更少的伪影以及更好的纹理/背景恢复效果。如果你想要更好的结果，请使用此模型。

AnimeSR 支持帧和视频作为输入进行推理。我们在 Google Drive 中提供了几个样例测试用例，你可以下载并将它们放入 inputs 文件夹。

对帧进行推理

python scripts/inference_animesr_frames.py -i inputs/tom_and_jerry -n AnimeSR_v2 --expname animesr_v2 --save_video_too --fps 20

用法：
  -i --input           输入帧文件夹/根目录。支持第一级目录（即 input/*.png）和第二级目录（即 input/*/*.png）
  -n --model_name      AnimeSR 模型名称。默认：AnimeSR_v2，也可以是 AnimeSR_v1-PaperModel
  -s --outscale        网络尺度是 x4，但你可以通过 outscale 参数实现任意输出尺度（例如 x2 或 x1）。
                       程序将在 AnimeSR 输出后进行廉价的调整大小操作。默认：4
  -o --output          输出根目录。默认：results
  -expname             标识你当前推理的名称。输出将保存在 $output/$expname
  -save_video_too      将输出帧保存为视频。默认：关闭
  -fps                 （可能）保存的视频的帧率。默认：24

运行上述命令后，你将在 results/animesr_v2/frames 中获得超分辨率帧，在 results/animesr_v2/videos 中获得超分辨率视频。

对视频进行推理

# 单 GPU 和单进程推理
CUDA_VISIBLE_DEVICES=0 python scripts/inference_animesr_video.py -i inputs/TheMonkeyKing1965.mp4 -n AnimeSR_v2 -s 4 --expname animesr_v2 --num_process_per_gpu 1 --suffix 1gpu1process
# 单 GPU 和多进程推理（你可以使用多进程来提高 GPU 利用率）
CUDA_VISIBLE_DEVICES=0 python scripts/inference_animesr_video.py -i inputs/TheMonkeyKing1965.mp4 -n AnimeSR_v2 -s 4 --expname animesr_v2 --num_process_per_gpu 3 --suffix 1gpu3process
# 多 GPU 和多进程推理
CUDA_VISIBLE_DEVICES=0,1 python scripts/inference_animesr_video.py -i inputs/TheMonkeyKing1965.mp4 -n AnimeSR_v2 -s 4 --expname animesr_v2 --num_process_per_gpu 3 --suffix 2gpu6process

用法：
  -i --input           输入视频路径或提取的帧文件夹
  -n --model_name      AnimeSR 模型名称。默认：AnimeSR_v2，也可以是 AnimeSR_v1-PaperModel
  -s --outscale        网络尺度是 x4，但你可以通过 outscale 参数实现任意输出尺度（例如 x2 或 x1）。
                       程序将在 AnimeSR 输出后进行廉价的调整大小操作。默认：4
  -o -output           输出根目录。默认：results
  -expname             标识你当前推理的名称。输出将保存在 $output/$expname
  -fps                 （可能）保存的视频的帧率。默认：None
  -extract_frame_first 如果输入是视频，你仍然可以先提取帧，否则 AnimeSR 将从流中读取
  -num_process_per_gpu 由于缓慢的 I/O 速度会导致 GPU 利用率不够高，所以只要视频内存足够，
                       我们建议在一个 GPU 上放置多个进程以提高每个 GPU 的利用率。
                       总进程数将是 number_process_per_gpu * num_gpu
  -suffix              你可以为超分辨率视频名称添加后缀字符串，例如 1gpu3processx2 表示该超分辨率视频是使用一个 GPU 和三个进程生成的，输出尺度为 x2
  -half                使用半精度进行推理，这不会对视觉结果产生大的影响

超分辨率视频保存在 results/animesr_v2/videos/$video_name 文件夹中。

如果你正在寻找便携式可执行文件，可以尝试我们的 realesr-animevideov3 模型，它与 AnimeSR 共享类似的技术。

:computer: 训练

参见 Training.md

申请 AVC-Dataset

下载并仔细阅读许可协议 PDF 文件。
如果你理解、承认并同意许可协议中指定的所有条款。请发送邮件至 wuyanze123@gmail.com，附上许可协议 PDF 文件、你的姓名和机构。我们将保留许可并向你发送 AVC 数据集的下载链接。

致谢

本项目基于 BasicSR 构建。

引用

如果你发现这个项目对你的研究有用，请考虑引用我们的论文：

@InProceedings{wu2022animesr,
  author={Wu, Yanze and Wang, Xintao and Li, Gen and Shan, Ying},
  title={AnimeSR: Learning Real-World Super-Resolution Models for Animation Videos},
  booktitle={Advances in Neural Information Processing Systems},
  year={2022}
}