Scenimefy

<div align="center"> <h1>Scenimefy: 通过半监督图像到图像转换学习制作动漫场景</h1> <div> <a href="https://yuxinn-j.github.io/" target="_blank">姜宇欣</a>^*， <a href="https://liming-jiang.com/" target="_blank">江黎明</a>^*， <a href="https://williamyang1991.github.io/" target="_blank">杨帅</a>， <a href="https://www.mmlab-ntu.com/person/ccloy/" target="_blank">陈长蕾</a> </div> <div> 南洋理工大学MMLab与S-Lab联合实验室 </div> <div> 发表于ICCV 2023 </div>

:page_with_curl:论文 | :globe_with_meridians:项目主页 | :open_file_folder:动漫场景数据集 | 🤗演示

</br> <div style="width: 100%; text-align: center; margin:auto;"> <img style="width:100%" src="https://yellow-cdn.veclightyear.com/0a4dffa0/7c768e47-9221-4034-81e8-f56d112647db.png"> </div> </div>

---

更新

• [2023年11月] 训练代码已发布。
• [2023年8月] 已集成到Hugging Face。欢迎体验网页演示！
• [2023年8月] 推理代码和数据集已发布。
• [2023年8月] 项目主页已建立。
• [2023年7月] 论文被ICCV 2023接收！

---

:wrench: 安装

1. 克隆此仓库：

   git clone https://github.com/Yuxinn-J/Scenimefy.git
   cd Scenimefy

2. 安装依赖包： 安装Anaconda后，使用conda env create -f Semi_translation/environment.yml创建新的Conda环境。

:zap: 快速推理

1. Python脚本 2. Gradio演示

Python脚本

• 下载预训练模型：Shinkai_net_G.pth

  wget https://github.com/Yuxinn-J/Scenimefy/releases/download/v0.1.0/Shinkai_net_G.pth -P Semi_translation/pretrained_models/shinkai-test/

• 开始推理！只需运行以下命令，或参考./Semi_translation/script/test.sh获取详细用法：

  cd Semi_translation
  
  python test.py --dataroot ./datasets/Sample --name shinkai-test --CUT_mode CUT  --model cut --phase test --epoch Shinkai --preprocess none

  • 结果默认保存在./Semi_translation/results/shinkai-test/目录下。
  • 要准备自己的测试图像，可以参考./Semi_translation/datasets/Sample中的数据文件夹结构，并将测试图像放在testA目录中。

Gradio演示

• 我们提供了一个基于gradio构建的Scenimefy测试界面。要启动演示，只需在终端中执行以下命令：

  git clone https://huggingface.co/spaces/YuxinJ/Scenimefy
  pip install -r requirements.txt
  pip install gradio
  python app.py
  

• 该演示也托管在Hugging Face🤗上。

:train: 快速I2I训练

数据集准备

• LHQ数据集：一个包含90,000张自然风景图像的数据集[下载链接]。将其放在./datasets/unpaired_s2a目录下，并重命名为trainA。
• 动漫数据集：5,958张新海诚风格的动漫场景图像。请按照Anime_dataset/README.md中的说明操作。将其放在./datasets/unpaired_s2a目录下，并重命名为trainB。
• 伪配对数据集：30,000张使用相同种子从StyleGAN生成的合成伪配对图像。你可以微调自己的StyleGAN或使用我们提供的数据[下载链接]快速开始。将它们放在./datasets/pair_s2a目录下。
• 创建你自己的数据集

训练

参考./Semi_translation/script/train.sh文件，或使用以下命令：

python train.py --name exp_shinkai  --CUT_mode CUT --model semi_cut \ 
--dataroot ./datasets/unpaired_s2a --paired_dataroot ./datasets/pair_s2a \ 
--checkpoints_dir ./pretrained_models \
--dce_idt --lambda_VGG -1  --lambda_NCE_s 0.05 \ 
--use_curriculum  --gpu_ids 0

• 如果动漫数据集质量较低，考虑添加全局感知损失以保持内容一致性，例如，设置--lambda_VGG 0.2。

:checkered_flag: 从头开始

StyleGAN微调 [待完成]

• 按照Pseudo_generation/README.md中的说明操作。

分割选择

• 按照Seg_selection/README.md中的说明操作。

:open_file_folder: 动漫场景数据集

这是一个高质量的动漫场景数据集，包含5,958张图像，具有以下特点：

• 高分辨率（1080×1080）
• 新海诚风格（来自9部新海诚电影）
• 纯动漫场景：通过手动剔除不相关和低质量图像进行数据集整理

为遵守版权规定，我们不能直接发布动漫图像。但是，你可以按照这里的说明方便地准备数据集。

:love_you_gesture: 引用

如果您发现这项工作对您的研究有用，请考虑引用我们的论文：

@inproceedings{jiang2023scenimefy,
  title={Scenimefy: Learning to Craft Anime Scene via Semi-Supervised Image-to-Image Translation},
  author={Jiang, Yuxin and Jiang, Liming and Yang, Shuai and Loy, Chen Change},
  booktitle={ICCV},
  year={2023}
}

:hugs: 致谢

我们的代码主要基于Cartoon-StyleGAN和Hneg_SRC开发。我们感谢Facebook对Mask2Former的贡献。

:newspaper_roll: 许可证

在S-Lab许可下分发。更多信息请参见LICENSE.md。