英文 | 中文

使用动漫角色设定图的协同神经渲染

我们的论文已被IJCAI2023特别专题接收（三位评审均给出"接受"评级），论文修订版可在此处查看。-> 海报

2023/4/18：数据集现已在CoNR_Dataset发布！🎉

演示页面 | Colab 英文/中文 | arXiv | 哔哩哔哩 | YouTube | CoNR_Dataset

简介

本项目是使用动漫角色设定图的协同神经渲染的官方实现，旨在从手绘动漫角色设定图（ACS）生成生动的舞蹈视频。¹ 更多演示和详细信息，请观看我们强烈推荐的哔哩哔哩或YouTube视频。我们的知乎FAQ（中文）解释了CoNR背后的理念。

使用方法

前提条件

• NVIDIA GPU + CUDA + CUDNN
• Python 3.6

安装

• 克隆此仓库

git clone https://github.com/megvii-research/CoNR

• 依赖项

要安装所有依赖项，请运行以下命令。

cd CoNR
pip install -r requirements.txt

• 下载权重 从Google Drive下载权重。或者，您可以从百度网盘下载（密码：RDxc）。

mkdir weights && cd weights
gdown https://drive.google.com/uc?id=1M1LEpx70tJ72AIV2TQKr6NE_7mJ7tLYx
gdown https://drive.google.com/uc?id=1YvZy3NHkJ6gC3pq_j8agcbEJymHCwJy0
gdown https://drive.google.com/uc?id=1AOWZxBvTo9nUf2_9Y7Xe27ZFQuPrnx9i
gdown https://drive.google.com/uc?id=19jM1-GcqgGoE1bjmQycQw_vqD9C5e-Jm

准备输入

我们为两个角色提供了两个超高密度姿态序列。你可以参考我们的论文通过3D模型和动作生成更多的UDP，或使用MMD2UDP（感谢@KurisuMakise004）。 百度网盘（密码：RDxc）

# 短发女孩
gdown https://drive.google.com/uc?id=11HMSaEkN__QiAZSnCuaM6GI143xo62KO
unzip short_hair.zip
mv short_hair/ poses/

# 双马尾女孩
gdown https://drive.google.com/uc?id=1WNnGVuU0ZLyEn04HzRKzITXqib1wwM4Q
unzip double_ponytail.zip
mv double_ponytail/ poses/

我们提供了动漫角色设定图的样本输入。你也可以自己绘制更多。 角色设定图需要从背景中裁剪出来，并以png格式保存。 百度网盘（密码：RDxc）

# 短发女孩
gdown https://drive.google.com/uc?id=1r-3hUlENSWj81ve2IUPkRKNB81o9WrwT
unzip short_hair_images.zip
mv short_hair_images/ character_sheet/

# 双马尾女孩
gdown https://drive.google.com/uc?id=1XMrJf9Lk_dWgXyTJhbEK2LZIXL9G3MWc
unzip double_ponytail_images.zip
mv double_ponytail_images/ character_sheet/

运行！

• 使用网页界面（由Streamlit提供支持）

streamlit run streamlit.py --server.port=8501

然后打开浏览器访问localhost:8501，按照指示生成视频。

• 通过终端

mkdir {结果保存目录}

python -m torch.distributed.launch \
--nproc_per_node=1 train.py --mode=test \
--world_size=1 --dataloaders=2 \
--test_input_poses_images={姿态目录} \
--test_input_person_images={角色设定图目录} \
--test_output_dir={结果保存目录} \
--test_checkpoint_dir={权重目录}

ffmpeg -r 30 -y -i {结果保存目录}/%d.png -r 30 -c:v libx264 output.mp4 -r 30

引用

@inproceedings{lin2023conr,
  title={Collaborative Neural Rendering using Anime Character Sheets},
  author={Lin, Zuzeng and Huang, Ailin and Huang, Zhewei},
  booktitle = {Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence (IJCAI)},
  year={2023}
}