IJCAI2023-CoNR: 协作式神经渲染技术为动漫角色设计带来新突破

引言

在动画制作领域,如何高效地将静态的角色设计图转化为动态的视频内容一直是一个具有挑战性的问题。近日,由旷视科技研究院开发的IJCAI2023-CoNR (Collaborative Neural Rendering using Anime Character Sheets)项目为这一难题提供了一个创新的解决方案。该项目利用协作式神经渲染技术,能够将手绘的动漫角色设计图(Anime Character Sheets, ACS)转换为生动流畅的舞蹈视频,为动画创作带来了新的可能性。

项目概述

IJCAI2023-CoNR项目是《Collaborative Neural Rendering using Anime Character Sheets》论文的官方实现。该论文已被IJCAI2023特别赛道接收,并获得了三位评审的一致好评。项目的核心目标是通过协作式神经渲染技术,实现从静态的动漫角色设计图到动态舞蹈视频的转换。

Image 1: a girl in a pink dress is standing on a grid

技术亮点

1. 协作式神经渲染

CoNR采用了创新的协作式神经渲染技术。这种技术能够同时处理多个输入源,包括角色设计图和姿态信息,通过神经网络的协同工作,生成高质量的动画效果。

2. 超密集姿态序列(Ultra-Dense Pose, UDP)

项目使用了超密集姿态序列作为动作输入。UDP提供了比传统骨骼动画更细致的动作信息,能够捕捉到更微妙的动作细节,从而生成更自然流畅的动画效果。

3. 灵活的角色设计输入

CoNR支持多种形式的角色设计图输入,包括正面、侧面、背面等多角度的角色设计。这种灵活性使得动画师可以更自由地表达角色设计,而不必受限于固定的输入格式。

Image 2: a girl in a skirt and pink hair is standing on a grid

实现细节

环境要求

NVIDIA GPU + CUDA + CUDNN
Python 3.6

安装步骤

克隆项目仓库:

git clone https://github.com/megvii-research/CoNR

安装依赖:

cd CoNR
pip install -r requirements.txt

下载预训练权重: 项目提供了Google Drive和百度网盘两种下载渠道,方便不同地区的用户获取。

数据准备

CoNR项目提供了两种角色的超密集姿态序列样例。用户也可以使用MMD2UDP工具生成更多的UDP序列。同时,项目还提供了动漫角色设计图的样例输入。

运行方式

CoNR支持两种运行方式:

通过Web UI运行(基于Streamlit):

streamlit run streamlit.py --server.port=8501

通过命令行运行:

python -m torch.distributed.launch \
--nproc_per_node=1 train.py --mode=test \
--world_size=1 --dataloaders=2 \
--test_input_poses_images={dir_to_poses} \
--test_input_person_images={dir_to_character_sheet} \
--test_output_dir={dir_to_save_result} \
--test_checkpoint_dir={dir_to_weights}