ToonCrafter

ToonCrafter：生成式卡通插帧

🔆 简介

⚠️ 请先查看我们的免责声明。

🤗 ToonCrafter可以利用预训练的图像到视频扩散先验来插值两个卡通图像。更多信息请查看我们的项目页面和论文。<br>

1.1 展示 (512x320)

<table class="center"> <tr style="font-weight: bolder;text-align:center;"> <td>输入起始帧</td> <td>输入结束帧</td> <td>生成的视频</td> </tr> <tr> <td> <img src=assets/72109_125.mp4_00-00.png width="250"> </td> <td> <img src=assets/72109_125.mp4_00-01.png width="250"> </td> <td> <img src=assets/00.gif width="250"> </td> </tr> <tr> <td> <img src=assets/Japan_v2_2_062266_s2_frame1.png width="250"> </td> <td> <img src=assets/Japan_v2_2_062266_s2_frame3.png width="250"> </td> <td> <img src=assets/03.gif width="250"> </td> </tr> <tr> <td> <img src=assets/Japan_v2_1_070321_s3_frame1.png width="250"> </td> <td> <img src=assets/Japan_v2_1_070321_s3_frame3.png width="250"> </td> <td> <img src=assets/02.gif width="250"> </td> </tr> <tr> <td> <img src=assets/74302_1349_frame1.png width="250"> </td> <td> <img src=assets/74302_1349_frame3.png width="250"> </td> <td> <img src=assets/01.gif width="250"> </td> </tr> </table>

1.2 稀疏草图引导

<table class="center"> <tr style="font-weight: bolder;text-align:center;"> <td>输入起始帧</td> <td>输入结束帧</td> <td>输入草图引导</td> <td>生成的视频</td> </tr> <tr> <td> <img src=assets/72105_388.mp4_00-00.png width="200"> </td> <td> <img src=assets/72105_388.mp4_00-01.png width="200"> </td> <td> <img src=assets/06.gif width="200"> </td> <td> <img src=assets/07.gif width="200"> </td> </tr> <tr> <td> <img src=assets/72110_255.mp4_00-00.png width="200"> </td> <td> <img src=assets/72110_255.mp4_00-01.png width="200"> </td> <td> <img src=assets/12.gif width="200"> </td> <td> <img src=assets/13.gif width="200"> </td> </tr> </table>

2. 应用

2.1 卡通草图插值（更多详情请参见项目页面）

<table class="center"> <tr style="font-weight: bolder;text-align:center;"> <td>输入起始帧</td> <td>输入结束帧</td> <td>生成的视频</td> </tr> <tr> <td> <img src=assets/frame0001_10.png width="250"> </td> <td> <img src=assets/frame0016_10.png width="250"> </td> <td> <img src=assets/10.gif width="250"> </td> </tr> <tr> <td> <img src=assets/frame0001_11.png width="250"> </td> <td> <img src=assets/frame0016_11.png width="250"> </td> <td> <img src=assets/11.gif width="250"> </td> </tr> </table>

2.2 基于参考的草图上色

<table class="center"> <tr style="font-weight: bolder;text-align:center;"> <td>输入草图</td> <td>输入参考</td> <td>上色结果</td> </tr> <tr> <td> <img src=assets/04.gif width="250"> </td> <td> <img src=assets/frame0001_05.png width="250"> </td> <td> <img src=assets/05.gif width="250"> </td> </tr> <tr> <td> <img src=assets/08.gif width="250"> </td> <td> <img src=assets/frame0001_09.png width="250"> </td> <td> <img src=assets/09.gif width="250"> </td> </tr> </table>

📝 更新日志

• 添加草图控制和上色功能。
• [2024.05.29]: 🔥🔥 发布代码和模型权重。
• [2024.05.28]: 启动项目页面并更新arXiv预印本。 <br>

🧰 模型

模型	分辨率	GPU内存 & 推理时间 (A100, ddim 50步)	检查点
ToonCrafter_512	320x512	待定 (perframe_ae=True)	Hugging Face

目前，我们的ToonCrafter可以支持生成最多16帧、分辨率为512x320的视频。通过使用更少的DDIM步骤可以减少推理时间。

⚙️ 设置

通过Anaconda安装环境（推荐）

conda create -n tooncrafter python=3.8.5
conda activate tooncrafter
pip install -r requirements.txt

💫 推理

1. 命令行

下载预训练的ToonCrafter_512并将model.ckpt放在checkpoints/tooncrafter_512_interp_v1/model.ckpt。

  sh scripts/run.sh

2. 本地Gradio演示

下载预训练模型并按照之前的指引将其放在相应的目录中。

  python gradio_app.py 

<a name="disc"></a>

📢 免责声明

请冷静。我们的框架开启了生成式卡通插帧的时代，但由于生成视频先验的多样性，成功率不能保证。

⚠️这是一个开源研究探索，而不是商业产品。它无法满足您的所有期望。

本项目致力于积极影响AI驱动的视频生成领域。用户可以自由使用此工具创建视频，但应遵守当地法律并负责任地使用。开发者不承担用户可能滥用的任何责任。