MotionCtrl

MotionCtrl：用于视频生成的统一灵活运动控制器

[SIGGRAPH 2024 会议论文集]

<div align="center">👉 MotionCtrl 适用于 <b><a href="https://github.com/TencentARC/MotionCtrl/tree/svd">[SVD]</a>、<a href="https://github.com/TencentARC/MotionCtrl/tree/main">[VideoCrafter]</a> 和 <a href="https://github.com/TencentARC/MotionCtrl/tree/animatediff">[AnimateDiff]</a></b></div>

🤗 🤗

</div>

🔥🔥🔥 我们已发布 MotionCtrl 在 AnimateDiff 上的训练和推理代码

🔥🔥 我们发布了 MotionCtrl 在 Stable Video Diffusion (SVD) 上的代码、模型和演示。

https://github.com/TencentARC/MotionCtrl/assets/19488619/45d44bf5-d4bf-4e45-8628-2c8926b5954a

MotionCtrl：用于视频生成的统一灵活运动控制器的官方实现。

MotionCtrl 可以仅使用一个统一模型，独立控制生成视频的复杂相机运动和物体运动。

MotionCtrl+AnimateDiff 的结果

MotionCtrl+SVD 的结果

更多结果请查看 showcase_svd 和我们的项目页面。

<div align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/f7a49331-d160-496c-aed8-5839e0ba285f.gif", width="300"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/4ccffcf3-29d6-4bf1-8dfd-919ed6367863.gif", width="300"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/903225f0-a720-43f5-8c82-1ea10ec3139b.gif", width="300"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/362bda7d-a827-4637-9569-a16ebc73fa6a.gif", width="300"> </div> ### MotionCtrl+VideoCrafter的结果

更多结果请查看我们的项目页面。

📝 更新日志

20231225：发布部署在LVDM/VideoCrafter上的MotionCtrl。
20231225：Gradio演示可用。🤗
20231228：为方便起见，提供本地Gradio演示。
20240115：在dataset/camera_poses中提供了更多用于测试的相机姿态。
20240115：发布部署在SVD上的MotionCtrl。代码位于svd分支，Gradio演示可在🤗 上使用。
❗❗❗ 部署在VideoCrafter2上的MotionCtrl的Gradio演示可在🤗 上使用。您也可以通过运行python -m app --share在本地运行。

❗❗❗ 部署在AnimateDiff上的MotionCtrl已在animatediff分支上发布，包含训练和推理代码。

⚙️ 环境配置

conda create -n motionctrl python=3.10.6
conda activate motionctrl
pip install -r requirements.txt

💫 推理

运行本地推理脚本

下载MotionCtrl的权重motionctrl.pth并将其放入./checkpoints。
进入configs/inference/run.sh并将condtype设置为'camera_motion'、'object_motion'或'both'。

condtype=camera_motion表示仅控制生成视频中的相机运动。
condtype=object_motion表示仅控制生成视频中的物体运动。
condtype=both表示同时控制生成视频中的相机运动和物体运动。

运行脚本： sh configs/inference/run.sh

运行本地Gradio演示
```
python -m app --share
```

🔥🔥 训练 👉 详情

准备数据集

RealEstate10K
1. 按照https://github.com/cashiwamochi/RealEstate10K_Downloader的指示下载并处理视频。
2. 相应的说明文字和列表在GoogleDrive中提供。

:books: 引用

如果您使用了我们的工作，请引用我们的论文。

@inproceedings{wang2024motionctrl,
  title={Motionctrl: 一个统一且灵活的视频生成运动控制器},
  author={Wang, Zhouxia and Yuan, Ziyang and Wang, Xintao and Li, Yaowei and Chen, Tianshui and Xia, Menghan and Luo, Ping and Shan, Ying},
  booktitle={ACM SIGGRAPH 2024 会议论文集},
  pages={1--11},
  year={2024}
}