First-Order-Model 入门学习资料汇总 - 用于图像动画的第一阶运动模型

First-Order-Model: 图像动画化的革新性技术

First-Order-Model 是由 Aliaksandr Siarohin 等人提出的一种图像动画生成模型,发表于 NeurIPS 2019 会议。该模型可以根据一张源图像和一个驱动视频,生成源图像中物体按照驱动视频中的运动进行动画的效果。这一技术在人脸、人体、卡通形象等多个领域都有广泛应用。

First-Order-Model 示例

🔍 主要特点

无需任何物体特定的先验知识或标注
可应用于同一类别的任意物体
使用自监督方式解耦外观和运动信息
引入关键点和局部仿射变换表示复杂运动
在多个基准数据集上取得最佳效果

📚 学习资源

论文
- First Order Motion Model for Image Animation
- 解读文章: First Order Motion Model 论文解读
代码实现
- GitHub 官方仓库
- 安装依赖: pip install -r requirements.txt
在线演示
- Hugging Face Spaces
- Google Colab 演示
预训练模型
- Google Drive
- Yandex Disk
数据集
- VoxCeleb, Fashion, MGIF 等数据集的下载和预处理说明

🚀 快速开始

克隆仓库:

git clone https://github.com/AliaksandrSiarohin/first-order-model.git
cd first-order-model

安装依赖:
```
pip install -r requirements.txt
```
下载预训练模型

运行演示:

python demo.py --config config/vox-256.yaml --driving_video path/to/driving --source_image path/to/source --checkpoint path/to/checkpoint --relative --adapt_scale