FLAME-Universe

<h1 align="center">:fire: FLAME 宇宙 :fire:</h1>

本仓库列出了 :fire: FLAME :fire: 3D头部模型的公开可用资源，包括代码、数据集和科学论文。 我们致力于保持列表的更新。欢迎您在讨论区或通过拉取请求添加缺失的基于FLAME的资源（出版物、代码仓库、数据集）。

<p> <p align="center"> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/e18b9bf3-4a8b-4dac-b231-6b0c7bfbb278.png"> </p> </p> <h2 align="center">:fire: FLAME :fire:</h2> <details> <summary>从未听说过FLAME？</summary> <p align="center"> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/ec8ab3f7-5504-4c63-95e0-0317ae196664.gif"> </p>

FLAME是一个轻量级且富有表现力的通用头部模型，由超过33,000个精确对齐的3D扫描数据学习而来。 FLAME结合了线性身份形状空间（从3800名受试者的头部扫描中训练得到）、可关节化的颈部、下颌和眼球、与姿态相关的校正混合形状，以及额外的全局表情混合形状。 详情请参阅科学出版物。 FLAME在知识共享署名许可下公开可用。

</details> <h2 align="center">代码</h2> <details open> <summary>使用FLAME的公开仓库列表（按字母顺序排列）。</summary>

• BFM_to_FLAME：从Basel人脸模型（BFM）到FLAME的转换。
• CVTHead：从单张图像生成可控的头部化身。
• DECA：从单张图像重建具有可动画面部表情细节的3D人脸。
• DiffPoseTalk：语音驱动的风格化3D面部动画。
• diffusion-rig：个性化模型，用于编辑肖像图像中的面部表情、头部姿势和光照。
• EMOCA：从单张图像重建情感化3D人脸。
• EMOTE：情感化语音驱动的3D人脸动画。
• expgan：具有表情控制的人脸图像生成。
• FaceFormer：FLAME网格拓扑下的语音驱动面部动画。
• FLAME-Blender-Add-on：FLAME Blender插件。
• flame-fitting：将FLAME拟合到扫描数据。
• FLAME_PyTorch：FLAME PyTorch层。
• GANHead 可动画化的神经头部化身。
• GaussianAvatars 使用FLAME控制的3D高斯点的真实感头部化身。
• GIF：使用FLAME参数控制生成人脸图像。
• INSTA：在不到10分钟内从视频生成体积化头部化身。
• INSTA-pytorch：在不到10分钟内从视频生成体积化头部化身（PyTorch版）。
• learning2listen：对二人对话中的互动交流进行建模。
• MICA：从单张图像重建度量准确的3D人脸。
• MeGA：重建可编辑的混合网格-高斯头部化身。
• metrical-tracker：用于单目视频的度量人脸跟踪器。
• NED：视频中的面部情感表情操纵。
• Next3D：具有FLAME参数控制的3D生成模型。
• neural-head-avatars：从视频序列构建神经头部化身。
• NeRSemble：从多视角视频数据构建神经头部化身。
• photometric_optimization：使用可微渲染将FLAME拟合到图像。
• RingNet：从单张图像重建3D人脸。
• ROME：从单张图像创建个性化化身。
• SAFA：人脸图像动画。
• Semantify：对3DMM参数进行语义控制。
• SPECTRE：从图像进行语音感知的3D人脸重建。
• SMIRK：从单张图像重建情感化3D人脸。
• TRUST：从图像进行无种族偏见的肤色估计。
• TF_FLAME：将FLAME拟合到2D/3D关键点、FLAME网格，或采样纹理网格。
• video-head-tracker：在视频序列中跟踪3D头部。
• VOCA：FLAME网格拓扑下的语音驱动面部动画。

</details> <h2 align="center">数据集</h2> <details open> <summary>FLAME拓扑网格数据集列表。</summary> - [BP4D+](https://github.com/Zielon/MICA/tree/master/datasets)：127名受试者，每人一个中性表情网格模型。 - [CoMA数据集](https://coma.is.tue.mpg.de/download.php)：12名受试者，每人12个极端动态表情。 - [D3DFACS](https://flame.is.tue.mpg.de/download.php)：10名受试者，共519个动态表情。 - [Decaf数据集](https://github.com/soshishimada/DecafDatasetScript)：面部和手部交互的变形捕捉。 - [FaceWarehouse](http://kunzhou.net/zjugaps/facewarehouse/)：150名受试者，每人一个中性表情网格模型。 - [FaMoS](https://tempeh.is.tue.mpg.de/)：95名受试者，每人28个动态表情和头部姿势，共约60万帧。 - [Florence 2D/3D](https://github.com/Zielon/MICA/tree/master/datasets)：53名受试者，每人一个中性表情网格模型。 - [FRGC](https://github.com/Zielon/MICA/tree/master/datasets)：531名受试者，每人一个中性表情网格模型。 - [LYHM](https://www-users.cs.york.ac.uk/~nep/research/Headspace/)：1216名受试者，每人一个中性表情网格模型。 - [MEAD重建](https://github.com/radekd91/inferno/tree/release/EMOTE/inferno_apps/TalkingHead)：MEAD（情感说话面部数据集）的3D面部重建。 - [NeRSemble数据集](https://github.com/tobias-kirschstein/nersemble)：10个多视角图像序列和FLAME网格拓扑结构的3D面部。 - [Stirling](https://github.com/Zielon/MICA/tree/master/datasets)：133名受试者，每人一个中性表情网格模型。 - [VOCASET](https://github.com/TimoBolkart/voca)：12名受试者，每人40个带同步音频的语音序列。 <h2 align="center">出版物</h2> <details open> <summary>基于FLAME的科学出版物列表。</summary>

2024年

• 人头的高斯特征模型。
• FAGhead：从单目视频全面动画化高斯人头。
• GGHead：快速且通用的3D高斯人头。
• Rig3DGS：从随意的单目视频创建可控制的人像。
• GAUSSIAN3DIFF：3D高斯扩散用于3D全头部合成和编辑（ECCV 2024）。
• MeGA：混合网格-高斯头部化身用于高保真渲染和头部编辑（ECCV 2024）。
• DiffPoseTalk：通过扩散模型实现语音驱动的风格化3D面部动画和头部姿势生成（SIGGRAPH 2024）。
• 通过神经网络合成分析的3D面部表情（CVPR 2024）。
• GaussianAvatars：使用绑定3D高斯的逼真头部化身（CVPR 2024）。
• FaceComposer：用于多功能面部内容创作的统一模型（NeurIPS 2023）。
• 感受咬合：基于稳健口腔感知和物理交互感知控制的机器人辅助口内咬合传递（HRI 2024）。
• ReliTalk：从单个视频生成可重光的说话人像（IJCV 2024）。
• CVTHead：基于顶点特征变换器的单样本可控头部化身（WACV 2024）。
• 迈向真实的生成式3D人脸模型（WACV 2024）。
• LaughTalk：具有笑声的富表现力3D说话头生成（WACV 2024）。
• NeRFlame：基于FLAME的NeRF条件化用于3D人脸渲染（ICCS 2024）。

2023年

• DF-3DFace：基于扩散的一对多语音同步3D面部动画
• HeadCraft：为动画3DMM建模高细节形状变化
• 3DiFACE：基于扩散的语音驱动3D面部动画和编辑
• 使用文本到图像扩散模型生成铰接3D头部化身
• 不用制作也能造假：用于准确3D面部的条件化人脸生成
• Text2Face：多模态3D人脸模型
• SelfTalk：理解3D说话人脸的自监督可交换训练图（ACM-MM 2023）
• 具有可控情感的富有表现力的语音驱动面部动画（ICMEW 2023）
• 用于单目3D人脸重建的感知形状损失（Pacific Graphics 2023）
• FLARE：快速学习可动画和可重光的网格化身（SIGGRAPH Asia 2023）
• 情感语音驱动动画与内容-情感解耦（SIGGRAPH Asia 2023）
• Decaf：面部和手部交互的单目变形捕捉（SIGGRAPH Asia 2023）
• 语言模型能学会倾听吗？（ICCV 2023）
• 使用面部组件令牌进行准确的3D人脸重建（ICCV 2023）
• Speech4Mesh：用于语音驱动3D面部动画的语音辅助单目3D面部重建（ICCV 2023）
• Semantify：使用CLIP简化3D可变形模型的控制（ICCV 2023）
• Imitator：个性化语音驱动3D面部动画（ICCV 2023）
• NeRSemble：人头多视图辐射场重建（SIGGRAPH 2023）
• ClipFace：文本引导的纹理3D可变形模型编辑（SIGGRAPH 2023）
• GANHead：面向生成式可动画神经头部化身（CVPR 2023）
• 通过可控局部变形场的隐式神经头部合成（CVPR 2023）
• DiffusionRig：学习面部外观编辑的个性化先验（CVPR 2023）
• 从偏振智能手机图像中捕捉高分辨率面部外观（CVPR 2023）
• 即时体积化头部化身（CVPR 2023）
• 学习个性化高质量体积化头部化身（CVPR 2023）
• Next3D：用于3D感知头部化身的生成神经纹理光栅化（CVPR 2023）
• PointAvatar：从视频中获取可变形点基头部化身（CVPR 2023）
• 视觉语音感知3D面部表情从视频重建（CVPR-W 2023）
• 通过神经缓存扩展神经面部合成到高帧率和低延迟（WACV 2023）

2022

• TeleViewDemo：体验未来的3D远程会议（SIGGRAPH Asia 2022）
• 逼真的一次性网格基头部化身（ECCV 2022）
• 走向人脸的公制重建（ECCV 2022）
• 通过场景消歧实现无种族偏见的肤色估计（ECCV 2022）
• 生成式神经铰接辐射场（NeurIPS 2022）
• EMOCA：情感驱动的单目面部捕捉和动画（CVPR 2022）
• 从单张遮挡人脸图像生成多样化的3D重建（CVPR 2022）
• I M Avatar：从视频中获取隐式可变形头部化身（CVPR 2022）
• 学会倾听：建模非确定性二元面部运动（CVPR 2022）
• 神经情感导演：在"野外"视频中保留语音的面部表情语义控制（CVPR 2022）
• 从单目RGB视频中获取神经头部化身（CVPR 2022）
• RigNeRF：完全可控的神经3D肖像（CVPR 2022）
• 人脸识别模型的模拟对抗测试（CVPR 2022）
• 用于全身3D人体网格估计的准确3D手部姿势估计（CVPR-W 2022）
• MOST-GAN：用于解耦人脸图像操作的3D可变形StyleGAN（AAAI 2022）
• Exp-GAN：具有表情控制的3D感知面部图像生成（ACCV 2022）

2021

• 数据驱动的3D颈部建模与动画 (TVCG 2021)。
• MorphGAN：用于检测识别偏差的单样本人脸合成GAN (BMVC 2021)。
• SIDER：用于面部几何细节恢复的单图像神经优化 (3DV 2021)。
• SAFA：结构感知的面部动画 (3DV 2021)。
• 从野外图像中学习可动画化的详细3D人脸模型 (SIGGRAPH 2021)。

2020

• 通过身体驱动注意力的单目表情身体回归 (ECCV 2020)。
• GIF：生成式可解释人脸 (3DV 2020)。

2019

• 从图像中学习回归3D人脸形状和表情而无需3D监督 (CVPR 2019)。