SimSwap

SimSwap 项目介绍

概述

SimSwap 是一款高效的高保真换脸框架，旨在为图像和视频中实现任意人脸的交换。该项目通过一个单一的经过训练的模型即可实现人脸替换，提升了用户的操作便捷性和效率。

项目背景

SimSwap 项目于第 28 届 ACM 国际多媒体会议中正式发布，并获到了 SocialBook 的支持。项目的官方代码库使用 Pytorch 实现，当前用户可以获取训练和测试代码进行尝试。此外，SimSwap 现已支持高分辨率版本 SimSwap-HQ。

项目动态

项目团队目前正在积极开发更高版本的 SimSwap++，这将带来更快且高质量的身份替换功能。同时，团队也在开放全职工程师的招聘，具体要求可以查看相关网站。

使用注意

SimSwap 项目仅供技术和学术研究使用，请勿将其应用于非法和不道德的场景。若在使用时违反了所在国家或地区的法律和伦理要求，项目的代码库不予承担法律责任。

数据集与训练

SimSwap 为资源有限的用户提供了裁剪过的 VGGFace2-224 数据集。建议训练时采用高质量数据集 VGGFace2-HQ。训练脚本稍有改动，例如用投影判别器替换了原来的补丁判别器，从而节省硬件开销并略微提升结果质量。用户需确保批处理大小大于1，以确保正常训练，推荐使用更大的批处理大小（超过16）来加快收敛和获得更好的结果。

推理

SimSwap 的预训练模型可用于图像或视频的脸部交换。项目在 Google Colab 上提供了演示案例，以便用户快速上手。对于视频，SimSwap 支持多脸视频中特定脸部的切换，而且 Docker 支持已经集成。

项目成果

通过 SimSwap，可生成高质量的人脸替换效果，项目提供了一些示例视频和图像结果以供参考。此外，项目还支持用户在使用后分享有趣的结果，并计划在后续展示社区的创意作品。

相关项目

SimSwap 团队还参与了多个高质量的项目开发，如高分辨率人脸数据集 VGGFace2-HQ、雨景去除项目 RainNet、草图生成、知识风格转移等。

感谢

SimSwap 项目参考和借鉴了多个开源项目，包括 Deepfacelab、Insightface、Face-parsing.PyTorch、BiSeNet 等。

SimSwap 项目致力于为高质量的换脸技术带来新突破，并欢迎学术科研领域的广泛交流和合作。