EigenGAN-Tensorflow

EigenGAN-Tensorflow

层级特征分解的生成对抗网络框架

EigenGAN-Tensorflow是一个基于TensorFlow实现的生成对抗网络框架,采用层级特征分解方法。该项目提供CelebA和Anime数据集的训练测试代码,可生成和操控高质量人脸与动漫图像。通过特征分解实现图像属性的无监督学习和精确控制,支持多GPU训练,并提供预训练模型。此开源项目为GAN研究和开发提供了实用工具。

EigenGAN生成对抗网络图像属性编辑无监督学习人脸生成Github开源项目
性别刘海身体朝向姿势(偏航)
<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/434fd27e-368f-4495-8fea-fb18c84e3a4f.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/9bca18b3-b3d6-4369-b45e-e2a7c2e9a869.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/5d24e6c6-d4fb-47eb-bf41-e9fe6662f60e.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/8e0da438-fae9-4923-968a-9bf7659495fe.gif" width="200">
光照微笑脸型唇膏颜色
<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/36726402-1b6a-43e3-9d89-b2e9ae5d37b3.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/1c033289-62b7-4912-914b-c3c51f577ae1.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/97c81777-5825-425a-be9b-fc4749530aab.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/61f81de3-a544-4db8-b11b-83c202cb26ce.gif" width="200">
绘画风格姿势(偏航)姿势(俯仰)缩放和旋转
<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/ed051169-daf0-413d-b251-af85073c4eb8.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/dde8015a-4061-4d6c-a166-75fcb3b3b040.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/55b65048-2f3c-495d-9a18-5f47bb825ee8.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/89469c0d-a707-4367-ac8b-bcc0b0610d77.gif" width="200">
脸红和眼睛颜色嘴型发色色调(橙-蓝)
<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/3b1d4919-5e42-49ad-8628-73196cedc345.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/02083214-2c9e-45c0-9287-2139f0905887.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/7332453b-8424-4d2a-8b2a-977ab74b3d8b.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/055cec28-fc9e-42af-9492-2cf4a5330dc5.gif" width="200">

[更多无监督学习的维度](https://github.com/LynnHo/EigenGAN-Tensorflow/blob/main/./results.md

<p align="center"> EigenGAN (ICCV 2021) <br> <sub> 视频 </sub> </br> </p>

  • EigenGAN: GANs的分层特征学习TensorFlow实现

  • 架构图

    <p align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/5475a5b6-5e08-4ad2-8387-e9e4eae1ad91.svg" width="100%" /> </p>
  • 流形视角

    <p align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/84cb06a7-6c2c-48ed-8938-4f5d09d236bc.svg" width="100%" /> </p>

使用方法

  • 环境要求

    • Python 3.6

    • TensorFlow 1.15

    • OpenCV, scikit-image, tqdm, oyaml

  • 我们推荐使用 AnacondaMiniconda,然后你可以使用以下命令创建环境

conda create -n EigenGAN python=3.6 source activate EigenGAN conda install opencv scikit-image tqdm tensorflow-gpu=1.15 conda install -c conda-forge oyaml
  • 注意:如果你创建了一个新的conda环境,记得在执行任何其他命令之前先激活它
source activate EigenGAN
  • 数据准备

    • CelebA-未对齐 (10.2GB,质量比对齐数据更高)

      • 下载数据集

        • img_celeba.7z (移动到 ./data/img_celeba/img_celeba.7z): Google Drive百度网盘 (密码 rp0s)

        • annotations.zip (移动到 ./data/img_celeba/annotations.zip): Google Drive

      • 解压缩并处理数据

        7z x ./data/img_celeba/img_celeba.7z/img_celeba.7z.001 -o./data/img_celeba/ unzip ./data/img_celeba/annotations.zip -d ./data/img_celeba/ python ./scripts/align.py
    • 动漫

      • 下载数据集

        mkdir -p ./data/anime rsync --verbose --recursive rsync://176.9.41.242:873/biggan/portraits/ ./data/anime/original_imgs
      • 处理数据

        python ./scripts/remove_black_edge.py
  • 运行(支持多GPU)

    • 在CelebA上训练

      CUDA_VISIBLE_DEVICES=0,1 \ python train.py \ --img_dir ./data/img_celeba/aligned/align_size(572,572)_move(0.250,0.000)_face_factor(0.450)_jpg/data \ --experiment_name CelebA
    • 在动漫数据集上训练

      CUDA_VISIBLE_DEVICES=0,1 \ python train.py \ --img_dir ./data/anime/remove_black_edge_imgs \ --experiment_name Anime
    • 测试

      CUDA_VISIBLE_DEVICES=0 \ python test_traversal_all_dims.py \ --experiment_name CelebA
    • 损失可视化

      CUDA_VISIBLE_DEVICES='' \ tensorboard \ --logdir ./output/CelebA/summaries \ --port 6006
  • 使用训练好的权重

    • 训练好的权重(移动到 ./output/*.zip

    • 解压文件(以CelebA.zip为例)

      unzip ./output/CelebA.zip -d ./output/
    • 测试(见上文)

引用

如果你在研究中发现 EigenGAN 有用,请考虑引用:

@inproceedings{he2021eigengan,
  title={EigenGAN: Layer-Wise Eigen-Learning for GANs},
  author={He, Zhenliang and Kan, Meina and Shan, Shiguang},
  booktitle={International Conference on Computer Vision (ICCV)},
  year={2021}
}

编辑推荐精选

讯飞智文

讯飞智文

一键生成PPT和Word,让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
讯飞星火

讯飞星火

深度推理能力全新升级,全面对标OpenAI o1

科大讯飞的星火大模型,支持语言理解、知识问答和文本创作等多功能,适用于多种文件和业务场景,提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台,涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能,能为不同需求的用户提供便捷高效的帮助,助力用户轻松获取信息、解决问题,满足多样化使用场景。

热门AI开发模型训练AI工具讯飞星火大模型智能问答内容创作多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目,由多个知名机构联合参与。该项目提供了高效的 LLM(大语言模型)驱动的语音合成方案,支持语音克隆和语音创建功能,可通过命令行界面(CLI)和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数,生成高质量的语音。该项目适用于多种场景,如有声读物制作、智能语音助手开发等。

Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
咔片PPT

咔片PPT

AI助力,做PPT更简单!

咔片是一款轻量化在线演示设计工具,借助 AI 技术,实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT,提供海量模板、智能美化、素材替换等功能,适用于销售、教师、学生等各类人群,能高效制作出高品质 PPT,满足不同场景演示需求。

讯飞绘文

讯飞绘文

选题、配图、成文,一站式创作,让内容运营更高效

讯飞绘文,一个AI集成平台,支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容,加速品牌传播,提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
材料星

材料星

专业的AI公文写作平台,公文写作神器

AI 材料星,专业的 AI 公文写作辅助平台,为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能,支持 30 + 文稿类型生成,助力快速完成领导讲话、工作总结、述职报告等材料,提升办公效率,是体制打工人的得力写作神器。

openai-agents-python

openai-agents-python

OpenAI Agents SDK,助力开发者便捷使用 OpenAI 相关功能。

openai-agents-python 是 OpenAI 推出的一款强大 Python SDK,它为开发者提供了与 OpenAI 模型交互的高效工具,支持工具调用、结果处理、追踪等功能,涵盖多种应用场景,如研究助手、财务研究等,能显著提升开发效率,让开发者更轻松地利用 OpenAI 的技术优势。

Hunyuan3D-2

Hunyuan3D-2

高分辨率纹理 3D 资产生成

Hunyuan3D-2 是腾讯开发的用于 3D 资产生成的强大工具,支持从文本描述、单张图片或多视角图片生成 3D 模型,具备快速形状生成能力,可生成带纹理的高质量 3D 模型,适用于多个领域,为 3D 创作提供了高效解决方案。

3FS

3FS

一个具备存储、管理和客户端操作等多种功能的分布式文件系统相关项目。

3FS 是一个功能强大的分布式文件系统项目,涵盖了存储引擎、元数据管理、客户端工具等多个模块。它支持多种文件操作,如创建文件和目录、设置布局等,同时具备高效的事件循环、节点选择和协程池管理等特性。适用于需要大规模数据存储和管理的场景,能够提高系统的性能和可靠性,是分布式存储领域的优质解决方案。

下拉加载更多