EigenGAN-Tensorflow

EigenGAN-Tensorflow

层级特征分解的生成对抗网络框架

EigenGAN-Tensorflow是一个基于TensorFlow实现的生成对抗网络框架,采用层级特征分解方法。该项目提供CelebA和Anime数据集的训练测试代码,可生成和操控高质量人脸与动漫图像。通过特征分解实现图像属性的无监督学习和精确控制,支持多GPU训练,并提供预训练模型。此开源项目为GAN研究和开发提供了实用工具。

EigenGAN生成对抗网络图像属性编辑无监督学习人脸生成Github开源项目
性别刘海身体朝向姿势(偏航)
<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/434fd27e-368f-4495-8fea-fb18c84e3a4f.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/9bca18b3-b3d6-4369-b45e-e2a7c2e9a869.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/5d24e6c6-d4fb-47eb-bf41-e9fe6662f60e.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/8e0da438-fae9-4923-968a-9bf7659495fe.gif" width="200">
光照微笑脸型唇膏颜色
<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/36726402-1b6a-43e3-9d89-b2e9ae5d37b3.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/1c033289-62b7-4912-914b-c3c51f577ae1.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/97c81777-5825-425a-be9b-fc4749530aab.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/61f81de3-a544-4db8-b11b-83c202cb26ce.gif" width="200">
绘画风格姿势(偏航)姿势(俯仰)缩放和旋转
<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/ed051169-daf0-413d-b251-af85073c4eb8.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/dde8015a-4061-4d6c-a166-75fcb3b3b040.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/55b65048-2f3c-495d-9a18-5f47bb825ee8.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/89469c0d-a707-4367-ac8b-bcc0b0610d77.gif" width="200">
脸红和眼睛颜色嘴型发色色调(橙-蓝)
<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/3b1d4919-5e42-49ad-8628-73196cedc345.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/02083214-2c9e-45c0-9287-2139f0905887.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/7332453b-8424-4d2a-8b2a-977ab74b3d8b.gif" width="200"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/055cec28-fc9e-42af-9492-2cf4a5330dc5.gif" width="200">

[更多无监督学习的维度](https://github.com/LynnHo/EigenGAN-Tensorflow/blob/main/./results.md

<p align="center"> EigenGAN (ICCV 2021) <br> <sub> 视频 </sub> </br> </p>

  • EigenGAN: GANs的分层特征学习TensorFlow实现

  • 架构图

    <p align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/5475a5b6-5e08-4ad2-8387-e9e4eae1ad91.svg" width="100%" /> </p>
  • 流形视角

    <p align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/84cb06a7-6c2c-48ed-8938-4f5d09d236bc.svg" width="100%" /> </p>

使用方法

  • 环境要求

    • Python 3.6

    • TensorFlow 1.15

    • OpenCV, scikit-image, tqdm, oyaml

  • 我们推荐使用 AnacondaMiniconda,然后你可以使用以下命令创建环境

conda create -n EigenGAN python=3.6 source activate EigenGAN conda install opencv scikit-image tqdm tensorflow-gpu=1.15 conda install -c conda-forge oyaml
  • 注意:如果你创建了一个新的conda环境,记得在执行任何其他命令之前先激活它
source activate EigenGAN
  • 数据准备

    • CelebA-未对齐 (10.2GB,质量比对齐数据更高)

      • 下载数据集

        • img_celeba.7z (移动到 ./data/img_celeba/img_celeba.7z): Google Drive百度网盘 (密码 rp0s)

        • annotations.zip (移动到 ./data/img_celeba/annotations.zip): Google Drive

      • 解压缩并处理数据

        7z x ./data/img_celeba/img_celeba.7z/img_celeba.7z.001 -o./data/img_celeba/ unzip ./data/img_celeba/annotations.zip -d ./data/img_celeba/ python ./scripts/align.py
    • 动漫

      • 下载数据集

        mkdir -p ./data/anime rsync --verbose --recursive rsync://176.9.41.242:873/biggan/portraits/ ./data/anime/original_imgs
      • 处理数据

        python ./scripts/remove_black_edge.py
  • 运行(支持多GPU)

    • 在CelebA上训练

      CUDA_VISIBLE_DEVICES=0,1 \ python train.py \ --img_dir ./data/img_celeba/aligned/align_size(572,572)_move(0.250,0.000)_face_factor(0.450)_jpg/data \ --experiment_name CelebA
    • 在动漫数据集上训练

      CUDA_VISIBLE_DEVICES=0,1 \ python train.py \ --img_dir ./data/anime/remove_black_edge_imgs \ --experiment_name Anime
    • 测试

      CUDA_VISIBLE_DEVICES=0 \ python test_traversal_all_dims.py \ --experiment_name CelebA
    • 损失可视化

      CUDA_VISIBLE_DEVICES='' \ tensorboard \ --logdir ./output/CelebA/summaries \ --port 6006
  • 使用训练好的权重

    • 训练好的权重(移动到 ./output/*.zip

    • 解压文件(以CelebA.zip为例)

      unzip ./output/CelebA.zip -d ./output/
    • 测试(见上文)

引用

如果你在研究中发现 EigenGAN 有用,请考虑引用:

@inproceedings{he2021eigengan,
  title={EigenGAN: Layer-Wise Eigen-Learning for GANs},
  author={He, Zhenliang and Kan, Meina and Shan, Shiguang},
  booktitle={International Conference on Computer Vision (ICCV)},
  year={2021}
}

编辑推荐精选

商汤小浣熊

商汤小浣熊

最强AI数据分析助手

小浣熊家族Raccoon,您的AI智能助手,致力于通过先进的人工智能技术,为用户提供高效、便捷的智能服务。无论是日常咨询还是专业问题解答,小浣熊都能以快速、准确的响应满足您的需求,让您的生活更加智能便捷。

imini AI

imini AI

像人一样思考的AI智能体

imini 是一款超级AI智能体,能根据人类指令,自主思考、自主完成、并且交付结果的AI智能体。

Keevx

Keevx

AI数字人视频创作平台

Keevx 一款开箱即用的AI数字人视频创作平台,广泛适用于电商广告、企业培训与社媒宣传,让全球企业与个人创作者无需拍摄剪辑,就能快速生成多语言、高质量的专业视频。

即梦AI

即梦AI

一站式AI创作平台

提供 AI 驱动的图片、视频生成及数字人等功能,助力创意创作

扣子-AI办公

扣子-AI办公

AI办公助手,复杂任务高效处理

AI办公助手,复杂任务高效处理。办公效率低?扣子空间AI助手支持播客生成、PPT制作、网页开发及报告写作,覆盖科研、商业、舆情等领域的专家Agent 7x24小时响应,生活工作无缝切换,提升50%效率!

TRAE编程

TRAE编程

AI辅助编程,代码自动修复

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
蛙蛙写作

蛙蛙写作

AI小说写作助手,一站式润色、改写、扩写

蛙蛙写作—国内先进的AI写作平台,涵盖小说、学术、社交媒体等多场景。提供续写、改写、润色等功能,助力创作者高效优化写作流程。界面简洁,功能全面,适合各类写作者提升内容品质和工作效率。

AI辅助写作AI工具蛙蛙写作AI写作工具学术助手办公助手营销助手AI助手
问小白

问小白

全能AI智能助手,随时解答生活与工作的多样问题

问小白,由元石科技研发的AI智能助手,快速准确地解答各种生活和工作问题,包括但不限于搜索、规划和社交互动,帮助用户在日常生活中提高效率,轻松管理个人事务。

热门AI助手AI对话AI工具聊天机器人
Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手,它拥有超精准的音频识别翻译能力,几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球,无论你是留学生、商务人士、韩剧美剧爱好者,还是出国游玩、多国会议、跨国追星等等,都可以满足你所有需要同传的场景需求,线上线下通用,扫除语言障碍,让全世界的语言交流不再有国界。

讯飞智文

讯飞智文

一键生成PPT和Word,让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
下拉加载更多