AOT-GAN-for-Inpainting

AOT-GAN-for-Inpainting

基于聚合上下文变换的高分辨率图像修复技术

AOT-GAN for Inpainting项目提出了一种创新的图像修复模型,旨在解决高分辨率图像中大面积缺失区域的修复问题。该模型结合了聚合上下文变换(AOT)块和SoftGAN技术,分别增强了上下文推理能力和纹理合成质量。AOT块能够有效捕捉远距离上下文信息和丰富的特征模式,而SoftGAN则通过改进判别器训练,提高了真实和合成图像细节的识别能力。这种方法在面部、物体和场景图像的高质量修复上取得了显著成效。

AOT-GAN图像修复高分辨率生成对抗网络上下文转换Github开源项目

AOT-GAN用于高分辨率图像修复

aotgan

Arxiv论文 |

AOT-GAN:用于高分辨率图像修复的聚合上下文转换<br> 曾艳红付剑龙巢宏杨郭百宁<br>

引用

如果我们的论文和代码对您的工作有帮助, 请慷慨地引用并为我们点赞 :kissing_heart: :kissing_heart: :kissing_heart: !

@inproceedings{yan2021agg,
  author = {Zeng, Yanhong and Fu, Jianlong and Chao, Hongyang and Guo, Baining},
  title = {Aggregated Contextual Transformations for High-Resolution Image Inpainting},
  booktitle = {Arxiv},
  pages={-},
  year = {2020}
}

简介

尽管取得了一些有希望的结果,但现有的图像修复方法在填充高分辨率图像(如512x512)中的大面积缺失区域时仍然面临挑战。我们分析认为,这些困难主要来自于同时推断缺失内容和为极大的缺失区域合成精细纹理。 我们提出了一个基于GAN的模型,通过以下方式提高性能:

  1. 通过生成器中的AOT块增强上下文推理。 AOT块聚合了不同感受野的上下文转换,允许捕捉信息丰富的远距离上下文和丰富的感兴趣模式进行上下文推理。
  2. 通过判别器中的SoftGAN增强纹理合成。 我们通过定制的掩码预测任务改进了判别器的训练。经过增强的判别器被优化以区分真实和合成补丁的详细外观,从而反过来促使生成器合成更逼真的纹理。

结果

face_object logo

先决条件

  • python 3.8.8
  • pytorch (在Release 1.8.1上测试)

安装

克隆此仓库。

git clone git@github.com:researchmm/AOT-GAN-for-Inpainting.git
cd AOT-GAN-for-Inpainting/

对于完整的所需Python包集,我们建议从提供的YAML创建一个Conda环境,例如:

conda env create -f environment.yml
conda activate inpainting

数据集

  1. 下载图像和掩码
  2. 通过--dir_image--dir_mask指定训练数据的路径。

入门指南

  1. 训练:
    • 我们的代码基于Pytorch的分布式训练构建。
    • 运行
    cd src
    python train.py
    
  2. 恢复训练:
    cd src
    python train.py --resume
    
  3. 测试:
    cd src
    python test.py --pre_train [预训练模型路径]
    
  4. 评估:
    cd src
    python eval.py --real_dir [真实图像] --fake_dir [修复结果] --metric mae psnr ssim fid
    

预训练模型

CELEBA-HQ | Places2

下载模型目录并将其放在experiments/

演示

  1. 下载预训练模型参数并将其放在experiments/
  2. 运行
cd src
python demo.py --dir_image [图像文件夹] --pre_train [预训练模型路径] --painter [bbox|freeform]
  1. 按"+"或"-"控制画笔粗细。
  2. 按"r"重置掩码;"k"保留现有修改;"s"保存结果。
  3. 按空格键执行修复;"n"移至下一张图像;"Esc"退出演示。

face logo

TensorBoard

支持在TensorBoard上进行训练可视化。

运行tensorboard --logdir [日志文件夹] --bind_all并打开浏览器查看训练进度。

许可证

本项目基于Apache 2.0许可发布。请查看LICENSE文件了解更多信息。

致谢

我们要感谢edge-connectEDSR_PyTorch

编辑推荐精选

Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

热门AI工具生产力协作转型TraeAI IDE
OmniParser

OmniParser

帮助AI理解电脑屏幕 纯视觉GUI元素的自动化解析方案

开源工具通过计算机视觉技术实现图形界面元素的智能识别与结构化处理,支持自动化测试脚本生成和辅助功能开发。项目采用模块化设计,提供API接口与多种输出格式,适用于跨平台应用场景。核心算法优化了元素定位精度,在动态界面和复杂布局场景下保持稳定解析能力。

Github开源项目OmniParser界面解析交互区域检测
Grok3

Grok3

埃隆·马斯克旗下的人工智能公司 xAI 推出的第三代大规模语言模型

Grok3 是由埃隆·马斯克旗下的人工智能公司 xAI 推出的第三代大规模语言模型,常被马斯克称为“地球上最聪明的 AI”。它不仅是在前代产品 Grok 1 和 Grok 2 基础上的一次飞跃,还在多个关键技术上实现了创新突破。

腾讯元宝

腾讯元宝

腾讯自研的混元大模型AI助手

腾讯元宝是腾讯基于自研的混元大模型推出的一款多功能AI应用,旨在通过人工智能技术提升用户在写作、绘画、翻译、编程、搜索、阅读总结等多个领域的工作与生活效率。

AI助手热门AI工具AI对话腾讯元宝智能体 AI 办公助手
Windsurf Wave 3

Windsurf Wave 3

Windsurf Editor推出第三次重大更新Wave 3

新增模型上下文协议支持与智能编辑功能。本次更新包含五项核心改进:支持接入MCP协议扩展工具生态,Tab键智能跳转提升编码效率,Turbo模式实现自动化终端操作,图片拖拽功能优化多模态交互,以及面向付费用户的个性化图标定制。系统同步集成DeepSeek、Gemini等新模型,并通过信用点数机制实现差异化的资源调配。

AI IDE
Cursor

Cursor

增强编程效率的AI代码编辑器

Cursor作为AI驱动的代码编辑工具,助力开发者效率大幅度提升。该工具简化了扩展、主题和键位配置的导入,可靠的隐私保护措施保证代码安全,深受全球开发者信赖。此外,Cursor持续推出更新,不断优化功能和用户体验。

AI工具AI开发辅助编程CursorAI代码编辑器
Manus

Manus

全面超越基准的 AI Agent助手

Manus 是一款通用人工智能代理平台,能够将您的创意和想法迅速转化为实际成果。无论是定制旅行规划、深入的数据分析,还是教育支持与商业决策,Manus 都能高效整合信息,提供精准解决方案。它以直观的交互体验和领先的技术,为用户开启了一个智慧驱动、轻松高效的新时代,让每个灵感都能得到完美落地。

飞书知识问答

飞书知识问答

飞书官方推出的AI知识库 上传word pdf即可部署AI私有知识库

基于DeepSeek R1大模型构建的知识管理系统,支持PDF、Word、PPT等常见文档格式解析,实现云端与本地数据的双向同步。系统具备实时网络检索能力,可自动关联外部信息源,通过语义理解技术处理结构化与非结构化数据。免费版本提供基础知识库搭建功能,适用于企业文档管理和个人学习资料整理场景。

酷表ChatExcel

酷表ChatExcel

大模型驱动的Excel数据处理工具

基于大模型交互的表格处理系统,允许用户通过对话方式完成数据整理和可视化分析。系统采用机器学习算法解析用户指令,自动执行排序、公式计算和数据透视等操作,支持多种文件格式导入导出。数据处理响应速度保持在0.8秒以内,支持超过100万行数据的即时分析。

AI工具使用教程AI营销产品酷表ChatExcelAI智能客服
DeepEP

DeepEP

DeepSeek开源的专家并行通信优化框架

DeepEP是一个专为大规模分布式计算设计的通信库,重点解决专家并行模式中的通信瓶颈问题。其核心架构采用分层拓扑感知技术,能够自动识别节点间物理连接关系,优化数据传输路径。通过实现动态路由选择与负载均衡机制,系统在千卡级计算集群中维持稳定的低延迟特性,同时兼容主流深度学习框架的通信接口。

下拉加载更多