Inpaint Anything-修复删除替换图像、视频和3D 场景中的任何内容

项目简介

Inpaint Anything 是由国内团队开源的、可以修复图像、视频和3D 场景中内容的工具。

用户可以通过点击来选择图像中的任何对象，借助强大的视觉模型，例如SAM、LaMa和Stable Diffusion (SD)，Inpaint Anything能够平滑地移除对象（即Remove Anything）。此外，在用户输入文本的提示下，Inpaint Anything 可以用任何所需的内容填充对象（即Fill Anything）或任意替换其背景（即Replace Anything）。

技术亮点

• 支持任意纵横比
• 支持2K分辨率
• 可用arXiv 技术报告
• 可用于网站
• 可用本地网络用户界面
• 支持多种模式（即图像、视频和 3D 场景）

功能一、删除任何物体

点击图像中的某个对象，“修复任何内容”将立即将其删除！

• 点击一个对象；
• 分段任意模型(SAM) 将对象分段；
• 修复模型（例如，LaMa）填补了“漏洞”。

功能二、填充任何物体

点击一个对象，输入您想要填充的内容，Inpaint Anything 就会填充它！

• 单击一个对象；
• SAM将对象分割出来；
• 输入文字提示；
• 文本提示引导的修复模型（例如，稳定扩散）根据文本填充“洞”。

功能三、替换任何物体

点击一个对象，输入您要替换的背景，Inpaint Anything 将替换它！

• 单击一个对象；
• SAM将对象分割出来；
• 输入文字提示；
• 文本提示引导的修复模型（例如，稳定扩散）根据文本替换背景。

功能四、删除任何3D内容

只需点击源视图第一个视图中的对象，Remove Anything 3D 就可以从整个场景中删除该对象！

• 单击源视图第一个视图中的对象；
• SAM将对象分割出来（使用三种可能的掩码）；
• 选择一个mask；
• 利用诸如OSTrack之类的跟踪模型来跟踪这些视图中的对象；
• SAM根据跟踪结果将每个源视图中的对象分割出来；
• 利用LaMa等修复模型来修复每个源视图中的对象。
• 利用NeRF等新颖的视图合成模型来合成没有对象的场景的新颖视图。

功能五、删除任何视频