3DModelingRL

3DModelingRL

深度强化学习在3D建模中的应用与突破

3DModelingRL项目展示了一种创新的3D建模方法,利用深度强化学习模拟人类建模过程。项目包含Prim-Agent和Mesh-Agent两个核心组件,分别用于生成基于图元的表示和编辑网格。该方法在ECCV 2020会议发表,为3D建模领域开辟新方向。项目提供完整代码、预训练模型和数据集,便于研究者进一步探索和应用。

3D建模强化学习PyTorch计算机视觉ECCV 2020Github开源项目

通过强化学习对3D形状建模

此存储库包含ECCV 2020论文通过强化学习对3D形状建模的源代码,我们在该论文中首次尝试使用深度强化学习(DRL)来对人类建模师建模3D形状。

快速演示

cd demo
python prim_agent_demo.py
python mesh_agent_demo.py

该演示以RGB图像为参考输入。Prim-Agent将生成基于基元的表示,并创建一个文件夹prim_result/保存一些中间结果。Prim-Agent将加载prim_result/中保存的基元来编辑其网格,一些中间结果将保存在mesh_result/中。

代码

安装

您需要安装PyTorchNumPySciPy。本代码在Python 3.7.4、PyTorch 1.3.0、NumPy 1.17.2和SciPy 1.3.1上的Ubuntu 18.04.4上进行了测试。

您可以选择性安装TensorboardX来可视化训练。该存储库包含了binvox的一部分代码。

训练

  • 首先训练Prim-Agent
cd Prim-Agent
python train.py
  • 然后使用训练好的Prim-Agent为所有数据生成基元和边缘循环文件
python generate_edgeloop.py
  • 使用Prim-Agent的输出来训练Mesh-Agent
cd Mesh-Agent
python train.py
  • 在调用时需要提供训练数据和保存结果& logs的路径。
  • 可以通过修改Prim-Agent/config.pyMesh-Agent/config.py中的参数来更改设置。

测试

  • 调用Prim-Agent/test.pyMesh-Agent/test.py进行测试。在调用时需要提供数据和预训练模型的路径。

下载

  • 数据 data.zip
  • 预训练模型 pretrained.zip
  • 解压下载的文件以替换datapretrained文件夹;然后您可以直接运行代码,无需修改调用train.pytest.py时的参数。

引用: 如果您在研究中发现我们的工作有用,请考虑引用:

@inproceedings{lin2020modeling,
  title={Modeling 3d shapes by reinforcement learning},
  author={Lin, Cheng and Fan, Tingxiang and Wang, Wenping and Nie{\ss}ner, Matthias},
  booktitle={European Conference on Computer Vision},
  pages={545--561},
  year={2020},
  organization={Springer}
}

联系方式: 如有任何问题,请发送电子邮件至Cheng Lin,地址为chlin@hku.hk

编辑推荐精选

Vora

Vora

免费创建高清无水印Sora视频

Vora是一个免费创建高清无水印Sora视频的AI工具

Refly.AI

Refly.AI

最适合小白的AI自动化工作流平台

无需编码,轻松生成可复用、可变现的AI自动化工作流

酷表ChatExcel

酷表ChatExcel

大模型驱动的Excel数据处理工具

基于大模型交互的表格处理系统,允许用户通过对话方式完成数据整理和可视化分析。系统采用机器学习算法解析用户指令,自动执行排序、公式计算和数据透视等操作,支持多种文件格式导入导出。数据处理响应速度保持在0.8秒以内,支持超过100万行数据的即时分析。

AI工具酷表ChatExcelAI智能客服AI营销产品使用教程
TRAE编程

TRAE编程

AI辅助编程,代码自动修复

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
AIWritePaper论文写作

AIWritePaper论文写作

AI论文写作指导平台

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

AI辅助写作AI工具AI论文工具论文写作智能生成大纲数据安全AI助手热门
博思AIPPT

博思AIPPT

AI一键生成PPT,就用博思AIPPT!

博思AIPPT,新一代的AI生成PPT平台,支持智能生成PPT、AI美化PPT、文本&链接生成PPT、导入Word/PDF/Markdown文档生成PPT等,内置海量精美PPT模板,涵盖商务、教育、科技等不同风格,同时针对每个页面提供多种版式,一键自适应切换,完美适配各种办公场景。

AI办公办公工具AI工具博思AIPPTAI生成PPT智能排版海量精品模板AI创作热门
潮际好麦

潮际好麦

AI赋能电商视觉革命,一站式智能商拍平台

潮际好麦深耕服装行业,是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌,以及国内10万+淘宝、天猫、京东等主流平台的品牌商家,为卖家节省将近85%的出图成本,提升约3倍出图效率,让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌,基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构,帮助企业扫清合规障碍,筑牢风控防线,成为您企业专属的AI法律顾问。

SimilarWeb流量提升

SimilarWeb流量提升

稳定高效的流量提升解决方案,助力品牌曝光

稳定高效的流量提升解决方案,助力品牌曝光

Sora2视频免费生成

Sora2视频免费生成

最新版Sora2模型免费使用,一键生成无水印视频

最新版Sora2模型免费使用,一键生成无水印视频

下拉加载更多