简介

PyTorch3D 为基于 PyTorch 的 3D 计算机视觉研究提供高效、可重用的组件。

主要特点包括：

用于存储和操作三角网格的数据结构
高效的三角网格操作（投影变换、图卷积、采样、损失函数）
可微分网格渲染器
Implicitron，请参阅其 README，这是一个通过隐式表示进行新视角合成的框架。（博客文章）

PyTorch3D 设计用于与深度学习方法无缝集成，以预测和操作 3D 数据。为此，PyTorch3D 中的所有操作符：

使用 PyTorch 张量实现
可以处理异构数据的小批量
可微分
可以利用 GPU 加速

在 FAIR 内部，PyTorch3D 已被用于支持如 Mesh R-CNN 等研究项目。

请查看我们的博客文章以了解更多演示并了解 PyTorch3D。

安装

详细说明请参阅 INSTALL.md。

许可证

PyTorch3D 根据 BSD 许可证发布。

教程

通过尝试以下教程笔记本来开始使用 PyTorch3D。

<img src="https://yellow-cdn.veclightyear.com/835a84d5/b50c6f73-0fa9-4060-bcf3-2873309298e9.gif" width="310"/>	<img src="https://yellow-cdn.veclightyear.com/835a84d5/8f7d14e3-82cd-498e-a6cf-ed083f55b6f9.gif" width="310"/>
将球体网格变形为海豚	光束平差

<img src="https://yellow-cdn.veclightyear.com/835a84d5/b7505c22-f298-4eeb-82c5-433494c7636a.gif" width="310"/>	<img src="https://yellow-cdn.veclightyear.com/835a84d5/64ae97f0-76fd-480c-b573-cdabc6909d1c.gif" width="310" height="310"/>
渲染带纹理的网格	相机位置优化

<img src="https://yellow-cdn.veclightyear.com/835a84d5/be8eed1c-bf0d-4389-b89f-eaaf2e7bb739.png" width="310"/>	<img src="https://yellow-cdn.veclightyear.com/835a84d5/37f7f350-a114-47cd-8bb1-dcac796d5090.gif" width="310" height="310"/>
渲染带纹理的点云	拟合带纹理的网格

<img src="https://yellow-cdn.veclightyear.com/835a84d5/e532c283-53f3-46f9-a0f8-50f2f017ce0b.png" width="310"/>	<img src="https://yellow-cdn.veclightyear.com/835a84d5/b264b44f-cdd9-4b10-b62f-8f7ed0b19a0e.png" width="310" height="310"/>
渲染 DensePose 数据	加载和渲染 ShapeNet 数据

<img src="https://yellow-cdn.veclightyear.com/835a84d5/33e88454-bc96-4360-877b-abc13351b86f.gif" width="310"/>	<img src="https://yellow-cdn.veclightyear.com/835a84d5/dfdb569e-cd4d-485f-9e5e-3d27c7cc4d40.gif" width="310" height="310"/>
拟合带纹理的体积	拟合简单神经辐射场

<img src="https://yellow-cdn.veclightyear.com/835a84d5/33e88454-bc96-4360-877b-abc13351b86f.gif" width="310"/>	<img src="https://yellow-cdn.veclightyear.com/835a84d5/f4b1e385-bf66-4b27-a034-c99f450532e8.gif" width="310" height="310"/>
在 Implicitron 中拟合带纹理的体积	Implicitron 配置系统

文档

通过阅读 PyTorch3D 文档了解更多关于 API 的信息。

我们还有几个 API 组件的深入说明：

概述视频

我们制作了一个简短（约 14 分钟）的视频教程，概述了 PyTorch3D 代码库，包括几个代码示例。点击下方图片在 YouTube 上观看视频：

开发

我们欢迎对 PyTorch3D 的新贡献，并将积极维护这个库！请参阅 CONTRIBUTING.md 了解如何运行代码、测试和 linter，以及提交拉取请求的完整说明。

开发和兼容性

main 分支：积极开发中，无任何保证，随时可能出现任何问题
- 备注：这包括从 main 构建的每日构建版本
- 提示：提交历史可以帮助定位回归或变更
发布版本之间的向后兼容性：无保证。会尽最大努力传达破坏性变更并促进代码或数据（包括模型）的迁移。

贡献者

PyTorch3D 由 Facebook AI 研究计算机视觉团队编写和维护。

按字母顺序排列：

Amitav Baruah
Steve Branson
Krzysztof Chalupka
Jiali Duan
Luya Gao
Georgia Gkioxari
Taylor Gordon
Justin Johnson
Patrick Labatut
Christoph Lassner
Wan-Yen Lo
David Novotny
Nikhila Ravi
Jeremy Reizenstein
Dave Schnizlein
Roman Shapovalov
Olivia Wiles

引用

如果您在研究中发现 PyTorch3D 有用，请引用我们的技术报告：

@article{ravi2020pytorch3d,
    author = {Nikhila Ravi and Jeremy Reizenstein and David Novotny and Taylor Gordon
                  and Wan-Yen Lo and Justin Johnson and Georgia Gkioxari},
    title = {Accelerating 3D Deep Learning with PyTorch3D},
    journal = {arXiv:2007.08501},
    year = {2020},
}

如果您正在使用 pulsar 后端进行球体渲染（PulsarPointRenderer 或 pytorch3d.renderer.points.pulsar.Renderer），请引用以下技术报告：

@article{lassner2020pulsar,
    author = {Christoph Lassner and Michael Zollh\"ofer},
    title = {Pulsar: Efficient Sphere-based Neural Rendering},
    journal = {arXiv:2004.07484},
    year = {2020},
}