bpycv: 为Blender提供的计算机视觉和深度学习工具

bpycv:为Blender提供的计算机视觉和深度学习工具

bpycv是一个强大的Python库,为3D建模软件Blender提供了丰富的计算机视觉和深度学习功能。它可以让研究人员和开发者轻松地使用Blender生成高质量的合成数据集,用于训练和测试计算机视觉算法。

主要功能

bpycv具有以下核心功能:

渲染实例分割、语义分割和全景分割标注
生成6自由度(6DoF)姿态的真实标注数据
渲染深度图真实标注数据
预定义的域随机化功能:
- 自动从HDRI Haven下载光照和背景
- 从ShapeNet数据集添加干扰物体
- 使用Texture Haven的纹理
简单的安装和运行演示
支持Docker容器
提供构建合成数据集的Python代码库
支持转换为Cityscapes数据集格式

安装

bpycv支持Blender 2.9、3.0和3.1+版本。安装步骤如下:

从Blender官网下载并安装Blender。
在终端中打开Blender目录,运行以下安装脚本:

# 确保pip已安装
./blender -b --python-expr "from subprocess import sys,call;call([sys.executable,'-m','ensurepip'])"

# 更新pip工具链
./blender -b --python-expr "from subprocess import sys,call;call([sys.executable]+'-m pip install -U pip setuptools wheel'.split())"

# 安装bpycv
./blender -b --python-expr "from subprocess import sys,call;call([sys.executable]+'-m pip install -U bpycv'.split())"

# 检查bpycv是否安装成功
./blender -b -E CYCLES --python-expr "import bpycv,cv2;d=bpycv.render_data();bpycv.tree(d);cv2.imwrite('/tmp/try_bpycv_vis(inst-rgb-depth).jpg', d.vis()[...,::-1])"

使用示例

以下是一个快速的实例分割和深度图生成示例:

import cv2
import bpy
import bpycv
import random
import numpy as np

# 移除所有MESH对象
[bpy.data.objects.remove(obj) for obj in bpy.data.objects if obj.type == "MESH"]

for index in range(1, 20):
    # 在随机位置创建立方体和球体作为实例
    location = [random.uniform(-2, 2) for _ in range(3)]
    if index % 2:
        bpy.ops.mesh.primitive_cube_add(size=0.5, location=location)
        categories_id = 1
    else:
        bpy.ops.mesh.primitive_uv_sphere_add(radius=0.5, location=location)
        categories_id = 2
    obj = bpy.context.active_object
    # 为每个实例设置唯一的inst_id,用于生成实例标注
    obj["inst_id"] = categories_id * 1000 + index

# 一行代码渲染图像、实例标注和深度图
result = bpycv.render_data()

# 保存结果
cv2.imwrite("demo-rgb.jpg", result["image"][..., ::-1])  # 转换RGB图像为OpenCV的BGR格式
cv2.imwrite("demo-inst.png", np.uint16(result["inst"]))  # 保存实例图为16位PNG
depth_in_mm = result["depth"] * 1000  # 将深度单位从米转换为毫米
cv2.imwrite("demo-depth.png", np.uint16(depth_in_mm))  # 保存为16位PNG

# 为人类可视化实例掩码、RGB图像和深度图
cv2.imwrite("demo-vis(inst_rgb_depth).jpg", result.vis()[..., ::-1])

运行上述代码后,打开demo-vis(inst_rgb_depth).jpg文件,可以看到生成的实例分割、RGB图像和深度图的可视化结果。

实例分割、RGB图像和深度图示例

YCB数据集演示

bpycv还提供了基于YCB数据集的更复杂演示。以下是运行步骤:

mkdir ycb_demo
cd ycb_demo/

# 准备代码和示例数据
git clone https://github.com/DIYer22/bpycv
git clone https://github.com/DIYer22/bpycv_example_data

cd bpycv/example/

blender -b -P ycb_demo.py

cd dataset/vis/
ls .  # 查看可视化结果

打开ycb_demo/bpycv/example/dataset/vis/0.jpg可以看到生成的结果:

YCB数据集演示结果

这个YCB演示包括:

背景、光照和干扰物体(来自ShapeNet)的域随机化
基于YCB数据集构建合成数据集的代码库

6DoF姿态演示

bpycv还提供了生成和可视化6自由度姿态真实标注数据的演示。详细代码可以查看example/6d_pose_demo.py。

6DoF姿态演示

使用技巧

Blender可能无法直接加载YCB和ShapeNet数据集中的.obj或.dae文件。建议使用meshlabserver进行转换和格式化,命令如下:

meshlabserver -i raw.obj -o for_blender.obj -m wt

bpycv项目欢迎任何建议和贡献。如果你在使用过程中遇到问题或有改进意见,可以在GitHub Issues中提出。

总的来说,bpycv为计算机视觉研究人员和开发者提供了一个强大而灵活的工具,可以轻松地使用Blender生成高质量的合成数据集。无论是实例分割、语义分割、深度估计还是6D姿态估计,bpycv都能满足各种计算机视觉任务的数据需求。它的简单安装过程和丰富的示例代码,使得即使是Blender新手也能快速上手并开始生成自己的数据集。