VoTT: 微软开源的视觉对象标注工具

VoTT简介

VoTT (Visual Object Tagging Tool) 是由微软开发的一款开源图像和视频标注工具，旨在帮助用户构建端到端的对象检测模型。作为一个基于Electron的跨平台应用程序，VoTT提供了直观的用户界面和强大的功能，使得数据标注过程变得更加高效和便捷。

主要特性

VoTT具有以下几个主要特性：

1. 支持图像和视频帧的标注
2. 可扩展的数据导入模型，支持从本地或云存储提供商导入数据
3. 可扩展的数据导出模型，支持将标注数据导出到本地或云存储提供商
4. 提供端到端机器学习流程支持

安装和运行

VoTT提供了多种安装和运行方式，以满足不同用户的需求：

1. 下载并安装发布包（推荐）：

   • 访问GitHub Releases页面
   • 下载适合您操作系统的安装包（Windows、Linux或macOS）
   • 安装并运行

2. 从源代码构建和运行：

   • 克隆GitHub仓库：git clone https://github.com/Microsoft/VoTT.git
   • 进入项目目录：cd VoTT
   • 安装依赖：npm ci
   • 启动应用：npm start

3. 作为Web应用运行：

   • 使用现代Web浏览器访问：https://vott.z22.web.core.windows.net

注意：Web版本无法访问本地文件系统，所有资产必须通过云项目导入/导出。

使用VoTT

创建连接

VoTT采用"自带数据"(BYOD)的方式工作。在VoTT中，连接用于配置和管理源（要标记的资产）和目标（标签应导出到的位置）。

目前，VoTT支持以下连接类型：

• Azure Blob存储
• Bing图像搜索
• 本地文件系统

要创建新连接，请点击左侧导航栏中的"新建连接"（插头）图标。

创建新项目

VoTT的标记工作流程围绕项目展开。项目定义了源和目标连接，以及项目元数据（包括标记资产时使用的标签）。

创建新项目时，需要设置以下内容：

• 源连接：从何处获取资产
• 目标连接：项目文件和导出数据应存储在何处
• 标签：定义用于标注的标签集

标注图像

打开项目后，主标签编辑器窗口包含三个主要部分：

1. 可调整大小的预览窗格，包含来自源连接的可滚动图像和视频列表
2. 主编辑器窗格，允许在绘制的区域上应用标签
3. 标签编辑器窗格，允许用户修改、锁定、重新排序和删除标签

选择左侧的图像或视频后，它将加载到主标签编辑器中。然后，您可以在加载的资产上绘制区域并应用标签。

标注视频

标注视频类似于标注一系列图像。选择视频后，它将自动开始播放。视频播放器提供了多种控制选项，包括：

• 上一帧/下一帧按钮
• 上一个标记帧/下一个标记帧按钮
• 时间线上的颜色标记，指示已访问和已标记的帧

导出标签

完成资产标注后，可以将其导出为多种格式：

• Azure Custom Vision Service
• Microsoft Cognitive Toolkit (CNTK)
• TensorFlow (Pascal VOC和TFRecords)
• VoTT (通用JSON模式)
• 逗号分隔值 (CSV)

点击左侧导航栏中的"导出"（箭头）图标，选择适当的导出提供程序和要导出的资产。

键盘快捷键

VoTT提供了多种键盘快捷键，以提高标注效率：

• 标签排序：使用1-0快捷键分配给前10个标签
• 标签锁定：使用Ctrl/Cmd + 标签快捷键锁定标签
• 编辑器快捷键：
  • V：指针/选择工具
  • R：绘制矩形
  • P：绘制多边形
  • Ctrl/Cmd + S：保存项目
  • Ctrl/Cmd + E：导出项目

项目协作

VoTT最初由微软以色列的商业软件工程（CSE）小组开发。V2版本由微软华盛顿州雷德蒙德的CSE小组开发。

贡献指南

VoTT欢迎社区贡献。如果您想为项目做出贡献，请查看贡献指南。

结语

VoTT作为一款功能强大的开源图像和视频标注工具，为构建高质量的对象检测模型提供了重要支持。通过其直观的界面和丰富的功能，VoTT极大地简化了数据标注过程，使得研究人员和开发者能够更加专注于模型的开发和优化。随着计算机视觉技术的不断发展，VoTT将继续在机器学习和人工智能领域发挥重要作用。

无论您是机器学习初学者还是经验丰富的研究人员，VoTT都能为您的项目提供有力支持。我们鼓励您尝试使用VoTT，并期待您的反馈和贡献，共同推动这个优秀工具的发展。