HaGRID - 手势识别图像数据集

我们引入了一个大型图像数据集HaGRID(HAnd Gesture Recognition Image Dataset)用于手势识别(HGR)系统。您可以将其用于图像分类或图像检测任务。建议的数据集允许构建HGR系统,这些系统可用于视频会议服务(Zoom、Skype、Discord、Jazz等)、家庭自动化系统、汽车行业等。

HaGRID的大小为723GB,数据集包含554,800张全高清RGB图像,分为18类手势。此外,如果帧中有第二只空闲的手,某些图像会有no_gesture类。这个额外的类包含120,105个样本。数据被按主体user_id划分为74%的训练集、10%的验证集和16%的测试集,其中训练集有410,800个图像,验证集有54,000个图像,测试集有90,000个图像。

该数据集包含37,583位独特的参与者和至少同样数量的独特场景。参与者年龄在18到65岁之间。该数据集主要在室内收集,光线条件有很大差异,包括人工光和自然光。此外,该数据集还包括在面对和背对窗户的极端条件下拍摄的图像。同时,参与者必须在距离相机0.5到4米的范围内展示手势。

样本及其标注示例:

更多信息请参见我们的arXiv论文HaGRID - 手势识别图像数据集。

🔥 更新日志

• 2023/09/21:我们发布了HaGRID 2.0. ✌️
  • 将训练和测试的所有文件合并到一个目录
  • 进一步清理数据,并添加了新的数据
  • 支持多GPU训练和测试
  • 新增了检测和全帧分类的模型
  • 数据集大小为723GB
  • 554,800张全高清RGB图像(清理并更新类别,增加种族多样性)
  • 额外的no_gesture类包含120,105个样本
  • 训练/验证/测试分割:(410,800) 74% / (54,000) 10% / (90,000) 16% 按主体user_id
  • 37,583位独特参与者
• 2022/06/16: HaGRID (初始数据集) 💪
  • 数据集大小为716GB
  • 552,992张全高清RGB图像,分为18个类别
  • 额外的no_gesture类包含123,589个样本
  • 训练/测试分割:(509,323) 92% / (43,669) 8% 按主体user_id
  • 34,730位独特参与者,年龄在18到65岁之间
  • 距离相机0.5到4米

旧版HaGRID数据集也可以在分支hagrid_v1中获取!

安装

克隆并安装所需的Python包:

git clone https://github.com/hukenovs/hagrid.git
# 或镜像链接:
cd hagrid
# 使用conda或venv创建虚拟环境
conda create -n gestures python=3.11 -y
conda activate gestures
# 安装依赖
pip install -r requirements.txt

下载

由于训练数据集的大小,我们将其按手势分割成18个压缩包。从以下链接下载并解压缩:

数据集

手势	大小	手势	大小
呼叫	37.2 GB	和平	41.4 GB
不喜欢	40.9 GB	和平倒置	40.5 GB
拳头	42.3 GB	岩石	41.7 GB
四	43.1 GB	停止	41.8 GB
喜欢	42.2 GB	停止倒置	41.4 GB
静音	43.2 GB	三	42.2 GB
好	42.5 GB	三2	40.2 GB
一	42.7 GB	两个竖起	41.8 GB
手掌	43.0 GB	两个竖起倒置	40.9 GB

数据集注解: 注解

HaGRID 512px - 完整数据集轻量级版本,最小边长为512像素 26.4 GB

或使用Python脚本下载

python download.py --save_path <PATH_TO_SAVE> \
                   --annotations \
                   --dataset

运行以下命令并使用 --dataset 键下载数据集。 使用 --annotations 键下载所选阶段的注解。

usage: download.py [-h] [-a] [-d] [-t TARGETS [TARGETS ...]] [-p SAVE_PATH]

下载数据集...

可选参数:
  -h, --help            显示帮助消息并退出
  -a, --annotations     下载注解
  -d, --dataset         下载数据集
  -t TARGETS [TARGETS ...], --targets TARGETS [TARGETS ...]
                        要下载的训练集目标
  -p SAVE_PATH, --save_path SAVE_PATH
                        保存路径

下载完成后,可以运行以下命令解压存档:

unzip <PATH_TO_ARCHIVE> -d <PATH_TO_SAVE>

数据集的结构如下:

├── hagrid_dataset <PATH_TO_DATASET_FOLDER>
│   ├── call
│   │   ├── 00000000.jpg
│   │   ├── 00000001.jpg
│   │   ├── ...
├── hagrid_annotations
│   ├── train <PATH_TO_JSON_TRAIN>
│   │   ├── call.json
│   │   ├── ...
│   ├── val <PATH_TO_JSON_VAL>
│   │   ├── call.json
│   │   ├── ...
│   ├── test <PATH_TO_JSON_TEST>
│   │   ├── call.json
│   │   ├── ...

模型

我们提供了一些预训练的基线模型,使用了经典的骨干架构进行手势分类和手势检测。

检测器	mAP
SSDLiteMobileNetV3Small	57.7
SSDLiteMobileNetV3Large	71.6
RetinaNet_ResNet50	79.1
YoloV7Tiny	71.6

然而，如果您只需要一个手势，您可以使用预训练的全帧分类器而不是检测器。 要使用全帧模型，请删除no_gesture类

全帧分类器	F1手势
MobileNetV3_small	86.4
MobileNetV3_large	91.9
VitB16	91.1
ResNet18	97.5
ResNet152	95.5
ResNeXt50	98.3
ResNeXt101	97.5

<details><summary><h3>训练</h3></summary>

您可以使用下载的训练模型，否则在 configs 文件夹中选择训练参数。 要训练模型，请执行以下命令:

单GPU:

python run.py -c train -p configs/<config>

多GPU:

bash ddp_run.sh -g 0,1,2,3 -c train -p configs/<config>

其中 -g 是GPU ID的列表。

每一步, 当前的损失, 学习率和其他值都会被记录到 Tensorboard。 通过打开命令行查看所有保存的指标和参数(这将在 localhost:6006 打开一个网页):

tensorboard --logdir=<workdir>

</details> <details><summary><h3>测试</h3></summary>

通过运行以下命令测试您的模型:

单GPU:

python run.py -c test -p configs/<config>

多GPU:

bash ddp_run.sh -g 0,1,2,3 -c test -p configs/<config>

其中 -g 是GPU ID的列表。

</details>

演示

python demo.py -p <PATH_TO_CONFIG> --landmarks

全帧分类器演示

python demo_ff.py -p <PATH_TO_CONFIG>

注释

注释由COCO格式的手部边界框 [左上角X位置, 左上角Y位置, 宽度, 高度] 和手势标签组成。我们提供 user_id 字段,以便您自己将训练/验证/测试数据集分开。

"0534147c-4548-4ab4-9a8c-f297b43e8ffb": {
  "bboxes": [
    [0.38038597, 0.74085361, 0.08349486, 0.09142549],
    [0.67322755, 0.37933984, 0.06350809, 0.09187757]
  ],
  "labels": [
    "no_gesture",
    "one"
  ],
  "user_id": "bb138d5db200f29385f..."
}

• 键 - 不带扩展名的图像名称
• Bboxes - 归一化边界框列表 [左上角X位置, 左上角Y位置, 宽度, 高度]
• 标签 - 类标签列表,如 like, stop, no_gesture
• 用户ID - 主体ID(对于将数据拆分为训练/验证子集很有用)。

边界框

对象	训练 + 验证	测试	总计
手势	~ 28 300	~ 2 400	30 629
无手势	112 740	10 849	123 589
总框数	622 063	54 518	676 581

转换器

<details><summary> <b>Yolo</b> </summary>

我们提供了一个脚本来将注释转换为YOLO格式。要转换注释,请运行以下命令:

python -m converters.hagrid_to_yolo --path_to_config <PATH>

转换后,您需要更改原始定义 img2labels 为:

def img2label_paths(img_paths):
    img_paths = list(img_paths)
    # 将标签路径定义为图像路径的函数
    if "train" in img_paths[0]:
        return [x.replace("train", "train_labels").replace(".jpg", ".txt") for x in img_paths]
    elif "test" in img_paths[0]:
        return [x.replace("test", "test_labels").replace(".jpg", ".txt") for x in img_paths]
    elif "val" in img_paths[0]:
        return [x.replace("val", "val_labels").replace(".jpg", ".txt") for x in img_paths]

</details> <details><summary> <b>Coco</b> </summary>

我们还提供了一个脚本来将注释转换为Coco格式。要转换注释,请运行以下命令:

</details> ```bash python -m converters.hagrid_to_coco --path_to_config <路径> ```