wd-vit-tagger-v3

项目介绍：WD ViT Tagger v3

项目概述

WD ViT Tagger v3是一个用于图像标注的项目，支持对图像的评级、角色和一般标签的识别。该项目主要利用一种称为Transformer的深度学习模型进行训练，并旨在为用户提供准确的图像标注结果。训练过程中使用了专门提供的TPU（Tensor Processing Unit），这大大提高了模型的训练效率。

数据集

WD ViT Tagger v3的训练数据主要来自于Danbooru网站的图像。具体来说，用于训练的数据集是ID为0000到0899模的图像，而用于验证的数据集则是ID为0950到0999模的图像。为了保证数据的质量，项目过滤掉了那些标签少于10个的图像，同时也排除了那些出现在少于600幅图像中的标签。

验证结果

在验证阶段，模型版本v2的指标是：阈值为0.2614时的F1值为0.4402；而版本v1的指标是：阈值为0.2547时的F1值为0.4278。F1值是衡量模型准确性的重要指标，越高表明模型的性能越好。

新特性

• 模型v2.0/数据集v3：该版本在原有基础上多训练了几轮，并使用了基于标签频率的损失缩放方法来解决类别不平衡的问题。

• 模型v1.1/数据集v3：此版本更新了JAX模型的配置文件，增加了图像尺寸的设置，但未对已训练的权重进行修改。

• 模型v1.0/数据集v3：该版本加入了更多的训练图像，并更新了标签（截至2024年2月28日）。模型现在与timm库兼容，用户可以通过一行代码轻松加载和使用。此外，ONNX模型的批处理维度不再固定为1，使得批量推理更加灵活。

运行依赖

使用ONNX模型时，需要确保onnxruntime版本不低于1.17.0。

推理代码示例

• timm库：相关示例代码位于此处。
• ONNX：相关示例代码可以在Hugging Face平台找到。
• JAX：相关示例代码在此链接提供。

最后说明

这个项目仍在不断更新和改进中。下游用户在使用时，建议依赖于项目的正式发布版本，而不是仅依靠代码仓库中的最新版本，以确保稳定性和兼容性。