YoloDotNet: 高性能的C# .NET 8.0计算机视觉库

YoloDotNet简介

YoloDotNet是一个基于C# .NET 8.0开发的高性能计算机视觉库,它为开发者提供了一套强大而灵活的工具,用于处理各种计算机视觉任务。该库实现了YOLOv8和YOLOv10算法,支持实时图像和视频处理,可以满足从简单的图像分类到复杂的姿态估计等多种应用需求。

YoloDotNet的核心优势在于其高效的性能和易用性。它利用ML.NET和ONNX运行时来执行模型推理,并支持CUDA GPU加速,大大提升了处理速度。无论是在CPU还是GPU上运行,YoloDotNet都能提供卓越的性能表现。

主要功能

YoloDotNet支持以下主要功能:

1. 图像分类 - 对单个图像进行分类
2. 目标检测 - 在单个图像中检测多个对象
3. OBB检测 - 进行定向边界框检测
4. 图像分割 - 使用像素掩码分离检测到的对象
5. 姿态估计 - 识别图像中特定关键点的位置

这些功能涵盖了计算机视觉领域的多个重要任务,使YoloDotNet成为一个全面的视觉处理解决方案。

YoloDotNet 2.0版本更新

YoloDotNet 2.0版本是一次重大更新,主要聚焦于性能优化,为用户带来了更快、更高效的体验。以下是2.0版本的主要更新内容:

1. 速度大幅提升 - YoloDotNet现在比以往任何时候都更快。
2. 代码重构 - 对底层代码进行了优化,实现了更快的执行速度。
3. 图像处理库更换 - 从ImageSharp切换到SkiaSharp,带来疯狂快速的图像处理能力。
4. 内存效率提升 - 大幅提高了内存使用效率,更好地利用系统资源。
5. GC性能优化 - 显著减少了GC压力,带来了可观的性能提升。
6. 基准测试项目 - 新增了基准测试项目,用于测试和评估性能。
7. Yolov10支持 - 新增对Yolov10目标检测模型的支持。

这些更新使YoloDotNet 2.0成为一个性能卓越的计算机视觉库,能够满足各种高要求的应用场景。

性能分析

YoloDotNet 2.0版本在性能方面取得了显著的提升。以下是在Intel Core i7-7700K CPU和NVIDIA GeForce RTX 3060 GPU上进行的性能测试结果:

任务	v1.7平均时间(ms)	v2.0平均时间(ms)	提升(ms)	提升百分比
CPU图像分类	12.730	5.734	6.996	54.95%
GPU图像分类	7.708	2.255	5.453	70.73%
CPU目标检测	147.487	113.954	33.533	22.74%
GPU目标检测	39.935	13.751	26.184	65.56%
CPU图像分割	623.313	178.411	444.902	71.37%
GPU图像分割	477.539	37.857	439.682	92.07%
CPU姿态估计	140.823	116.557	24.266	17.23%
GPU姿态估计	31.588	12.582	19.006	60.16%
CPU OBB检测	401.694	346.193	55.501	13.82%
GPU OBB检测	71.935	27.591	44.344	61.62%

从上表可以看出,YoloDotNet 2.0在各项任务上都取得了显著的性能提升,尤其是在GPU加速方面,提升幅度更为明显。这些性能改进使YoloDotNet能够更好地满足实时处理的需求,为开发者提供了更高效的工具。

使用YoloDotNet

安装

YoloDotNet可以通过NuGet包管理器轻松安装。只需在项目中运行以下命令:

dotnet add package YoloDotNet

GPU加速 (可选)

YoloDotNet支持GPU加速,但需要安装CUDA和cuDNN。在安装之前,请确保检查ONNX运行时的当前版本兼容性。安装步骤如下:

1. 下载并安装CUDA v11.8
2. 下载cuDNN v8.9.7 ZIP for CUDA v11.x,解压并将bin文件夹中的dll文件复制到CUDA的bin文件夹中
3. 将CUDA的bin文件夹路径添加到系统环境变量Path中
4. 可以参考YouTube安装指南获取更详细的说明

模型准备

YoloDotNet使用ONNX格式的模型。如果您有自己训练的YOLOv8模型,需要将其导出为ONNX格式。可以参考官方文档了解如何导出ONNX模型。

基本使用

以下是使用YoloDotNet进行图像推理的基本示例:

using YoloDotNet;
using YoloDotNet.Enums;
using YoloDotNet.Models;
using YoloDotNet.Extensions;
using SkiaSharp;

// 实例化Yolo对象
using var yolo = new Yolo(new YoloOptions
{
    OnnxModel = @"path\to\model.onnx",      // ONNX格式的Yolov8或Yolov10模型
    ModelType = ModelType.ObjectDetection,  // 模型类型
    Cuda = false,                           // 是否使用CUDA GPU加速,默认为true
    GpuId = 0,                              // 选择GPU ID,默认为0
    PrimeGpu = false,                       // 是否预先分配GPU内存,默认为false
});

// 加载图像
using var image = SKImage.FromEncodedData(@"path\to\image.jpg");

// 运行推理并获取结果
var results = yolo.RunObjectDetection(image, confidence: 0.25, iou: 0.7);

// 在图像上绘制结果
using var resultsImage = image.Draw(results);

// 保存结果图像
resultsImage.Save(@"save\as\new_image.jpg", SKEncodedImageFormat.Jpeg, 80);

这个示例展示了如何使用YoloDotNet加载模型、处理图像、运行目标检测,并将结果可视化。

视频处理

YoloDotNet还支持视频处理,但需要额外安装FFmpeg和FFProbe。以下是处理视频的示例代码:

using YoloDotNet;
using YoloDotNet.Enums;
using YoloDotNet.Models;

// 实例化Yolo对象
using var yolo = new Yolo(new YoloOptions
{
    OnnxModel = @"path\to\model.onnx",
    ModelType = ModelType.ObjectDetection,
    Cuda = false,
    GpuId = 0,
    PrimeGpu = false,
});

// 设置视频选项
var options = new VideoOptions
{
    VideoFile = @"path\to\video.mp4",
    OutputDir = @"path\to\output\dir",
    // 其他可选参数...
};

// 在视频上运行目标检测
var results = yolo.RunObjectDetection(options, 0.25, 0.7);

// 进一步处理结果...

这个示例展示了如何使用YoloDotNet处理视频文件,运行目标检测,并获取结果。

高级功能

自定义关键点配置

YoloDotNet允许用户为姿态估计模型自定义关键点配置。可以参考示例代码了解如何配置关键点。

访问ONNX元数据和标签

YoloDotNet提供了访问ONNX模型元数据和标签的功能,这对于理解和使用模型非常有帮助。以下是一个示例:

using var yolo = new Yolo(@"path\to\model.onnx");

// 显示元数据
foreach (var property in yolo.OnnxModel.GetType().GetProperties())
{
    var value = property.GetValue(yolo.OnnxModel);
    Console.WriteLine($"{property.Name,-20}{value!}");

    if (property.Name == nameof(yolo.OnnxModel.CustomMetaData))
        foreach (var data in (Dictionary<string, string>)value!)
            Console.WriteLine($"{"",-20}{data.Key,-20}{data.Value}");
}

// 获取ONNX标签
var labels = yolo.OnnxModel.Labels;

Console.WriteLine($"Labels ({labels.Length}):");
Console.WriteLine(new string('-', 58));

for (var i = 0; i < labels.Length; i++)
    Console.WriteLine($"index: {i,-8} label: {labels[i].Name,20} color: {labels[i].Color}");

这个示例展示了如何访问和显示ONNX模型的元数据和标签信息。

性能优化和基准测试

YoloDotNet提供了基准测试项目,用于评估库的性能。这些基准测试可以帮助开发者了解YoloDotNet在不同硬件配置和任务类型下的性能表现。要运行基准测试,需要将解决方案设置为Release模式,然后运行YoloDotNet.Benchmarks项目。

基准测试结果对于比较不同版本的性能改进非常有用。开发者可以使用这些结果来识别性能瓶颈,并针对性地进行优化。

总结

YoloDotNet是一个功能强大、性能卓越的C# .NET计算机视觉库。它支持多种视觉任务,包括图像分类、目标检测、OBB检测、图像分割和姿态估计。通过利用ONNX运行时和GPU加速,YoloDotNet能够实现快速、高效的图像和视频处理。

2.0版本的发布带来了显著的性能提升,使YoloDotNet成为.NET生态系统中最快、最高效的计算机视觉库之一。无论是对于研究人员还是开发者,YoloDotNet都提供了一个强大而灵活的工具,可以轻松构建各种计算机视觉应用。

随着计算机视觉技术的不断发展,YoloDotNet也将继续更新和优化,为用户提供更多功能和更好的性能。开发者可以期待未来版本带来的新特性和改进,以满足不断变化的应用需求。

YoloDotNet的开源性质也鼓励社区贡献,开发者可以通过GitHub参与项目开发,报告问题或提出建议,共同推动这个优秀库的发展。无论是个人项目还是企业应用,YoloDotNet都是一个值得考虑的强大工具。