OpenSeeFace: 强大的实时人脸和面部特征点跟踪库

OpenSeeFace:强大的实时人脸和面部特征点跟踪库

OpenSeeFace是一个功能强大的开源人脸跟踪库,专门用于实时检测和跟踪人脸以及面部特征点。该项目由开发者emilianavt在GitHub上发布,旨在提供一个高性能、高精度的人脸跟踪解决方案,特别适用于虚拟形象驱动等应用场景。

项目概述

OpenSeeFace基于MobileNetV3网络架构实现了面部特征点检测模型。为了优化性能,开发者将模型转换为ONNX格式,并使用onnxruntime进行推理。这使得OpenSeeFace能够在CPU上实现30-60fps的单人脸跟踪速度,大大降低了硬件要求。

值得注意的是,OpenSeeFace本身是一个跟踪库,而非独立的虚拟形象驱动程序。不过,它已被广泛应用于多个相关项目中,如:

VSeeFace:一款使用OpenSeeFace跟踪来驱动VRM和VSFAvatar 3D模型的软件
VTube Studio:利用OpenSeeFace实现基于网络摄像头的Live2D模型动画

此外,还有面向Godot引擎的渲染器可供选择。这些应用充分展示了OpenSeeFace作为底层跟踪库的强大功能和灵活性。

跟踪质量

OpenSeeFace采用了略微不同于常见方法的66点面部特征点模型。虽然这使得与其他方法的数值比较变得困难,但OpenSeeFace在实际应用中表现出色。

根据观察,OpenSeeFace在不利条件下(如低光照、高噪声、低分辨率)仍能保持良好的跟踪效果。它能够在很大范围的头部姿势变化中保持跟踪,并且特征点位置相对稳定。与MediaPipe相比,OpenSeeFace在具有挑战性的条件下表现更加稳定,并且能够更准确地表现各种嘴部姿势。

不过,OpenSeeFace在眼睛区域的跟踪精度可能略逊一筹。开发者进行了一项对比实验,将OpenSeeFace与MediaPipe和其他方法在3D人脸重建任务中进行了比较,结果显示OpenSeeFace具有竞争力的表现。

使用方法

OpenSeeFace的核心功能由Python脚本facetracker.py实现。它可以处理网络摄像头输入或视频文件,并通过UDP发送跟踪数据。这种设计使得跟踪可以在单独的PC上进行,有利于提高性能并避免意外泄露摄像头画面。

对于Unity开发者,OpenSeeFace提供了OpenSee组件来接收UDP数据包。OpenSeeShowPoints组件可以可视化检测到的面部特征点。此外还有OpenSeeLauncher组件,可以直接从Unity启动跟踪程序。

OpenSeeFace还包含表情检测功能,通过OpenSeeExpression组件实现。这需要进行用户特定的校准,可以通过Unity编辑器中的复选框或公共方法来控制。

模型选择

OpenSeeFace提供了4个预训练的面部特征点模型,用户可以根据需求在速度和精度之间进行权衡:

模型-1:超快速但精度很低的模型,适用于性能极其受限的设备
模型0:快速低精度模型
模型1:稍慢但精度更高的模型
模型2:速度较慢但精度良好的模型
模型3(默认):最慢但精度最高的模型

用户可以通过--model参数选择不同的模型。较低质量的模型主要表现为更加刚性的跟踪,对眨眼和眉毛动作的检测较差。

性能考虑

面部跟踪可能会占用大量CPU资源。在30fps的单人脸跟踪中,通常会占用一个CPU核心的接近100%。如果CPU使用率过高,可以尝试降低帧率。20fps的帧率通常就足够了,超过30fps的帧率很少有必要。

此外,当设置的跟踪人脸数量高于实际画面中的人脸数量时,人脸检测模型会每隔一定帧数运行一次,这可能会降低性能。因此建议将--faces参数设置为不高于实际跟踪的人脸数量。

发布版本

OpenSeeFace的发布版本中包含了一个使用pyinstaller构建的facetracker.exe可执行文件,集成了所有必要的依赖。使用时需要将models文件夹放在同一目录下。发布版本使用了不含遥测功能的自定义ONNX Runtime构建。

依赖项

OpenSeeFace的主要依赖项包括:

ONNX Runtime
OpenCV
Pillow
Numpy

这些库可以通过pip安装:

pip install onnxruntime opencv-python pillow numpy

也可以使用poetry在单独的虚拟环境中安装所有依赖。

算法来源

OpenSeeFace的算法受到了多个研究工作的启发,包括:

ULSee的神经网络架构设计
TensorFlow.js的实时人体姿势估计
U-Net卷积网络
MobileNets系列高效神经网络
Adaptive Wing Loss损失函数

此外,OpenSeeFace还使用了LIBSVM进行表情检测,以及基于RetinaFace的人脸检测方法。

许可证

总结

OpenSeeFace作为一个开源的实时人脸跟踪库,在性能、精度和易用性方面都达到了很高的水平。它为虚拟形象驱动、人机交互等应用提供了强大的底层支持。虽然在某些细节上可能还有改进空间,但OpenSeeFace无疑是目前最受欢迎的人脸跟踪解决方案之一。

对于开发者来说,OpenSeeFace提供了丰富的配置选项和详细的文档,使其易于集成到各种项目中。而对于研究人员,OpenSeeFace的开源特性也为进一步的改进和创新提供了可能。

随着虚拟现实、增强现实等技术的不断发展,像OpenSeeFace这样的高性能人脸跟踪库必将在未来发挥更加重要的作用。我们期待看到更多基于OpenSeeFace的创新应用,以及OpenSeeFace本身的持续进化和完善。

OpenSeeFace示例图

OpenSeeFace跟踪效果示例

OpenSeeFace跟踪结果

OpenSeeFace面部特征点跟踪结果

通过以上详细介绍,我们可以看到OpenSeeFace在实时人脸跟踪领域的卓越表现。无论是其灵活的配置选项、优秀的跟踪质量,还是广泛的应用前景,都使得OpenSeeFace成为一个值得关注和使用的开源项目。对于有兴趣深入了解或应用人脸跟踪技术的开发者和研究者来说,OpenSeeFace无疑是一个极具价值的工具和研究对象。