System Animator Online: AI驱动的全身动作捕捉与XR解决方案

System Animator Online:AI驱动的全身动作捕捉与XR解决方案

System Animator Online是一款创新的AI驱动动作捕捉应用,为VTubing和元宇宙时代带来了全新的可能性。这款应用继承自开发者之前的桌面小工具项目System Animator,现已发展成为一个功能强大的网络应用程序。

核心技术与特性

System Animator Online采用了MediaPipe和TensorFlow.js等先进的机器学习技术,能够通过单个网络摄像头实现全身动作的实时捕捉。它可以检测用户的3D姿态,并将其应用到3D虚拟形象(MMD/VRM模型)上,实现如同真人操控一般的效果。这种技术非常适合用于虚拟主播(VTubing)以及各种XR和3D应用场景。

XR Animator

该应用提供了多种动作跟踪选项,用户可以选择跟踪面部、全身,或是面部/身体/手部的任意组合。这种灵活性使得它能够适应不同的使用需求和场景。

跨平台兼容性

System Animator Online的网页版可以在各种主流网页浏览器上运行,包括桌面和智能手机平台。对于支持Web Worker和OffscreenCanvas技术的浏览器(如Chrome),它甚至可以在普通配置的PC上实现60fps的视觉渲染和30fps的身体姿态检测。对于处理能力有限的智能手机,用户可以选择仅使用面部跟踪功能以获得更好的性能。

除了网页版,System Animator Online还提供了Windows和Linux平台的桌面应用版本。这个版本基于Electron框架开发,提供了一些只有在原生操作系统环境下才能实现的额外功能,如VMC协议支持和透明背景等。

增强现实(AR)体验

XR Animator in AR

System Animator Online在移动设备上支持增强现实(AR)模式,可以将3D模型渲染到真实世界场景中。这个功能需要支持Google ARCore技术的移动设备,以及Chrome浏览器和新的WebXR API。通过AR模式,用户可以在真实环境中放置和交互3D虚拟形象,创造出令人惊叹的混合现实体验。

此外,应用还支持AR自拍功能,允许用户同时使用前置摄像头(用于AR)和自拍摄像头,实现与3D虚拟形象合影的效果。这为社交媒体分享和创意表达提供了新的可能性。

丰富的功能与应用场景

System Animator Online不仅仅是一个动作捕捉工具,它还提供了许多强大的功能:

支持"完美同步"/ARKit兼容的52个混合形状,实现逼真的面部跟踪。
可以使用任何MMD/VRM模型作为3D虚拟形象。
能够录制动作捕捉数据,并导出为BVH或VMD动作格式。
支持加载VMD/FBX/BVH格式的3D动作。
可以将FBX/BVH动作导出为VMD格式。
允许用户使用2D图像/视频、3D全景图和3D对象(.x/.glb格式)自定义背景和3D场景。
在Electron模式下支持VMC协议,可以在其他支持VMC的应用程序(如VSeeFace、Unity和Unreal Engine)中驱动3D模型。
在Electron模式下支持无边框窗口和透明背景,方便在OBS等视频捕捉应用中使用。

这些功能使得System Animator Online成为一个多功能的创意工具,可以应用于虚拟主播、游戏开发、动画制作、互动装置等多个领域。

性能与兼容性

System Animator Online的系统要求相对较低,使其能够在包括笔记本电脑和智能手机在内的广泛设备上运行。在配备GTX1650级别GPU的入门级PC上运行全身动作捕捉时,可以实现以下性能:

姿态/手指跟踪: 20+ fps
面部跟踪: 40+ fps (上限为30fps)
3D渲染: 60fps

对于笔记本电脑用户,如果遇到帧率低于预期的情况,可能是因为应用程序默认使用了较慢的集成GPU。用户可以通过配置图形卡设置,确保使用更快的独立GPU来提高性能。

开源与社区

System Animator Online是一个开源项目,遵循CC BY-NC-SA 4.0许可证。这意味着其他开发者可以在非商业用途的前提下,自由地修改和分发这个项目的代码。这种开放的态度促进了社区的参与和创新,为项目的持续发展注入了活力。

然而,开发者也坦承,由于项目的历史渊源,部分代码可能显得过时或难以理解。这对于想要基于此项目开发自己应用的开发者来说可能是一个挑战。尽管如此,对于大多数用户来说,作为一个成品应用,System Animator Online仍然是一个功能强大、易于使用的工具。

未来展望与支持

System Animator Online的未来发展很大程度上依赖于社区的支持。开发者坦言,由于个人原因,项目的财务压力增加,可能影响到后续的开发工作。为了保持项目的可持续性,开发者呼吁用户考虑通过捐赠或加入会员计划来支持项目。会员可以享受到提前访问最新版本等特权,这不仅能够帮助维持项目的运营,还能为用户带来额外的价值。

结语

System Animator Online代表了虚拟现实和增强现实技术在创意表达和互动娱乐领域的最新应用。它不仅为虚拟主播和内容创作者提供了强大的工具,也为普通用户打开了探索虚拟世界的大门。随着技术的不断进步和社区的持续支持,我们可以期待System Animator Online在未来带来更多令人兴奋的可能性,推动XR技术在更广泛的领域中的应用和发展。