rPPG-Toolbox

项目介绍

什么是rPPG-Toolbox?

rPPG-Toolbox是一个开源平台，专为基于摄像头的生理信号感应，也就是遥测光电容积图（remote photoplethysmography, rPPG）而设计。这个工具箱不仅提供了对现有最先进的神经网络和无监督方法的基准测试，还支持用户灵活快速地开发自己的算法。

支持的算法

rPPG-Toolbox当前支持多种算法，分为传统的无监督算法和监督神经算法：

传统无监督算法

• 基于环境光的遥测光电容积成像 (GREEN)
• 使用网络摄像头的非接触式多参数生理测量 (ICA)
• 基于颜色稳态的遥测光电容积图的稳健脉冲率测量 (CHROM)
• 面部视频中脉搏率估计的局部组不变性 (LGI)
• 通过使用血容量脉搏特征提高远程光电容积图对运动的鲁棒性 (PBV)
• 远程光电容积图的算法原理 (POS)
• 从面部提取血容量脉搏的无监督流程 (OMIT)

监督神经算法

• DeepPhys：使用卷积注意力网络进行基于视频的生理测量
• PhysNet：使用时空网络从面部视频测量遥测光电容积信号
• TS-CAN：用于设备上非接触式生命特征测量的多任务时间偏移注意力网络
• EfficientPhys：实现简单、快速、准确的基于摄像头的心脏测量
• BigSmall：针对不同空间和时间生理测量的多任务学习
• PhysFormer：使用时间差分变压器进行面部视频的生理测量
• iBVPNet：在iBVP数据集论文中引入的3D-CNN架构
• PhysMamba：与慢速快速时间差分Mamba有效的远程生理测量
• RhythmFormer：基于层次时间周期变压器提取rPPG信号

提供的数据集

rPPG-Toolbox支持七个数据集，包括SCAMPS、UBFC-rPPG、PURE、BP4D+、UBFC-Phys、MMPD和iBVP。建议使用UBFC-rPPG、PURE、iBVP或SCAMPS进行训练，因为这些数据集在同步性和数据量方面表现良好。

工具箱功能

数据处理与设置

工具箱提供了简单的脚本安装方法，用户可以选择使用conda或uv来配置环境。通过运行预设的配置文件，用户可以对已训练的模型进行快速测试，或在指定数据集上训练新的神经网络模型。

可视化与评估

rPPG-Toolbox提供了测试集神经方法输出预测和标签的可视化工具，以及预处理数据的可视化工具。此外，工具箱默认生成Bland—Altman图，用于图形化比较测量技术。

如何合作与支持

如果觉得该项目对您有帮助，请给项目点赞并在您的研究中引用相关工作。对于任何问题或疑虑，欢迎通过GitHub页面创建issue进行讨论。

致谢

该研究项目得到了Google博士奖学金、思科大学研究基金以及其他基金会的支持。我们由衷感谢来自开源社区的所有贡献者。