GPBoost：结合树提升与高斯过程和混合效应模型

简介

**GPBoost是一个将树提升与高斯过程和分组随机效应模型（又称混合效应模型或潜在高斯模型）相结合的软件库。**它还允许独立应用树提升以及高斯过程和（广义）线性混合效应模型（LMMs和GLMMs）。GPBoost库主要用C++编写，具有C接口，并且有Python包和R包。

欲了解更多信息，您可以查看：

Python包和R包，包括安装说明
配套文章Sigrist (2022, JMLR)和Sigrist (2023, TPAMI)，了解方法背景
详细的Python示例和R示例
主要参数：GPBoost库最重要的参数/设置
以下博客文章：
CLI安装指南解释如何安装命令行界面（CLI）版本
关于计算效率和大数据的评论
https://gpboost.readthedocs.io的文档

建模背景

GPBoost算法将树提升与潜在高斯模型（如高斯过程（GP）和分组随机效应模型）相结合。这允许利用两种方法的优势并弥补它们的缺点；请参见下文了解这两种建模方法的优势和劣势列表。GPBoost算法可以看作是传统（广义）线性混合效应和高斯过程模型以及经典独立树提升（对表格数据通常具有最高预测能力）的泛化。

GPBoost算法的优势

与（广义）线性混合效应和高斯过程模型相比，GPBoost算法允许

以非参数和非线性方式对固定效应函数进行建模，从而可以得到更现实的模型，进而提高预测准确性

与经典独立提升相比，GPBoost算法允许

更高效地学习预测函数，这可以转化为更高的预测准确性
高效建模高基数分类变量
当空间预测应该在空间上连续或平滑变化时，可以建模空间或时空数据

建模细节

对于高斯似然（GPBoost算法），假设响应变量（又称标签）y是潜在非线性均值函数F(X)和随机效应Zb的和：

y = F(X) + Zb + xi

其中F(X)是树的和（="集成"），xi是独立误差项，X是预测变量（又称协变量或特征）。随机效应Zb目前可以包括：

高斯过程（包括随机系数过程）
分组随机效应（包括嵌套、交叉和随机系数效应）
上述效应的组合

对于非高斯似然（LaGaBoost算法），假设响应变量y遵循分布p(y|m)，并且该分布的（可能是多元的）参数m与非线性函数F(X)和随机效应Zb相关：

y ~ p(y|m)
m = G(F(X) + Zb)

其中G()是所谓的链接函数。请参见这里了解当前支持的似然 p(y|m)列表。

估计或训练上述模型意味着学习随机效应的协方差参数（又称超参数）和预测函数F(X)。GPBoost和LaGaBoost算法都通过迭代学习协方差参数，并使用函数梯度和/或牛顿提升步骤向树集成F(X)添加一棵树。更多详情请参见Sigrist (2022, JMLR)和Sigrist (2023, TPAMI)。

树提升和线性混合效应及GP模型的优势和劣势

经典独立树提升

优势	劣势
- 最先进的预测准确性	- 假设样本条件独立
- 自动建模非线性、不连续性和复杂的高阶交互	- 对空间数据等产生不连续的预测
- 对预测变量中的异常值和多重共线性具有鲁棒性	- 可能难以处理高基数分类变量
- 对预测变量的单调变换具有尺度不变性
- 自动处理预测变量中的缺失值

线性混合效应和高斯过程（GPs）模型（又称潜在高斯模型）

优点	缺点
- 概率预测，允许不确定性量化	- 零或线性先验均值（预测器，固定效应）函数
- 可以纳入合理的先验知识。例如对于空间数据："距离近的样本比距离远的样本更相似"，并且函数应在空间上连续/平滑变化
- 可以建模依赖关系，这among other things可以使固定效应（预测器）函数的学习更高效
- 分组随机效应可用于建模高基数分类变量

新闻

查看GitHub发布页面
2022年10月：很高兴宣布两篇配套文章分别发表在机器学习研究杂志（JMLR）和IEEE模式分析与机器智能汇刊（TPAMI）
2020/04/06：GPBoost首次发布

待解决问题 - 欢迎贡献

查看GitHub上带有enhancement标签的未解决问题

软件问题

添加Python测试（参见相应的R测试）
建立CI环境
支持将GPBoost模型转换为ONNX模型格式

方法论问题

支持多变量模型，例如使用协区域化
支持空间数据的区域模型，如CAR和SAR模型
支持多类分类，即多项式似然
实现更多方法，使高斯过程模型和具有多个分组变量的非高斯数据混合效应模型的计算在内存和时间上具有良好的可扩展性
支持样本权重
除欧几里得距离外，支持高斯过程的其他距离（如大圆距离）

计算问题

为高斯过程添加GPU支持
添加CHOLMOD支持

参考文献

Sigrist Fabio. "高斯过程提升"。机器学习研究杂志（2022）。
Sigrist Fabio. "潜在高斯模型提升"。IEEE模式分析与机器智能汇刊（2023）。
Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, Tie-Yan Liu. "LightGBM：高效梯度提升决策树"。神经信息处理系统进展 30（2017）。
Williams, Christopher KI, 和 Carl Edward Rasmussen. 机器学习的高斯过程。MIT出版社，2006。
Pinheiro, Jose, 和 Douglas Bates. S和S-PLUS中的混合效应模型。Springer科学与商业媒体，2006。