AutoMLPipeline.jl: 简化机器学习流水线构建的Julia包

AutoMLPipeline.jl

AutoMLPipeline.jl: 简化机器学习流水线构建的Julia包

AutoMLPipeline.jl(简称AMLP)是一个强大的Julia包,旨在通过简洁的表达式使构建复杂的机器学习流水线变得简单直观。它充分利用了Julia语言内置的宏编程功能,实现了对流水线表达式的符号化处理和操作,为机器学习回归和分类任务发现最优结构提供了极大便利。

主要特性

AMLP具有以下几个突出特点:

符号化的流水线API,可以轻松表达和描述复杂的流水线结构和处理工作流
为Scikit-learn、DecisionTree等常用机器学习库提供了统一的API封装
通过重载fit!和transform!两个主要接口,可以轻松扩展新功能
支持元集成方法,允许递归组合多个集成模型,构建更强大的预测例程
针对不同数据类型提供了专门的分类和数值特征选择器

使用示例

下面是一个典型的机器学习工作流示例,展示了AMLP强大的表达能力:

model = (catf |> ohe) + (numf |> pca) + (numf |> ica) |> rf
fit!(model, Xtrain, Ytrain)
prediction = transform!(model, Xtest) 
score(:accuracy, prediction, Ytest)
crossvalidate(model, X, Y, "balanced_accuracy_score")

这个例子包含了以下步骤:

对分类特征进行独热编码
对数值特征分别进行PCA和ICA变换
将处理后的特征连接起来
输入到随机森林模型进行训练

整个流程通过一行简洁的表达式就完成了定义。

可视化流水线结构

AMLP还支持使用AbstractTrees包来可视化流水线结构:

using AbstractTrees
using AutoMLPipeline

expr = @pipelinex (catf |> ohe) + (numf |> pca) + (numf |> ica) |> rf
print_tree(stdout, expr)

这将输出一个树状结构,清晰展示流水线的组成。

动机

机器学习工作流通常包含特征提取、特征转换、特征选择和建模等多个步骤。每个步骤都有多种可选的函数和参数。优化整个流水线的性能是一个组合搜索问题,需要同时考虑预处理步骤的顺序和组合、各个步骤参数的优化,以及最佳模型及其超参数的选择。

AMLP将这个过程视为一个流水线优化问题(Pipeline Optimization Problem, POP)。POP需要同时优化流水线结构和调整各个元素的参数。因此,有一种优雅的方式来表达流水线结构可以大大降低优化过程的复杂性。

安装

AMLP已经加入Julia官方包注册表,可以通过Julia的包管理器轻松安装:

julia> ]
pkg> add AutoMLPipeline

扩展AMLP

AMLP提供了简单的扩展机制,只需定义新的结构体并实现fit!和transform!方法即可添加自定义的过滤器、转换器或学习器:

using DataFrames
using AutoMLPipeline.AbsTypes

mutable struct MyFilter <: Transformer
  name::String
  model::Dict
  args::Dict
  function MyFilter(args::Dict())
    # 初始化代码
  end
end

function fit!(fl::MyFilter, features::DataFrame, target::Vector=Vector())
  # 训练代码  
end

function transform!(fl::MyFilter, features::DataFrame)::DataFrame
  # 转换代码
end

export MyFilter