scicloj.ml:Clojure机器学习领域的新宠儿

scicloj.ml

scicloj.ml简介

scicloj.ml是一个专为Clojure语言设计的机器学习库,旨在为Clojure开发者提供一个功能强大且易于使用的机器学习工具集。它是Scicloj项目的核心组件之一,致力于推动Clojure在数据科学和机器学习领域的应用。

scicloj.ml的设计理念是"惯用且灵活"。它提供了一套统一的API来使用各种分类、回归和无监督学习模型,同时保持了Clojure语言的简洁和表达力。这个库不仅仅是对现有机器学习算法的简单封装,而是构建了一个完整的机器学习pipeline系统,使得数据处理、模型训练和评估变得更加流畅和直观。

主要特性

scicloj.ml具有以下几个突出的特点:

统一且惯用的API: scicloj.ml为各种机器学习模型提供了一致的接口,使得切换和比较不同模型变得非常简单。这种设计充分利用了Clojure的语言特性,使得代码更加简洁和易读。
数据驱动的机器学习管道: 该库支持创建"as-data"的机器学习管道。这意味着整个数据处理和模型训练流程可以被表示为数据结构,从而实现更高的灵活性和可复用性。
强大的交叉验证功能: scicloj.ml内置了复杂的交叉验证机制,可以轻松评估模型性能并进行超参数调优。
全面的数据预处理: 库中包含了大多数重要的数据转换和预处理功能,为模型训练做好准备。
实验跟踪: 通过回调机制,用户可以轻松地添加实验跟踪功能,记录训练过程中的各种指标和参数。
开放架构: scicloj.ml的设计允许轻松集成各种机器学习模型,甚至包括非JVM语言实现的模型和深度学习框架。
基于成熟的库: 该库建立在一系列经过验证的Clojure/Java数据科学库之上,如tech.ml.dataset、Smile和metamorph.ml等,确保了性能和可靠性。

Image of scicloj.ml architecture

快速入门

要开始使用scicloj.ml,首先需要在项目的依赖中添加以下内容:

{:deps
 {scicloj/scicloj.ml {:mvn/version "0.3"}}}

接下来,让我们通过一个简单的示例来展示scicloj.ml的基本用法。以下代码演示了如何使用scicloj.ml构建一个简单的逻辑回归模型来预测泰坦尼克号乘客的生存情况:

(require '[scicloj.ml.core :as ml]
         '[scicloj.ml.metamorph :as mm]
         '[scicloj.ml.dataset :as ds])

;; 读取训练和测试数据集
(def titanic-train
  (ds/dataset "https://github.com/scicloj/metamorph-examples/raw/main/data/titanic/train.csv" 
              {:key-fn keyword :parser-fn :string}))

(def titanic-test
  (-> "https://github.com/scicloj/metamorph-examples/raw/main/data/titanic/test.csv"
      (ds/dataset {:key-fn keyword :parser-fn :string})
      (ds/add-column :Survived [""] :cycle)))

;; 构建包含逻辑回归模型的pipeline函数
(def pipe-fn
  (ml/pipeline
   (mm/select-columns [:Survived :Pclass])
   (mm/add-column :Survived (fn [ds] (map #(case % "1" "yes" "0" "no" nil "") (:Survived ds))))
   (mm/categorical->number [:Survived :Pclass])
   (mm/set-inference-target :Survived)
   {:metamorph/id :model}
   (mm/model {:model-type :smile.classification/logistic-regression})))

;; 使用训练数据执行pipeline,训练模型
(def trained-ctx
  (pipe-fn {:metamorph/data titanic-train
            :metamorph/mode :fit}))

;; 使用测试数据执行pipeline,进行预测
(def test-ctx
  (pipe-fn
   (assoc trained-ctx
          :metamorph/data titanic-test
          :metamorph/mode :transform)))

;; 提取预测结果
(-> test-ctx :metamorph/data
    (ds/column-values->categorical :Survived))

这个例子展示了scicloj.ml的几个关键特性:

使用ml/pipeline构建数据处理和模型训练的pipeline
使用mm命名空间中的函数进行数据预处理
使用mm/model定义和训练机器学习模型
使用相同的pipeline函数进行模型训练和预测

社区和支持

scicloj.ml拥有活跃的社区支持。开发者可以通过以下渠道获取帮助和交流经验:

Clojurians Zulip: Scicloj.ml on Zulip
Clojurians Slack: Scicloj.ml on Slack

这些平台提供了与其他scicloj.ml用户和开发者直接交流的机会,是解决问题和分享知识的绝佳场所。

文档和资源

为了帮助用户充分利用scicloj.ml,项目提供了全面的文档和教程:

此外,API文档可在https://scicloj.github.io/scicloj.ml找到,提供了详细的函数和参数说明。

架构和组成

scicloj.ml本身是一个"shim"库,它将多个底层库的功能整合并重新导出,为用户提供一个统一的接口。主要的组成部分包括:

tech.ml.dataset: 提供高效的底层数据存储
Smile: 提供机器学习模型
metamorph.ml: 作为高级ML函数的基础

scicloj.ml将这些库的功能组织成三个主要的命名空间:

scicloj.ml.core: 包含核心ML函数
scicloj.ml.dataset: 提供数据集操作函数
scicloj.ml.metamorph: 包含可直接在metamorph pipeline中使用的函数

这种架构设计使得scicloj.ml既能提供高级的抽象,又能让用户在需要时直接访问底层库的功能。

插件系统

scicloj.ml的一个重要特性是其可扩展的插件系统。这允许轻松集成新的模型和算法,大大增强了库的功能。目前可用的插件包括:

scicloj.ml.smile: 内置插件,提供Smile库的模型
scicloj.ml.xgboost: 内置插件,提供XGBoost模型
sklearn.clj: 集成所有sklearn模型
scicloj.ml.top2vec: 提供Top2Vec模型
scicloj.ml.crf: 提供来自StanfordNLP的命名实体识别(NER)模型
scicloj.ml.clj-djl: 使用来自DJL的fasttext模型

这种插件架构使得scicloj.ml能够不断扩展其功能,同时保持核心库的简洁和高效。

Image of scicloj.ml plugins

结论

scicloj.ml为Clojure开发者提供了一个强大、灵活且易用的机器学习工具集。通过统一的API、数据驱动的pipeline、强大的预处理功能和开放的插件架构,它大大简化了在Clojure中进行机器学习的过程。无论是对于初学者还是经验丰富的数据科学家,scicloj.ml都是一个值得关注和使用的库。

随着Clojure在数据科学领域的不断发展,scicloj.ml正在成为这个生态系统中不可或缺的一部分。它不仅提供了强大的功能,还通过其设计理念和实现方式,展示了Clojure语言在处理复杂数据处理和机器学习任务时的优势。

对于那些寻求在Clojure中进行serious机器学习工作的开发者来说,scicloj.ml无疑是一个极具吸引力的选择。它提供了从数据预处理到模型训练、评估和部署的全流程支持,同时保持了Clojure语言的简洁性和表达力。随着社区的不断贡献和库的持续发展,我们可以期待看到scicloj.ml在未来为Clojure数据科学生态系统带来更多创新和可能性。