scikit-learn-ts

<img alt="sklearn ts 标志" src="https://yellow-cdn.veclightyear.com/835a84d5/ef006387-7290-4d6f-98b0-4392da920d6c.png"> <h1 align="center">scikit-learn-ts</h1> <p align="center"> <a href="https://www.npmjs.com/package/sklearn"><img alt="NPM" src="https://yellow-cdn.veclightyear.com/835a84d5/fc9630bd-e0f3-445e-9106-4d462e238f95.svg" /></a> <a href="https://github.com/transitive-bullshit/scikit-learn-ts/actions/workflows/test.yml"><img alt="构建状态" src="https://yellow-cdn.veclightyear.com/835a84d5/347104ce-9711-41e7-9223-c8078648f26f.svg" /></a> <a href="https://github.com/transitive-bullshit/scikit-learn-ts/blob/main/license"><img alt="MIT 许可证" src="https://img.shields.io/badge/license-MIT-blue" /></a> <a href="https://prettier.io"><img alt="Prettier 代码格式化" src="https://yellow-cdn.veclightyear.com/835a84d5/aa485fa0-13fe-4116-a3ff-ac61ce1cd5ae.svg" /></a> </p>

简介
特性
前提条件
安装
使用
限制
示例
为什么？
工作原理
致谢
许可证

简介

本项目使 Node.js 开发者能够使用 Python 强大的 scikit-learn 机器学习库 - 无需了解任何 Python 知识。🤯

更多信息请查看完整文档。

注意这个项目是新的且处于实验阶段。它非常适合本地开发，但我暂时不建议在生产环境中使用。你可以在 Twitter @transitive_bs 上关注项目进展。

特性

所有 TS 类都是从官方 Python scikit-learn 文档自动生成的！
支持全部 257 个类，并提供适当的 TS 类型和文档
- KMeans
- TSNE
- PCA
- LinearRegression
- LogisticRegression
- DecisionTreeClassifier
- RandomForestClassifier
- XGBClassifier
- DBSCAN
- StandardScaler
- MinMaxScaler
- ... 全部 💯
通常比基于 JS 的替代方案更快速和稳健
- （基准测试和比较即将推出）

前提条件

本项目面向 Node.js 用户，所以如果你不熟悉 Python，不用担心。这是唯一需要接触 Python 的步骤，应该相当简单。

确保你已安装 Node.js 和 Python 3，并且它们在你的 PATH 中。

node >= 14
python >= 3.7

在 Python 环境中，通过 pip 全局安装 numpy 和 scikit-learn，或使用你喜欢的虚拟环境管理器安装。运行 Node.js 程序的 shell 需要访问这些 Python 模块，所以如果你使用虚拟环境，请确保它已激活。

如果你不确定这意味着什么，没关系。首先安装 Python，这也会安装 Python 的包管理器 pip。然后运行：

pip install numpy scikit-learn

*恭喜！*你已经安全地导航到 Python 领域，从现在开始，我们将使用 Node.js / JS / TS。sklearn NPM 包将在底层使用你的 Python 安装。

安装

npm install sklearn

使用

更多信息请查看完整文档。

import * as sklearn from 'sklearn'

const data = [
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
]

const py = await sklearn.createPythonBridge()

const model = new sklearn.TSNE({
  n_components: 2,
  perplexity: 2
})
await model.init(py)

const x = await model.fit_transform({ X: data })
console.log(x)

await model.dispose()
await py.disconnect()

由于 TS 类是从 Python 文档自动生成的，代码看起来几乎与 Python 版本相同，所以可以使用他们优秀的 API 文档作为参考。

所有类名、方法名、属性（访问器）名称和类型都与官方 Python 版本相同。

主要区别是：

在使用任何 sklearn 类之前，你需要调用 createPythonBridge()
- 这会生成一个 Python 子进程并验证所有 Python 依赖项
- 你可以通过 createPythonBridge({ python: '/path/to/your/python3' }) 传递自定义的 python 路径
在使用类之前，你需要将这个桥接传递给类的异步 init 方法
- 这会创建一个表示你的类实例的底层 Python 变量
我们使用普通的 JavaScript 数组，而不是 numpy 或 pandas
- 在 Python 版本中使用 numpy 数组作为输入或输出的地方，我们只使用 number[]、number[][] 等
- 我们会在必要时自动处理与 numpy 数组的转换
当你使用完一个实例后，调用 dispose() 来释放底层 Python 资源
当你使用完 Python 桥接后，在桥接上调用 disconnect() 以干净地退出 Python 子进程

限制

我们目前不支持位置参数；只支持基于关键字的参数：

// 这样可以（关键字参数）
const x = await model.fit_transform({ X: data })

// 这样还不行（位置参数）
const y = await model.fit_transform(data)

我们目前不为 scikit-learn 的内置数据集生成 TS 代码
我们目前不为 scikit-learn 的顶级函数导出生成 TS 代码（目前只有类）
对于少数几个自动生成的 TS 类，有基本的单元测试，它们运行良好，但其他自动生成的类中可能存在边缘情况和 bug
- 如果你遇到任何奇怪的行为，请在 GitHub 上创建一个 issue，并尽可能包含详细信息，包括代码片段

示例

这里有一些并排的示例，左边使用官方 Python scikit-learn 包，右边使用 TS sklearn 包。

StandardScaler

<i><a href="https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.StandardScaler.html">StandardScaler Python 文档</a></i>

<table> <tr> <th width="450px"><b>Python</b></th> <th width="450px"><b>TypeScript</b></th> </tr> <tr> <td>

import numpy as np
from sklearn.preprocessing import StandardScaler

data = np.array([
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
])

s = StandardScaler()

x = s.fit_transform(data)

</td> <td>

import * as sklearn from 'sklearn'

const data = [
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
]

const py = await sklearn.createPythonBridge()

const s = new sklearn.StandardScaler()
await s.init(py)

const x = await s.fit_transform({ X: data })

</td> </tr> </table>

KMeans

<i><a href="https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html">KMeans Python 文档</a></i>

<table> <tr> <th width="450px"><b>Python</b></th> <th width="450px"><b>TypeScript</b></th> </tr> <tr> <td>

import numpy as np
from sklearn.cluster import KMeans

data = np.array([
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
])

model = KMeans(
  n_clusters=2,
  random_state=42,
  n_init='auto'
)

x = model.fit_predict(data)

</td> <td>

import * as sklearn from 'sklearn'

const data = [
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
]

const py = await sklearn.createPythonBridge()

const model = new sklearn.KMeans({
  n_clusters: 2,
  random_state: 42,
  n_init: 'auto'
})
await model.init(py)

const x = await model.fit_predict({ X: data })

</td> </tr> </table>

TSNE

<i><a href="https://scikit-learn.org/stable/modules/generated/sklearn.manifold.TSNE.html">TSNE Python 文档</a></i>

<table> <tr> <th width="450px"><b>Python</b></th> <th width="450px"><b>TypeScript</b></th> </tr> <tr> <td>

import numpy as np
from sklearn.manifold import TSNE

data = np.array([
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
])

model = TSNE(
  n_components=2,
  perplexity=2,
  learning_rate='auto',
  init='random'
)

x = model.fit_transform(data)

</td> <td>

import * as sklearn from 'sklearn'

const data = [
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
]

const py = await sklearn.createPythonBridge()

const model = new sklearn.TSNE({
  n_components: 2,
  perplexity: 2,
  learning_rate: 'auto',
  init: 'random'
})
await model.init(py)

const x = await model.fit_transform({ X: data })

</td> </tr> </table>

查看完整文档以获取更多示例。

为什么？

Python机器学习生态系统通常比Node.js机器学习生态系统成熟得多。大多数机器学习研究都是在Python中进行的，而许多Python开发者认为理所当然的常见机器学习任务在Node.js中要困难得多。

例如，我最近在使用全栈TypeScript进行一个数据可视化项目时，需要对一些文本嵌入进行k-means和t-SNE处理。我测试了6个不同的t-SNE JS包和几个k-means包。这些t-SNE包都无法处理中等大小的输入，在许多情况下速度慢了1000倍，而且我在使用基于JS的版本时经常遇到NaN问题。

这就说明了问题所在；在JS/TS领域要与经过验证的Python机器学习库（如scikit-learn）的稳健性、速度和成熟度竞争是非常困难的。

因此，与其尝试从头开始构建基于Rust的版本或使用上述临时的NPM包，我决定进行一个实验，看看在Node.js中直接使用scikit-learn有多实用。

这就是scikit-learn-ts诞生的原因。

工作原理

这个项目使用了python-bridge的一个分支，它将Python解释器作为子进程启动，并通过标准Unix管道进行双向通信。IPC管道不会干扰stdout/stderr/stdin，因此您的Node.js代码和底层Python代码可以正常打印内容。

TS库是从Python scikit-learn的API文档自动生成的。通过使用官方Python文档作为真实来源，我们可以保证一定程度的兼容性和可升级性。

对于每个属于导出Python class或function的scikit-learn HTML页面，我们首先使用cheerio解析其元数据、参数、方法、属性等，然后将Python类型转换为等效的TypeScript类型。然后我们生成一个相应的TypeScript文件，该文件通过PythonBridge封装该Python声明的实例。

对于每个TypeScript包装器class或function，我们特别注意处理Node.js和Python之间的值的JSON序列化，包括在必要时在原始数组和numpy数组之间进行转换。所有的numpy数组转换应该都会自动为您处理，因为我们只支持通过PythonBridge序列化原始JSON类型。可能存在一些自动numpy推断失败的边缘情况，但我们有一个针对这些情况的回归测试套件，所以只要官方Python文档对给定类型是正确的，那么我们的隐式numpy转换逻辑应该就能"正常工作"。

致谢

本项目与官方Python scikit-learn项目无关。希望有朝一日能成为其中的一部分。😄

所有复杂的机器学习工作都是通过官方Python scikit-learn项目在底层完成的，我们对他们绝对令人惊叹的团队表示充分的感谢。这个项目只是一个小型开源实验，试图为Node.js社区利用现有的scikit-learn生态系统。

查看完整文档以获取更多信息。

许可证

官方Python scikit-learn项目采用BSD 3-Clause许可。

如果您觉得这个项目有帮助，请考虑<a href="https://twitter.com/transitive_bs">在推特上关注我<img src="https://yellow-cdn.veclightyear.com/835a84d5/e1a4d9fd-cfd4-45f9-bc50-1ecc6c24bf67.svg" alt="twitter" height="24px" align="center"></a>