Project Icon

scikit-learn-ts

Node.js环境下的Python机器学习库集成方案

scikit-learn-ts项目为Node.js开发者提供了使用Python scikit-learn机器学习库的便捷方式。该项目自动生成257个TypeScript类,涵盖KMeans、TSNE和PCA等算法,性能优于纯JavaScript实现。适用于本地开发环境,配有详细文档和示例,简化了Node.js中的机器学习应用。

sklearn ts 标志

scikit-learn-ts

NPM 构建状态 MIT 许可证 Prettier 代码格式化

简介

本项目使 Node.js 开发者能够使用 Python 强大的 scikit-learn 机器学习库 - 无需了解任何 Python 知识。🤯

更多信息请查看完整文档

注意 这个项目是新的且处于实验阶段。它非常适合本地开发,但我暂时不建议在生产环境中使用。你可以在 Twitter @transitive_bs 上关注项目进展。

特性

  • 所有 TS 类都是从官方 Python scikit-learn 文档自动生成的!
  • 支持全部 257 个类,并提供适当的 TS 类型和文档
    • KMeans
    • TSNE
    • PCA
    • LinearRegression
    • LogisticRegression
    • DecisionTreeClassifier
    • RandomForestClassifier
    • XGBClassifier
    • DBSCAN
    • StandardScaler
    • MinMaxScaler
    • ... 全部 💯
  • 通常比基于 JS 的替代方案更快速和稳健
    • (基准测试和比较即将推出)

前提条件

本项目面向 Node.js 用户,所以如果你不熟悉 Python,不用担心。这是唯一需要接触 Python 的步骤,应该相当简单。

确保你已安装 Node.js 和 Python 3,并且它们在你的 PATH 中。

  • node >= 14
  • python >= 3.7

在 Python 环境中,通过 pip 全局安装 numpyscikit-learn,或使用你喜欢的虚拟环境管理器安装。运行 Node.js 程序的 shell 需要访问这些 Python 模块,所以如果你使用虚拟环境,请确保它已激活。

如果你不确定这意味着什么,没关系。首先安装 Python,这也会安装 Python 的包管理器 pip。然后运行:

pip install numpy scikit-learn

*恭喜!*你已经安全地导航到 Python 领域,从现在开始,我们将使用 Node.js / JS / TS。sklearn NPM 包将在底层使用你的 Python 安装。

安装

npm install sklearn

使用

更多信息请查看完整文档

import * as sklearn from 'sklearn'

const data = [
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
]

const py = await sklearn.createPythonBridge()

const model = new sklearn.TSNE({
  n_components: 2,
  perplexity: 2
})
await model.init(py)

const x = await model.fit_transform({ X: data })
console.log(x)

await model.dispose()
await py.disconnect()

由于 TS 类是从 Python 文档自动生成的,代码看起来几乎与 Python 版本相同,所以可以使用他们优秀的 API 文档 作为参考。

所有类名、方法名、属性(访问器)名称和类型都与官方 Python 版本相同。

主要区别是:

  • 在使用任何 sklearn 类之前,你需要调用 createPythonBridge()
    • 这会生成一个 Python 子进程并验证所有 Python 依赖项
    • 你可以通过 createPythonBridge({ python: '/path/to/your/python3' }) 传递自定义的 python 路径
  • 在使用类之前,你需要将这个桥接传递给类的异步 init 方法
    • 这会创建一个表示你的类实例的底层 Python 变量
  • 我们使用普通的 JavaScript 数组,而不是 numpypandas
    • 在 Python 版本中使用 numpy 数组作为输入或输出的地方,我们只使用 number[]number[][]
    • 我们会在必要时自动处理与 numpy 数组的转换
  • 当你使用完一个实例后,调用 dispose() 来释放底层 Python 资源
  • 当你使用完 Python 桥接后,在桥接上调用 disconnect() 以干净地退出 Python 子进程

限制

  • 我们目前不支持位置参数;只支持基于关键字的参数:
// 这样可以(关键字参数)
const x = await model.fit_transform({ X: data })

// 这样还不行(位置参数)
const y = await model.fit_transform(data)
  • 我们目前不为 scikit-learn 的内置数据集生成 TS 代码
  • 我们目前不为 scikit-learn 的顶级函数导出生成 TS 代码(目前只有类)
  • 对于少数几个自动生成的 TS 类,有基本的单元测试,它们运行良好,但其他自动生成的类中可能存在边缘情况和 bug
    • 如果你遇到任何奇怪的行为,请在 GitHub 上创建一个 issue,并尽可能包含详细信息,包括代码片段

示例

这里有一些并排的示例,左边使用官方 Python scikit-learn 包,右边使用 TS sklearn 包。

StandardScaler

StandardScaler Python 文档

PythonTypeScript
import numpy as np
from sklearn.preprocessing import StandardScaler

data = np.array([
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
])

s = StandardScaler()

x = s.fit_transform(data)
import * as sklearn from 'sklearn'

const data = [
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
]

const py = await sklearn.createPythonBridge()

const s = new sklearn.StandardScaler()
await s.init(py)

const x = await s.fit_transform({ X: data })

KMeans

KMeans Python 文档

PythonTypeScript
import numpy as np
from sklearn.cluster import KMeans

data = np.array([
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
])

model = KMeans(
  n_clusters=2,
  random_state=42,
  n_init='auto'
)

x = model.fit_predict(data)
import * as sklearn from 'sklearn'

const data = [
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
]

const py = await sklearn.createPythonBridge()

const model = new sklearn.KMeans({
  n_clusters: 2,
  random_state: 42,
  n_init: 'auto'
})
await model.init(py)

const x = await model.fit_predict({ X: data })

TSNE

TSNE Python 文档

PythonTypeScript
import numpy as np
from sklearn.manifold import TSNE

data = np.array([
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
])

model = TSNE(
  n_components=2,
  perplexity=2,
  learning_rate='auto',
  init='random'
)

x = model.fit_transform(data)
import * as sklearn from 'sklearn'

const data = [
  [0, 0, 0],
  [0, 1, 1],
  [1, 0, 1],
  [1, 1, 1]
]

const py = await sklearn.createPythonBridge()

const model = new sklearn.TSNE({
  n_components: 2,
  perplexity: 2,
  learning_rate: 'auto',
  init: 'random'
})
await model.init(py)

const x = await model.fit_transform({ X: data })

查看完整文档以获取更多示例。

为什么?

Python机器学习生态系统通常比Node.js机器学习生态系统成熟得多。大多数机器学习研究都是在Python中进行的,而许多Python开发者认为理所当然的常见机器学习任务在Node.js中要困难得多。

例如,我最近在使用全栈TypeScript进行一个数据可视化项目时,需要对一些文本嵌入进行k-means和t-SNE处理。我测试了6个不同的t-SNE JS包和几个k-means包。这些t-SNE包都无法处理中等大小的输入,在许多情况下速度慢了1000倍,而且我在使用基于JS的版本时经常遇到NaN问题。

这就说明了问题所在;在JS/TS领域要与经过验证的Python机器学习库(如scikit-learn)的稳健性、速度和成熟度竞争是非常困难的。

因此,与其尝试从头开始构建基于Rust的版本或使用上述临时的NPM包,我决定进行一个实验,看看在Node.js中直接使用scikit-learn有多实用。

这就是scikit-learn-ts诞生的原因。

工作原理

这个项目使用了python-bridge的一个分支,它将Python解释器作为子进程启动,并通过标准Unix管道进行双向通信。IPC管道不会干扰stdout/stderr/stdin,因此您的Node.js代码和底层Python代码可以正常打印内容。

TS库是从Python scikit-learnAPI文档自动生成的。通过使用官方Python文档作为真实来源,我们可以保证一定程度的兼容性和可升级性。

对于每个属于导出Python classfunctionscikit-learn HTML页面,我们首先使用cheerio解析其元数据、参数、方法、属性等,然后将Python类型转换为等效的TypeScript类型。然后我们生成一个相应的TypeScript文件,该文件通过PythonBridge封装该Python声明的实例。

对于每个TypeScript包装器classfunction,我们特别注意处理Node.js和Python之间的值的JSON序列化,包括在必要时在原始数组和numpy数组之间进行转换。所有的numpy数组转换应该都会自动为您处理,因为我们只支持通过PythonBridge序列化原始JSON类型。可能存在一些自动numpy推断失败的边缘情况,但我们有一个针对这些情况的回归测试套件,所以只要官方Python文档对给定类型是正确的,那么我们的隐式numpy转换逻辑应该就能"正常工作"。

致谢

本项目与官方Python scikit-learn项目无关。希望有朝一日能成为其中的一部分。😄

所有复杂的机器学习工作都是通过官方Python scikit-learn项目在底层完成的,我们对他们绝对令人惊叹的团队表示充分的感谢。这个项目只是一个小型开源实验,试图为Node.js社区利用现有的scikit-learn生态系统。

查看完整文档以获取更多信息。

许可证

官方Python scikit-learn项目采用BSD 3-Clause许可。

本项目采用MIT许可 © Travis Fischer

如果您觉得这个项目有帮助,请考虑在推特上关注我twitter

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号