SynapseML: 简单而强大的分布式机器学习库

SynapseML

SynapseML简介

SynapseML(原名MMLSpark)是由微软开发的开源分布式机器学习库,旨在简化大规模机器学习管道的创建过程。它建立在Apache Spark分布式计算框架之上,共享SparkML/MLLib库的API,使用户能够无缝地将SynapseML模型嵌入到现有的Apache Spark工作流中。

SynapseML具有以下主要特点:

简单易用:提供简洁的API,只需几行代码即可创建、训练和使用分布式机器学习工具。
高度可扩展:可在数百台机器的Spark集群上扩展ML工作负载。
多语言支持:支持Python、Scala、R、Java、.NET和C#等多种语言。
开放性:开源项目,可安装在任何Spark 3基础设施上使用,包括本地机器、Databricks、Synapse Analytics等。

SynapseML扩展了Spark生态系统,增加了多个新的机器学习框架,包括LightGBM、Vowpal Wabbit、OpenCV、Isolation Forest和ONNX等。这些工具使用户能够构建强大的、高度可扩展的模型,跨越多个ML生态系统。

SynapseML主要功能模块

SynapseML提供了多个功能强大的模块:

1. Vowpal Wabbit on Spark

Vowpal Wabbit是一个快速、稀疏和有效的文本分析工具。SynapseML将其集成到Spark中,使其能够在分布式环境下运行。

2. Cognitive Services for Big Data

SynapseML为Microsoft Cognitive Services提供了易于使用的SparkML转换器,让用户能够在现有的SparkML管道中以前所未有的规模利用这些服务。

3. LightGBM on Spark

LightGBM是一个高性能的梯度提升框架。SynapseML将其集成到Spark中,使用户能够在分布式环境下训练梯度提升机器。

4. Spark Serving

Spark Serving项目使用户能够将任何Spark计算作为Web服务提供,具有高吞吐量和亚毫秒级延迟。

5. HTTP on Spark

HTTP on Spark项目实现了Spark和HTTP协议之间的集成,使用户能够在SparkML模型中嵌入任何Web服务,并使用Spark集群进行大规模网络工作流。

6. ONNX on Spark

SynapseML支持在Spark上进行分布式和硬件加速的ONNX模型推理。

7. Responsible AI

SynapseML提供了理解不透明模型和衡量数据集偏差的工具,帮助用户构建负责任的AI系统。

8. Isolation Forest on Spark

SynapseML实现了分布式的非线性异常检测算法Isolation Forest。

9. CyberML

CyberML模块提供了用于网络安全的机器学习工具。

10. Conditional KNN

SynapseML实现了具有条件查询功能的可扩展KNN模型。

SynapseML安装与使用

SynapseML支持多种安装和使用方式,以下是几种常见平台的安装方法:

Microsoft Fabric

在Microsoft Fabric笔记本中,SynapseML已预先安装。如需更改版本,可在笔记本的第一个单元格中添加以下配置:

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:<THE_SYNAPSEML_VERSION_YOU_WANT>",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false"
  }
}

Synapse Analytics

在Azure Synapse笔记本中,可在第一个单元格中添加以下配置:

Spark 3.4池:

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:1.0.4",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false"
  }
}

Spark 3.3池:

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:0.11.4-spark3.3",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false"
  }
}

Databricks

在Databricks云上安装SynapseML:

在工作区中创建一个新的Maven坐标库。
使用坐标:com.microsoft.azure:synapseml_2.12:1.0.4
解析器:https://mmlspark.azureedge.net/maven
确保将此库附加到目标集群。

Python独立安装

对于Python(或Conda)安装,可以通过pip安装Spark:

pip install pyspark

然后在Python中使用:

import pyspark
spark = pyspark.sql.SparkSession.builder.appName("MyApp") \
            .config("spark.jars.packages", "com.microsoft.azure:synapseml_2.12:1.0.4") \
            .getOrCreate()
import synapse.ml

Spark Submit

可以通过--packages选项在现有Spark集群上方便地安装SynapseML:

spark-shell --packages com.microsoft.azure:synapseml_2.12:1.0.4
pyspark --packages com.microsoft.azure:synapseml_2.12:1.0.4
spark-submit --packages com.microsoft.azure:synapseml_2.12:1.0.4 MyApp.jar

Docker

评估SynapseML最简单的方法是通过预构建的Docker容器:

docker run -it -p 8888:8888 -e ACCEPT_EULA=yes mcr.microsoft.com/mmlspark/release jupyter notebook

在Web浏览器中导航到http://localhost:8888/以运行示例笔记本。

SynapseML使用示例

以下是一些SynapseML的简单使用示例:

1. 文本情感分析

from synapse.ml.cognitive import *

sentiment_df = (TextSentiment()
    .setTextCol("text")
    .setLocation("eastus")
    .setSubscriptionKey(key)
    .setOutputCol("sentiment")
    .setErrorCol("error")
    .setLanguageCol("language")
    .transform(input_df))

2. ONNX模型推理

from synapse.ml.onnx import *

model_prediction_df = (ONNXModel()
    .setModelPayload(model_payload_ml)
    .setDeviceType("CPU")
    .setFeedDict({"input": "features"})
    .setFetchDict({"probability": "probabilities", "prediction": "label"})
    .setMiniBatchSize(64)
    .transform(input_df))

3. 模型解释

from synapse.ml.explainers import *

interpretation_df = (TabularSHAP()
    .setInputCols(features)
    .setOutputCol("shapValues")
    .setTargetCol("probability")
    .setTargetClasses([1])
    .setNumSamples(5000)
    .setModel(model)
    .transform(input_df))

4. LightGBM分位数回归

from synapse.ml.lightgbm import *

quantile_df = (LightGBMRegressor()
    .setApplication('quantile')
    .setAlpha(0.3)
    .setLearningRate(0.3)
    .setNumIterations(100)
    .setNumLeaves(31)
    .fit(train_df)
    .transform(test_df))

5. 图像转换

from synapse.ml.opencv import *

image_df = (ImageTransformer()
    .setInputCol("images")
    .setOutputCol("transformed_images")
    .resize(224, True)
    .centerCrop(224, 224)
    .normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225], color_scale_factor = 1/255)
    .transform(input_df))