SynapseML: 简单而强大的分布式机器学习库

SynapseML简介

SynapseML(原名MMLSpark)是由微软开发的开源分布式机器学习库,旨在简化大规模机器学习管道的创建过程。它建立在Apache Spark分布式计算框架之上,共享SparkML/MLLib库的API,使用户能够无缝地将SynapseML模型嵌入到现有的Apache Spark工作流中。

SynapseML具有以下主要特点:

• 简单易用:提供简洁的API,只需几行代码即可创建、训练和使用分布式机器学习工具。
• 高度可扩展:可在数百台机器的Spark集群上扩展ML工作负载。
• 多语言支持:支持Python、Scala、R、Java、.NET和C#等多种语言。
• 开放性:开源项目,可安装在任何Spark 3基础设施上使用,包括本地机器、Databricks、Synapse Analytics等。

SynapseML扩展了Spark生态系统,增加了多个新的机器学习框架,包括LightGBM、Vowpal Wabbit、OpenCV、Isolation Forest和ONNX等。这些工具使用户能够构建强大的、高度可扩展的模型,跨越多个ML生态系统。

SynapseML主要功能模块

SynapseML提供了多个功能强大的模块:

1. Vowpal Wabbit on Spark

Vowpal Wabbit是一个快速、稀疏和有效的文本分析工具。SynapseML将其集成到Spark中,使其能够在分布式环境下运行。

2. Cognitive Services for Big Data

SynapseML为Microsoft Cognitive Services提供了易于使用的SparkML转换器,让用户能够在现有的SparkML管道中以前所未有的规模利用这些服务。

3. LightGBM on Spark

LightGBM是一个高性能的梯度提升框架。SynapseML将其集成到Spark中,使用户能够在分布式环境下训练梯度提升机器。

4. Spark Serving

Spark Serving项目使用户能够将任何Spark计算作为Web服务提供,具有高吞吐量和亚毫秒级延迟。

5. HTTP on Spark

HTTP on Spark项目实现了Spark和HTTP协议之间的集成,使用户能够在SparkML模型中嵌入任何Web服务,并使用Spark集群进行大规模网络工作流。

6. ONNX on Spark

SynapseML支持在Spark上进行分布式和硬件加速的ONNX模型推理。

7. Responsible AI

SynapseML提供了理解不透明模型和衡量数据集偏差的工具,帮助用户构建负责任的AI系统。

8. Isolation Forest on Spark

SynapseML实现了分布式的非线性异常检测算法Isolation Forest。

9. CyberML

CyberML模块提供了用于网络安全的机器学习工具。

10. Conditional KNN

SynapseML实现了具有条件查询功能的可扩展KNN模型。

SynapseML安装与使用

SynapseML支持多种安装和使用方式,以下是几种常见平台的安装方法:

Microsoft Fabric

在Microsoft Fabric笔记本中,SynapseML已预先安装。如需更改版本,可在笔记本的第一个单元格中添加以下配置:

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:<THE_SYNAPSEML_VERSION_YOU_WANT>",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false"
  }
}

Synapse Analytics

在Azure Synapse笔记本中,可在第一个单元格中添加以下配置:

• Spark 3.4池:

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:1.0.4",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false"
  }
}

• Spark 3.3池:

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:0.11.4-spark3.3",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false"
  }
}

Databricks

在Databricks云上安装SynapseML:

1. 在工作区中创建一个新的Maven坐标库。
2. 使用坐标:com.microsoft.azure:synapseml_2.12:1.0.4
3. 解析器:https://mmlspark.azureedge.net/maven
4. 确保将此库附加到目标集群。

Python独立安装

对于Python(或Conda)安装,可以通过pip安装Spark:

pip install pyspark

然后在Python中使用:

import pyspark
spark = pyspark.sql.SparkSession.builder.appName("MyApp") \
            .config("spark.jars.packages", "com.microsoft.azure:synapseml_2.12:1.0.4") \
            .getOrCreate()
import synapse.ml

Spark Submit

可以通过--packages选项在现有Spark集群上方便地安装SynapseML:

spark-shell --packages com.microsoft.azure:synapseml_2.12:1.0.4
pyspark --packages com.microsoft.azure:synapseml_2.12:1.0.4
spark-submit --packages com.microsoft.azure:synapseml_2.12:1.0.4 MyApp.jar

Docker

评估SynapseML最简单的方法是通过预构建的Docker容器:

docker run -it -p 8888:8888 -e ACCEPT_EULA=yes mcr.microsoft.com/mmlspark/release jupyter notebook

在Web浏览器中导航到http://localhost:8888/以运行示例笔记本。

SynapseML使用示例

以下是一些SynapseML的简单使用示例:

1. 文本情感分析

from synapse.ml.cognitive import *

sentiment_df = (TextSentiment()
    .setTextCol("text")
    .setLocation("eastus")
    .setSubscriptionKey(key)
    .setOutputCol("sentiment")
    .setErrorCol("error")
    .setLanguageCol("language")
    .transform(input_df))

2. ONNX模型推理

from synapse.ml.onnx import *

model_prediction_df = (ONNXModel()
    .setModelPayload(model_payload_ml)
    .setDeviceType("CPU")
    .setFeedDict({"input": "features"})
    .setFetchDict({"probability": "probabilities", "prediction": "label"})
    .setMiniBatchSize(64)
    .transform(input_df))

3. 模型解释

from synapse.ml.explainers import *

interpretation_df = (TabularSHAP()
    .setInputCols(features)
    .setOutputCol("shapValues")
    .setTargetCol("probability")
    .setTargetClasses([1])
    .setNumSamples(5000)
    .setModel(model)
    .transform(input_df))

4. LightGBM分位数回归

from synapse.ml.lightgbm import *

quantile_df = (LightGBMRegressor()
    .setApplication('quantile')
    .setAlpha(0.3)
    .setLearningRate(0.3)
    .setNumIterations(100)
    .setNumLeaves(31)
    .fit(train_df)
    .transform(test_df))

5. 图像转换

from synapse.ml.opencv import *

image_df = (ImageTransformer()
    .setInputCol("images")
    .setOutputCol("transformed_images")
    .resize(224, True)
    .centerCrop(224, 224)
    .normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225], color_scale_factor = 1/255)
    .transform(input_df))

总结

SynapseML作为一个强大的分布式机器学习库,极大地扩展了Apache Spark的功能。它提供了简单易用的API,支持多种机器学习任务,如文本分析、计算机视觉、异常检测等。通过集成多个流行的机器学习框架和工具,SynapseML使用户能够构建跨越多个ML生态系统的高度可扩展模型。

无论是在Microsoft Fabric、Azure Synapse Analytics、Databricks还是独立的Spark环境中,SynapseML都提供了灵活的安装和使用选项。它支持多种编程语言,包括Python、Scala、R等,使不同背景的开发者都能方便地使用。

随着机器学习和人工智能技术的不断发展,SynapseML将继续发挥重要作用,帮助数据科学家和机器学习工程师更高效地构建和部署大规模机器学习解决方案。