|sparkling-water-logo|

|mvn-badge| |apache-2-0-license| |由H2O.ai提供支持|

Sparkling Water

Sparkling Water将快速可扩展的机器学习引擎H2O-3 <https://github.com/h2oai/h2o-3/>__与Apache Spark <https://spark.apache.org/>__集成。它提供：

• 将Spark数据结构（RDD、DataFrame、Dataset）发布为H2O-3帧的实用工具，反之亦然。
• 使用Spark数据结构作为H2O算法输入的DSL。
• 利用Spark和H2O API创建ML应用程序的基本构建块。
• Python接口，可直接从PySpark使用Sparkling Water。

入门指南

用户文档

`阅读Spark 3.5版本的文档 <http://docs.h2o.ai/sparkling-water/3.5/latest-stable/doc/index.html>`__（或
`3.4 <http://docs.h2o.ai/sparkling-water/3.4/latest-stable/doc/index.html>`__ ,
`3.3 <http://docs.h2o.ai/sparkling-water/3.3/latest-stable/doc/index.html>`__ ,
`3.2 <http://docs.h2o.ai/sparkling-water/3.2/latest-stable/doc/index.html>`__ ,
`3.1 <http://docs.h2o.ai/sparkling-water/3.1/latest-stable/doc/index.html>`__,
`3.0 <http://docs.h2o.ai/sparkling-water/3.0/latest-stable/doc/index.html>`__,
`2.4 <http://docs.h2o.ai/sparkling-water/2.4/latest-stable/doc/index.html>`__,
`2.3 <http://docs.h2o.ai/sparkling-water/2.3/latest-stable/doc/index.html>`__）

下载二进制文件
~~~~~~~~~~~~~~~~~

`下载Spark 3.5的最新版本 <http://h2o-release.s3.amazonaws.com/sparkling-water/spark-3.5/latest.html>`__（或
`3.4 <http://h2o-release.s3.amazonaws.com/sparkling-water/spark-3.4/latest.html>`__,
`3.3 <http://h2o-release.s3.amazonaws.com/sparkling-water/spark-3.3/latest.html>`__,
`3.2 <http://h2o-release.s3.amazonaws.com/sparkling-water/spark-3.2/latest.html>`__,
`3.1 <http://h2o-release.s3.amazonaws.com/sparkling-water/spark-3.1/latest.html>`__,
`3.0 <http://h2o-release.s3.amazonaws.com/sparkling-water/spark-3.0/latest.html>`__,
`2.4 <http://h2o-release.s3.amazonaws.com/sparkling-water/spark-2.4/latest.html>`__,
`2.3 <http://h2o-release.s3.amazonaws.com/sparkling-water/spark-2.3/latest.html>`__）

每个Sparkling Water版本也会发布到Maven Central（更多详情见下文）。

---------------

尝试Sparkling Water！
--------------------

Sparkling Water作为Spark应用程序库分发，可以被任何Spark应用程序使用。
此外，我们还提供打包了库和shell脚本的zip分发包。

使用Sparkling Water有几种方式：

- Sparkling Shell（包含Sparkling Water的Spark Shell）
- Sparkling Water驱动程序（包含Sparkling Water的Spark Submit）
- Spark Shell，通过``--jars``或``--packages``选项包含Sparkling Water库
- Spark Submit，通过``--jars``或``--packages``选项包含Sparkling Water库
- 带有PySparkling的PySpark

运行Sparkling shell

Sparkling shell封装了常规Spark shell，并通过--jars选项将Sparkling Water库添加到类路径中。 Sparkling Shell支持创建H2O-3云和执行H2O-3算法。

1. 下载或构建Sparkling Water

2. 配置Spark集群的位置：

   .. code:: bash

   export SPARK_HOME="/path/to/spark/installation" export MASTER="local[*]"

   在这里，local[*]指向嵌入式单节点集群。

3. 运行Sparkling Shell：

   .. code:: bash

   bin/sparkling-shell

   Sparkling Shell接受常见的Spark Shell参数。例如，要增加每个执行器分配的内存，使用spark.executor.memory参数：bin/sparkling-shell --conf "spark.executor.memory=4g"

4. 初始化H2OContext

   .. code:: scala

   import ai.h2o.sparkling._ val hc = H2OContext.getOrCreate()

   H2OContext在Spark集群之上启动H2O服务，并提供H2O-3和Spark数据结构之间转换的原语。

与PySpark一起使用Sparkling Water

Sparkling Water也可以直接从PySpark使用，这种集成称为PySparkling。

查看`PySparkling README <http://docs.h2o.ai/sparkling-water/3.5/latest-stable/doc/pysparkling.html>`__了解PySparkling的相关信息。

通过Spark Packages使用Sparkling Water

要了解如何将Sparkling Water作为Spark包使用，请参阅作为Spark包使用 <http://docs.h2o.ai/sparkling-water/3.5/latest-stable/doc/tutorials/use_as_spark_package.html>__。

在Windows环境中使用Sparkling Water

查看`Windows教程 <http://docs.h2o.ai/sparkling-water/3.5/latest-stable/doc/tutorials/run_on_windows.html>`__了解如何在Windows环境中使用Sparkling Water。

Sparkling Water示例
~~~~~~~~~~~~~~~~~~~~~~~~
要了解如何运行Sparkling Water的示例，请参阅`运行示例 <http://docs.h2o.ai/sparkling-water/3.5/latest-stable/doc/devel/running_examples.html>`__。

Maven包
~~~~~~~~~~~~~~

每个Sparkling Water版本都会发布到Maven central，坐标如下：

- ``ai.h2o:sparkling-water-core_{{scala_version}}:{{version}}`` - 包含Sparkling Water的核心
- ``ai.h2o:sparkling-water-examples_{{scala_version}}:{{version}}`` - 包含示例应用程序
- ``ai.h2o:sparkling-water-repl_{{scala_version}}:{{version}}`` - Spark REPL集成到H2O Flow UI
- ``ai.h2o:sparkling-water-ml_{{scala_version}}:{{version}}`` - 通过基于H2O的转换扩展Spark ML包
- ``ai.h2o:sparkling-water-scoring_{{scala_version}}:{{version}}`` - 包含评分逻辑和Sparkling Water MOJO模型定义的库
- ``ai.h2o:sparkling-water-scoring-package_{{scala_version}}:{{version}}`` - 轻量级Sparkling Water包，包含仅用于H2O-3和DAI MOJO模型评分所需的所有依赖项
- ``ai.h2o:sparkling-water-package_{{scala_version}}:{{version}}`` - Sparkling Water包，包含模型训练和评分所需的所有依赖项。设计用于通过``--packages``选项作为Spark包使用。

   **注意：** ``{{version}}``指Sparkling Water的发布版本，``{{scala_version}}``指Scala基础版本。
已发布包的完整列表可在`这里 <http://search.maven.org/#search%7Cga%7C1%7Cg%3A%22ai.h2o%22%20AND%20a%3Asparkling-water*>`__查看。

--------------

Sparkling Water 后端
------------------------

Sparkling Water 支持两种后端/部署模式 - 内部和外部。Sparkling Water 应用程序独立于所选的后端。可以在创建 ``H2OContext`` 之前指定后端。

有关内部或外部后端的更多详细信息，请参阅 `后端 <http://docs.h2o.ai/sparkling-water/3.5/latest-stable/doc/deployment/backends.html>`__。

--------------

常见问题
---

所有常见问题的列表可在 `常见问题 <http://docs.h2o.ai/sparkling-water/3.5/latest-stable/doc/FAQ.html>`__ 中查看。

--------------

开发
-----------

完整的开发文档可在 `开发文档 <http://docs.h2o.ai/sparkling-water/3.5/latest-stable/doc/devel/devel.html>`__ 中查看。

构建 Sparkling Water
~~~~~~~~~~~~~~~~~~~~~

要了解如何构建 Sparkling Water，请参阅 `构建 Sparkling Water <http://docs.h2o.ai/sparkling-water/3.5/latest-stable/doc/devel/build.html>`__。

使用 Sparkling Water 开发应用程序
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

使用 Sparkling Water 的应用程序是捆绑了 Sparkling Water 库的常规 Spark 应用程序。请参阅提供示例应用程序的 Sparkling Water Droplet `这里 <https://github.com/h2oai/h2o-droplets/tree/master/sparkling-water-droplet>`__。

贡献
~~~~~~~~~~~~

只需向我们提交 PR 即可！
如需灵感，请查看我们的 `问题列表 <https://github.com/h2oai/sparkling-water/issues/new/choose>`__，随时创建一个。

提交错误报告和功能请求
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

您可以直接在 Github Issues `Github Issues <https://github.com/h2oai/sparkling-water/issues/new/choose>`__ 中提交错误报告或功能请求。

有问题吗？
~~~~~~~~~~~~~~~

我们还会回答在 `Stack Overflow <https://stackoverflow.com/questions/tagged/sparkling-water>`__ 上标记为 sparkling-water 和 h2o 的问题。

变更日志
~~~~~~~~~~~

变更日志可在 `变更日志 <http://docs.h2o.ai/sparkling-water/3.5/latest-stable/doc/CHANGELOG.html>`__ 中查看。