mars

Mars 项目介绍

Mars 是一个基于张量的统一框架，专注于大规模数据计算。它扩展并支持了包括 Numpy、Pandas、Scikit-learn 在内的多个库的横向扩展能力。Mars 能够在数据处理的同时保持这些库熟悉的接口，提供了简单、强大且便于扩展的大数据处理解决方案。

安装说明

Mars 的安装过程非常简单。要安装 Mars，只需在终端中运行以下命令：

pip install pymars

开发者安装

如果您希望为 Mars 项目贡献代码，您可以通过以下步骤安装开发版本：

git clone https://github.com/mars-project/mars.git
cd mars
pip install -e ".[dev]"

详细的安装说明可以参阅 Mars 的官方文档。

架构概览

Mars 的架构设计支持在多核甚至分布式环境下高效运行，从而增强了运算的速度和计算能力。

入门指南

您可以通过以下方式在本地启动一个新的计算会话：

import mars
mars.new_session()

或者，连接到已经初始化的 Mars 集群：

import mars
mars.new_session('http://<web_ip>:<ui_port>')

Mars 张量

Mars 张量提供了类似于 Numpy 的接口。比较下列代码示例，左侧是 Numpy 的实现，右侧是 Mars 张量的实现：

import numpy as np
import mars.tensor as mt

N = 200_000_000
a = np.random.uniform(-1, 1, size=(N, 2))
print((np.linalg.norm(a, axis=1) < 1).sum() * 4 / N)

Mars 充分利用多核处理，即使在笔记本电脑上也能高效运行，并且在分布式设置下表现尤其出色。

Mars 数据帧

Mars 提供了类似于 Pandas 的数据帧接口。下列代码展示了 Pandas 和 Mars 数据帧的对比：

import numpy as np
import pandas as pd
import mars.tensor as mt
import mars.dataframe as md

df = pd.DataFrame(np.random.rand(100_000_000, 4), columns=list('abcd'))
print(df.sum())

df = md.DataFrame(mt.random.rand(100_000_000, 4), columns=list('abcd'))
print(df.sum().execute())

Mars 学习

Mars 学习部分提供了类似于 Scikit-learn 的接口，并且能够与许多机器学习框架集成，例如 TensorFlow、PyTorch、XGBoost、LightGBM 等。以下是与 Scikit-learn 的一个简单对比：

from sklearn.datasets import make_blobs
from sklearn.decomposition import PCA

X, y = make_blobs(n_samples=100_000_000, n_features=3, centers=[[3, 3, 3], [0, 0, 0], [1, 1, 1], [2, 2, 2]], cluster_std=[0.2, 0.1, 0.2, 0.2], random_state=9)
pca = PCA(n_components=3)
pca.fit(X)
print(pca.explained_variance_ratio_)

from mars.learn.datasets import make_blobs
from mars.learn.decomposition import PCA

X, y = make_blobs(n_samples=100_000_000, n_features=3, centers=[[3, 3, 3], [0, 0, 0], [1, 1, 1], [2, 2, 2]], cluster_std=[0.2, 0.1, 0.2, 0.2], random_state=9)
pca = PCA(n_components=3)
pca.fit(X)
print(pca.explained_variance_ratio_)

Mars 远程

Mars 远程功能允许用户并行执行函数调用。相比传统的函数调用，它能够显著提高执行效率：

import numpy as np
import mars.remote as mr

def calc_chunk(n, i):
    rs = np.random.RandomState(i)
    a = rs.uniform(-1, 1, size=(n, 2))
    return (np.linalg.norm(a, axis=1) < 1).sum()

N = 200_000_000
n = 10_000_000

fs = [mr.spawn(calc_chunk, args=(n, i)) for i in range(N // n)]
pi = mr.spawn(sum, args=(fs,))
print(pi.execute().fetch())

DASK on Mars

Mars 也支持在 DASK 框架上的集成，可以为在分布式数据分析场景中提供优秀的计算能力。

交互模式

Mars 支持交互模式，使其更加易于开发和调试。用户可以通过设置选项来启用交互模式：

from mars.config import options
options.eager_mode = True

与 Ray 的集成

Mars 深度集成了 Ray，可以在 Ray 上高效运行，并与基于 Ray 的机器学习和分布式系统生态无缝交互。

灵活的扩展能力

Mars 可以在单机上运行，也可以扩展至具有数千台机器的集群，使得在不同规模的环境下都能保持优良的性能和数据处理能力。

裸机部署

在裸机集群中，Mars 可以通过启动不同组件来实现集群的扩展。用户可以选择某个节点作为管理节点，其它节点为工作节点，通过启动命令自定义节点角色。

Kubernetes 和 Yarn 部署

Mars 支持通过 Kubernetes 和 Yarn 进行部署，适用于云原生和大数据处理环境。

如何参与

• 阅读开发指南，加入 Slack 工作群（Mars Computing）或邮件列表（发送邮件至 mars-dev@googlegroups.com）。
• 感兴趣的开发者可以通过提交 GitHub issue 或 pull requests 来贡献代码。

感谢您的关注与贡献！