最佳分布式计算工具与开源项目集合 - 提高效率的可靠选择

Orleans.Clustering.Kubernetes

Orleans.Clustering.Kubernetes

OrleansKubernetes

Orleans在Kubernetes上的集群管理解决方案

spawn

spawn

Spawn分布式计算

开源运行时赋能企业状态计算与多语言开发

hyperopt

hyperopt

Hyperopt超参数优化

Python库Hyperopt助力机器学习超参数优化

spark

spark

Apache Spark大数据处理

统一分析引擎 支持多语言API及丰富工具集

beam

beam

Apache Beam数据处理

统一批处理和流处理的数据并行处理模型

fugue

fugue

Fugue分布式计算

统一的分布式计算框架 支持多种执行引擎

Anyscale

Anyscale

AI工具Anyscale

基于Ray的AI和Python分布式计算平台

Daft

Daft

Daft数据处理

Rust实现的分布式数据处理引擎 支持多模态分析

spark-cassandra-connector

spark-cassandra-connector

SparkCassandra

Apache Spark与Apache Cassandra的高性能集成连接器

NeMo-Framework-Launcher

NeMo-Framework-Launcher

NeMo FrameworkAI模型训练

云原生工具助力大规模AI模型高效训练

xgboost

xgboost

XGBoost梯度提升

高效灵活可扩展的梯度提升算法库

PowerJob

PowerJob

PowerJob分布式计算

开源分布式任务调度和计算框架

Mava

Mava

Mava多智能体强化学习

基于JAX的高效多智能体强化学习框架

kuberay

kuberay

KubeRayKubernetes

简化Kubernetes上Ray应用的部署与管理

deltacat

deltacat

DeltaCAT数据目录

基于Ray的分布式数据目录管理系统

bacalhau

bacalhau

Bacalhau分布式计算

高效的分布式计算框架

Awesome-System-for-Machine-Learning

Awesome-System-for-Machine-Learning

Machine LearningAI系统

机器学习系统研究资源汇总

dask-sql

dask-sql

Dask-SQLPython

分布式SQL查询引擎,结合Python轻松扩展计算

xla

xla

PyTorch/XLATPU

提升深度学习模型训练与推理效率的开源工具

mars

mars

Mars数据计算

多库支持的张量计算框架