data-on-eks

项目介绍：Data on EKS

Data on EKS（简称DoEKS）是一个旨在优化在Amazon EKS上运行数据和人工智能（AI/ML）工作负载的项目。该项目提供了一系列使用Terraform的蓝图，借助这些蓝图，用户可以按照最佳实践部署强大的解决方案，并实现高级的日志记录和可观测性功能。

项目背景

在现代技术背景下，Kubernetes作为一个用于大规模管理容器化软件的系统受到广泛采用。随着越来越多的用户将数据和机器学习工作负载迁移到Kubernetes上，他们往往面临着管理Kubernetes生态系统的复杂性以及选择适合其具体需求的工具和配置的挑战。AWS为了解决这一问题，开发了Data on EKS，以帮助用户简化过程，快速进行概念验证和构建生产级集群。

项目功能

Data on EKS设计了一系列专注于不同领域的解决方案，包括：

• 数据分析：通过Amazon EMR在EKS上的集成，提供分布式数据处理能力。
• 人工智能与机器学习：利用Ray生态系统进行分布式计算，并通过NVIDIA Triton Server等解决方案进行高效、可扩展的模型推理。
• 流处理平台：使用Apache Kafka等工具实现高吞吐量的分布式消息传递。
• 调度和工作流平台：自动化复杂的工作流程。
• 分布式数据库与查询引擎：提供强大的数据存储和处理性能。

重要特性

• 架构集成：DoEKS能够无缝集成AWS的数据分析托管服务与开源工具，构建强大的数据平台。
• 开放源码蓝图：通过开放源码的解决方案支持用户构建和管理在EKS上的数据和ML工作负载，如Spark、Kubeflow、MLFlow和Presto等。
• 可扩展性与性能：利用先进的硬件如NVIDIA GPU和AWS专用硬件（如AWS Trainium和Inferentia），以提升计算任务性能和效率。

蓝图示例

项目提供了多种蓝图，例如：

• EMR-on-EKS与Karpenter：新手可以通过这一蓝图入门。
• JARK-Stack on EKS：为AI工作负载部署JARK Stack。
• 自管理Airflow在EKS上：按照最佳实践管理Apache Airflow。
• Kafka on EKS：通过Strimzi Kafka运营者管理Kafka。

开源社区支持

Data on EKS由AWS解决方案架构师维护，并非AWS服务。支持由Data on EKS蓝图社区提供，参与者可以通过GitHub的[Issues]板块反馈意见或报告错误。

许可与贡献

该项目采用Apache 2.0许可协议。欢迎任何对Kubernetes上的数据感兴趣的个人参与社区贡献，共同推进项目的发展。

通过Data on EKS，用户可以自信地利用Kubernetes的强大功能，满足其数据和机器学习需求，而无需被其复杂性所困扰。欢迎所有热爱技术并希望共同成长的人士加入这个充满活力的开源社区。