一个云原生分布式存储系统

由CNCF基金会托管的沙箱项目

English | 简体中文

📄 文档 || 🌐 官方网站 || 🏠 论坛

✨ 目录

关于Curve
Curve架构
设计文档
CurveBS快速入门
- 部署一个全功能体验环境
- FIO curve块存储引擎
CurveFS快速入门
测试环境配置
治理
贡献
行为准则
许可证
发布周期
分支
贡献者
Star历史
反馈与联系

关于Curve

Curve是网易开发的现代存储系统,目前支持文件存储(CurveFS)和块存储(CurveBS)。现在它作为沙箱项目托管在CNCF。

CurveBS的核心应用场景主要包括:

虚拟机/容器的性能型、混合型、容量型云盘或持久卷,以及物理机的远程磁盘
高性能存储与计算分离架构:基于RDMA+SPDK的高性能低延迟架构,支持MySQL、Kafka等各种数据库的分离部署结构

CurveFS的核心应用场景主要包括:

AI训练场景中的经济型存储
大数据场景中冷热数据自动分层存储
公有云上经济型共享文件存储:可用于AI、大数据、文件共享等业务场景
混合存储:热数据存储在本地IDC,冷数据存储在公有云

高性能 : CurveBS vs CephBS

CurveBS: v1.2.0

CephBS: L/N 性能: 在块存储场景下,CurveBS的随机读写性能远超CephBS。

环境:6节点集群3副本,每个节点有20个SATA SSD、2个E5-2660 v4处理器和256GB内存。

单卷: <image src="docs/images/1-nbd-en.png">

多卷: <image src="docs/images/10-nbd-en.png">
更稳定
- 在块存储场景下,常见异常情况下Curve的稳定性优于Ceph。
  故障场景单盘故障慢盘检测单机故障服务器假死
  CephBS 抖动7秒持续IO抖动抖动7秒无法恢复
  CurveBS 抖动4秒无影响抖动4秒抖动4秒

故障场景	单盘故障	慢盘检测	单机故障	服务器假死
CephBS	抖动7秒	持续IO抖动	抖动7秒	无法恢复
CurveBS	抖动4秒	无影响	抖动4秒	抖动4秒

易运维

我们开发了CurveAdm来帮助运维人员。

工具	CephAdm	CurveAdm
简易安装	✔️	✔️
简易部署	❌(步骤稍多)	✔️
体验环境	❌	✔️
多集群管理	❌	✔️
简易扩容	❌(步骤稍多)	✔️
简易升级	✔️	✔️
简易停服务	❌	✔️
简易清理	❌	✔️
部署环境测试	❌	✔️
操作审计	❌	✔️
外围组件部署	❌	✔️
简易日志上报	❌	✔️
集群状态统计上报	❌	✔️
错误码分类及解决方案	❌	✔️

运维在块存储场景下,CurveBS的运维操作更友好。
运维场景升级客户端数据均衡
CephBS 不支持在线升级通过插件实现,影响IO
CurveBS 支持在线升级,抖动秒级自动实现,不影响IO

云原生
- 请参阅我们对云原生的理解。
</details>

运维场景	升级客户端	数据均衡
CephBS	不支持在线升级	通过插件实现,影响IO
CurveBS	支持在线升级,抖动秒级	自动实现,不影响IO

<details> <summary><b><font=5>对接OpenStack</b></font></summary>

请参阅Curve-cinder。

</details> <details> <summary><b><font=5>对接Kubernetes</b></font></summary>

使用Curve CSI Driver,该插件实现了容器编排器(CO)和Curve集群之间的容器存储接口(CSI)。它允许动态配置Curve卷并将其附加到工作负载。
有关文档详细信息,请参阅CSI Curve驱动文档。

</details> <details> <summary><b><font=5>对接PolarDB | PG </b></font></summary>

它以存储计算分离的形式作为polardb for postgresql的底层存储基础,为上层数据库应用提供数据一致性保证、极致弹性扩展以及高性能HTAP。
部署详情可参考PolarDB | PG高级部署(CurveBS)。

</details> <details> <summary><b><font=5> 更多...</b></font></summary>

Curve还可以作为云存储中间件,使用兼容S3的对象存储作为数据存储引擎,为公有云用户提供经济实惠的共享文件存储。

</details>

Curve架构

<div align=center> <image src="docs/images/Curve-arch.png" width=60%> <div align=left> <details> <summary><b><font=4>Curve在混合云上</b></font></summary>

Curve支持在私有云和公有云环境中部署,也可以用于混合云:

其中,CurveFS共享文件存储系统可以弹性扩展到公有云存储,能为用户提供更大的容量弹性、更低的成本以及更好的性能体验。

</details> <div align=left> <details> <summary><b><font=4>Curve在公有云上</b></font></summary>

在公有云环境中,用户可以部署CurveFS集群来替代云厂商提供的共享文件存储系统,并使用云盘进行加速,这可以大大降低业务成本,部署架构如下:

设计文档

想快速了解Curve?点击这里查看Curve简介!
想了解更多关于CurveBS的细节?我们为每个组件提供了文档:
基于CurveBS的应用
- 对接k8s文档
CurveFS文档
CurveAdm
- CurveAdm文档

CurveBS快速入门

为了提高Curve的运维便利性,我们设计开发了CurveAdm项目,主要用于部署和管理Curve集群。目前支持CurveBS和CurveFS的部署(扩容、升级等功能正在开发中),相关文档请参考CurveAdm用户手册,在部署Curve集群之前请先按照手册安装CurveAdm工具。

部署一个全功能体验环境

请参考CurveAdm用户手册中的CurveBS集群部署步骤。对于单机体验,请使用"集群拓扑文件 - 单机部署"模板。命令行工具说明

FIO Curve块存储引擎

已添加Fio Curve引擎，您可以克隆 https://github.com/opencurve/fio 并使用我们的引擎（依赖nebd库）编译fio工具，fio命令行示例：

$ ./fio --thread --rw=randwrite --bs=4k --ioengine=nebd --nebd=cbd:pool//pfstest_test_ --iodepth=10 --runtime=120 --numjobs=10 --time_based --group_reporting --name=curve-fio-test

如果在性能测试过程中遇到任何问题，请查阅Curve块存储性能调优指南。

CurveFS快速入门

请使用CurveAdm工具部署CurveFS，参见CurveFS部署流程和CurveFS命令说明。

测试环境配置

请参考测试环境配置信息

实践

治理

参见治理。

为我们贡献

参与Curve项目的说明请参见Curve开发者指南，并遵守贡献者协议。我们欢迎您的贡献！

行为准则

Curve遵循CNCF行为准则。

许可证

Curve采用Apache 2.0许可证分发。

发布周期

CURVE发布周期：主要版本半年一次，次要版本1~2个月一次
版本格式：我们使用三位数字序列和一个后缀（x.y.z{-suffix}），x是主版本号，y是次版本号，z是用于bugfix。后缀用于区分测试版（-beta）、候选版（-rc）和正式版（无后缀）。主版本号x每半年增加1，y每1~2个月增加。版本发布后，如有bugfix，z会增加。

分支

所有开发都在master分支上进行。如果需要建立新版本，将从master拉出一个新的release-x.y分支，新版本将从该分支发布。

贡献者

本项目的存在要感谢所有贡献者。

由contrib.rocks制作。

Star历史

反馈与联系

Github Issues：我们诚挚欢迎您通过Github issues报告任何遇到的bug或提出建议。如果您有任何问题，可以参考我们的FAQ或加入用户群获取更多详情。
FAQ：用户群中经常被问到的问题，我们会持续更新。
用户群：我们目前使用微信群。
双周会议：我们每两周举行一次在线社区会议，讨论Curve正在做和计划做的事情。会议时间和链接在用户群和双周会议中公开。