databend

<center><h1>Databend: 下一代云 [数据+AI] 分析平台</h1></center> <center> <h4 align="center"> <a href="https://docs.databend.com/guides/cloud">Databend 无服务器云 (测试版)</a> | <a href="https://docs.databend.com/">文档</a> | <a href="https://benchmark.clickhouse.com/">基准测试</a> | <a href="https://github.com/datafuselabs/databend/issues/11868">路线图 (v1.3)</a> </h4> <div> <a href="https://link.databend.com/join-slack"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/a12c1e9a-1362-49b2-a286-e81f549ce4fe.png?logo=slack" alt="slack" /> </a> <a href="https://link.databend.com/join-feishu"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/9fcee22f-86d9-4e1c-963f-e59054700fc4.png" alt="feishu" /> </a> <br> <a href="https://github.com/datafuselabs/databend/actions/workflows/release.yml"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/e86e9724-4e57-4a68-b106-7dadb8af7bc7.yml?branch=main?branch=main" alt="CI 状态" /> </a> <img src="https://yellow-cdn.veclightyear.com/2b54e442/7436b138-6431-40f1-abc0-7709f1606c8c.svg?style=flat?style=flat" alt="Linux 平台" /> </div> </center> <img src="https://yellow-cdn.veclightyear.com/2b54e442/0bded94b-c4fb-4233-a559-5567f24a83a5.png" alt="databend" />

🐋 简介

Databend 是一个用 Rust 构建的开源云数据仓库，可作为Snowflake 的经济实惠替代品。Databend 专注于快速的查询执行和数据摄取，旨在对世界上最大的数据集进行复杂分析。

⚡ 性能

<center>

TPC-H 基准测试: Databend Cloud vs. Snowflake

</center>

<center>

数据摄取基准测试: Databend Cloud vs. Snowflake

</center>

🚀 为什么选择 Databend

• 云原生: 集成 AWS S3、Azure Blob、Google Cloud 等。

• 高性能: 用 Rust 构建，具备尖端的高速向量化执行能力。👉 ClickBench.

• 成本效益: 专为可扩展的存储和计算设计，降低成本同时提高性能。👉 TPC-H.

• AI 驱动的分析: 通过 AI 功能实现高级分析。

• 数据简化: 简化数据摄取，无需外部 ETL。👉 数据加载.

• 格式灵活性: 支持多种数据格式和类型，包括 JSON、CSV、Parquet、GEO 等。

• ACID 事务: 通过原子性、一致性、隔离性和持久性操作确保数据完整性。

• 版本控制: 提供类似 Git 的数据版本控制，允许随时查询、克隆和回滚。

• 无模式: VARIANT 数据类型 支持无模式数据存储和灵活的数据建模。

• 灵活的索引: 虚拟列、聚合索引 和 全文索引，加快数据检索速度。

• 社区驱动: 加入一个友好的社区，享受用户友好的云分析体验。

📐 架构

🚀 试用 Databend

1. Databend 无服务器云

最快的试用方式：Databend 云

2. 从 Docker 安装 Databend

从 Docker Hub 准备镜像（一次性下载约 170 MB 数据）：

docker pull datafuselabs/databend

快速运行 Databend:

docker run --net=host  datafuselabs/databend

🚀 快速入门

<details> <summary>连接到 Databend</summary>

• 使用 BendSQL 连接到 Databend
• 使用 JDBC 连接到 Databend

</details> <details> <summary>数据导入和导出</summary>

• 如何将 Parquet 文件加载到表中
• 如何将表导出为 Parquet 文件
• 如何将 CSV 文件加载到表中
• 如何将表导出为 CSV 文件
• 如何将 TSV 文件加载到表中
• 如何将表导出为 TSV 文件
• 如何将 NDJSON 文件加载到表中
• 如何将表导出为 NDJSON 文件
• 如何将 ORC 文件加载到表中

</details> <details> <summary>从其他数据库加载数据</summary>

• 如何将 MySQL 的全量和增量变更同步到 Databend
• 如何将 PostgreSQL 的全量和增量变更同步到 Databend
• 如何将 Oracle 的全量和增量变更同步到 Databend

</details> <details> <summary>查询半结构化数据</summary>

• 如何直接查询 Parquet 文件
• 如何直接查询 CSV 文件
• 如何直接查询 TSV 文件
• 如何直接查询 NDJSON 文件
• 如何直接查询 ORC 文件

</details> <details> <summary>使用 Databend 的可视化工具</summary>

• Deepnote
• Grafana
• Jupyter Notebook
• [Metabase](https://docs.databend.com
• 如何创建表
• 如何删除表
• 如何重命名表
• 如何截断表
• 如何闪回表
• 如何添加/删除表列

<details> <summary>管理数据</summary>

• COPY-INTO
• INSERT
• DELETE
• UPDATE
• REPLACE
• MERGE-INTO

</details> <details> <summary>管理视图</summary>

• 如何创建视图
• 如何删除视图
• 如何修改视图

</details> <details> <summary>AI 功能</summary>

• 使用 AI 生成 SQL
• 创建嵌入向量
• 计算文本相似度
• AI 文本补全

</details> <details> <summary>数据管理</summary>

• Databend 中的数据生命周期
• Databend 中的数据恢复
• Databend 中的数据保护
• Databend 中的数据清理

</details> <details> <summary>访问数据湖</summary>

• Apache Hive
• Apache Iceberg
• Delta Lake

</details> <details> <summary>安全性</summary>

• 访问控制
• 掩码策略
• 网络策略
• 密码策略

</details> <details> <summary>性能</summary>

• 查看 Clickbench
• TPC-H 基准测试：Databend Cloud vs. Snowflake
• Databend vs. Snowflake: 数据摄取基准测试

</details>

🤝 贡献

Databend 的发展离不开社区的贡献！无论是通过创意、代码还是文档，每一份努力都帮助我们提升项目。作为感谢，一旦您的代码被合并，您的名字将永远保存在 system.contributors 表中。

以下是一些帮助您入门的资源：

• 从源代码构建 Databend
• 第一个好的 Pull Request

👥 社区

关于使用 Databend 的指导，我们推荐从官方文档开始。如果您需要进一步的帮助，可以探索以下社区渠道：

• Slack（与社区进行实时讨论）
• GitHub（功能/错误报告，贡献）
• Twitter（快速获取新闻）
• 我感到幸运（立即挑选一个好的首个问题！）

🛣️ 路线图

了解 Databend 的开发历程。以下是我们的路线图里程碑：

• 2024 路线图
• 2023 路线图
• v1.3 路线图
• v1.2 路线图
• v1.1 路线图
• v1.0 路线图
• v0.9 路线图

📜 许可证

Databend 是在两个许可证的组合下发布的：Apache License 2.0 和 Elastic License 2.0。

在为 Databend 贡献时，您可以在每个文件中找到相关的许可证头。

更多信息，请参阅 LICENSE 文件和 许可常见问题。

🙏 致谢

• 灵感: Databend 的设计灵感来自行业领军者 ClickHouse 和 Snowflake。

• 计算模型: 我们的计算基础建立在 Arrow2 之上，这是 Apache Arrow 列式格式的更快、更安全的版本。

• 文档托管: Databend 文档网站 由 Vercel 提供支持。