opendal

opendal

统一数据访问层 多语言多服务高效集成

OpenDAL是开源的统一数据访问层,支持多种编程语言和存储服务。它覆盖标准存储协议、对象存储、文件存储、云存储、键值存储、数据库和缓存等多种服务,提供高效的数据获取能力。OpenDAL简化了开发流程,提高了数据操作效率,是一个全面的数据访问解决方案。

OpenDAL数据访问存储服务多语言支持开源项目Github

Apache OpenDAL™:自由访问数据

OpenDAL提供了一个统一的数据访问层,使用户能够无缝高效地从不同的存储服务中检索数据。我们的目标是为任何语言、方法、集成和服务提供全面的解决方案。

<img src="https://yellow-cdn.veclightyear.com/835a84d5/a5bb1071-a5d4-4b45-b203-ae83b727a9ad.png" alt="OpenDAL架构" width="61.8%" />

适用于任何语言

名称发布文档
Rust核心Rust核心图标文档发布 文档开发
C绑定-文档开发
Cpp绑定-文档开发
Dotnet绑定--
Go绑定--
Haskell绑定--
Java绑定Java绑定图标文档发布 文档开发
Lua绑定--
Node.js绑定Node.js绑定图标文档开发
Ocaml绑定--
PHP绑定--
Python绑定Python绑定图标文档开发
Ruby绑定--
Swift绑定--
Zig绑定--

适用于任何方法

名称描述发布
oay通过API网关访问数据oay图标
oli通过命令行访问数据(s3cmd、s3cli、azcopy的替代方案)oli图标
ofs通过POSIX文件系统API访问数据(s3fs的替代方案)ofs图标

适用于任何集成

名称描述发布文档
dav-server-opendalfs使用opendal实现的dav-server-rsdav-server 图标![发布文档] ![开发文档]
object_store_opendal使用opendal实现的object_storeobject_store 图标![发布文档] ![开发文档]
fuse3_opendal通过与fuse3集成访问数据。fuse3 图标![发布文档] ![开发文档]
virtiofs_opendal通过与vhost-user-backend集成访问数据。virtiofs 图标![发布文档] ![开发文档]
unftp-sbe-opendal使用opendal实现的unftp存储后端。unftp-sbe 图标![发布文档] ![开发文档]
parquet_opendal提供parquet高效IO工具parquet 图标![发布文档] ![开发文档]

适用于所有服务

类型服务
标准存储协议ftp http sftp webdav
对象存储服务azblob cos gcs obs oss s3 <br> b2 openstack_swift upyun vercel_blob
文件存储服务fs alluxio azdls azfile chainsafe compfs <br> dbfs gridfs hdfs hdfs_native ipfs webhdfs
消费者云存储服务aliyun_drive gdrive onedrive dropbox icloud koofr <br> pcloud seafile yandex_disk
键值存储服务cacache cloudflare_kv dashmap memory etcd <br> foundationdb persy redis rocksdb sled <br> redb tikv atomicserver
数据库存储服务d1 mongodb mysql postgresql sqlite surrealdb
缓存存储服务ghac memcached mini_moka moka vercel_artifacts
基于Git的存储服务huggingface

示例

示例可在此处获取。

文档

文档可在 https://opendal.apache.org 获取。

贡献

OpenDAL 是一个活跃的开源项目。我们始终欢迎想要使用或贡献的人。以下是一些参与方式。

谁在使用 OpenDAL?

Rust 核心

  • apache/iceberg-rustApache Iceberg 的原生 Rust 实现,用于分析数据集的开放表格式。
  • Databend:一个现代的、具有弹性和高性能的云数据仓库。
  • deepeth/mars:用于探索和可视化区块链数据的强大分析平台。
  • GreptimeDB:一个开源的、云原生的、分布式时间序列数据库。
  • mozilla/sccachesccache 是带有云存储功能的 ccache
  • OctoBaseAFFiNE 背后的开源数据库,本地优先,但支持协作。
  • ParadeDB:用于搜索和分析的 Postgres - 在 Postgres 和云存储上进行快速全文搜索和分析。作为扩展构建。
  • Pants:一个快速、可扩展、用户友好的构建系统,适用于各种规模的代码库。
  • QuestDB:一个开源时间序列数据库,用于高吞吐量摄取和快速 SQL 查询,具有简单的操作性。
  • RisingWave:用于流处理的分布式 SQL 数据库。
  • Vector:一个高性能的可观测性数据管道。

C 绑定

  • Milvus:一个云原生向量数据库,为下一代 AI 应用提供存储。

Java 绑定

  • QuestDB:一个开源时间序列数据库,用于高吞吐量摄取和快速 SQL 查询,具有简单的操作性。

品牌

对于任何单独的使用场合(网页、讲义、幻灯片等),首次和最显著的提及必须使用全称:Apache OpenDAL™。根据上下文和写作风格,你应当足够频繁地使用全称,以确保读者清楚理解OpenDAL项目和OpenDAL软件产品与Apache软件基金会(ASF)这一母组织之间的关联。

更多详情,请参阅Apache产品名称使用指南

许可证和商标

根据Apache许可证2.0版授权:http://www.apache.org/licenses/LICENSE-2.0

Apache OpenDAL、OpenDAL和Apache是Apache软件基金会的注册商标或商标。

编辑推荐精选

堆友

堆友

多风格AI绘画神器

堆友平台由阿里巴巴设计团队创建,作为一款AI驱动的设计工具,专为设计师提供一站式增长服务。功能覆盖海量3D素材、AI绘画、实时渲染以及专业抠图,显著提升设计品质和效率。平台不仅提供工具,还是一个促进创意交流和个人发展的空间,界面友好,适合所有级别的设计师和创意工作者。

图像生成热门AI工具AI图像AI反应堆AI工具箱AI绘画GOAI艺术字堆友相机
码上飞

码上飞

零代码AI应用开发平台

零代码AI应用开发平台,用户只需一句话简单描述需求,AI能自动生成小程序、APP或H5网页应用,无需编写代码。

Vora

Vora

免费创建高清无水印Sora视频

Vora是一个免费创建高清无水印Sora视频的AI工具

Refly.AI

Refly.AI

最适合小白的AI自动化工作流平台

无需编码,轻松生成可复用、可变现的AI自动化工作流

酷表ChatExcel

酷表ChatExcel

大模型驱动的Excel数据处理工具

基于大模型交互的表格处理系统,允许用户通过对话方式完成数据整理和可视化分析。系统采用机器学习算法解析用户指令,自动执行排序、公式计算和数据透视等操作,支持多种文件格式导入导出。数据处理响应速度保持在0.8秒以内,支持超过100万行数据的即时分析。

AI工具使用教程AI营销产品酷表ChatExcelAI智能客服
TRAE编程

TRAE编程

AI辅助编程,代码自动修复

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

热门AI工具生产力协作转型TraeAI IDE
AIWritePaper论文写作

AIWritePaper论文写作

AI论文写作指导平台

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

数据安全AI助手热门AI工具AI辅助写作AI论文工具论文写作智能生成大纲
博思AIPPT

博思AIPPT

AI一键生成PPT,就用博思AIPPT!

博思AIPPT,新一代的AI生成PPT平台,支持智能生成PPT、AI美化PPT、文本&链接生成PPT、导入Word/PDF/Markdown文档生成PPT等,内置海量精美PPT模板,涵盖商务、教育、科技等不同风格,同时针对每个页面提供多种版式,一键自适应切换,完美适配各种办公场景。

热门AI工具AI办公办公工具智能排版AI生成PPT博思AIPPT海量精品模板AI创作
潮际好麦

潮际好麦

AI赋能电商视觉革命,一站式智能商拍平台

潮际好麦深耕服装行业,是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌,以及国内10万+淘宝、天猫、京东等主流平台的品牌商家,为卖家节省将近85%的出图成本,提升约3倍出图效率,让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌,基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构,帮助企业扫清合规障碍,筑牢风控防线,成为您企业专属的AI法律顾问。

下拉加载更多