arrow-rs

arrow-rs

Rust实现的Apache Arrow和Parquet高性能数据处理库

arrow-rs是Apache Arrow和Apache Parquet的Rust原生实现,提供高效的列式内存格式和数据处理功能。项目包含Arrow核心数据结构、Flight IPC协议、对象存储、Parquet文件格式等组件。每月发布更新,支持高性能数据分析和处理,适用于构建各类大数据应用。

Apache ArrowRustParquet数据处理开源项目Github
<!--- Licensed to the Apache Software Foundation (ASF) under一个或多个贡献者许可协议。 有关版权所有权的更多信息,请参阅随本作品分发的NOTICE文件。 ASF根据Apache许可证2.0版("许可证")向您授予此文件; 除非符合许可证,否则您不得使用此文件。 您可以在以下网址获取许可证的副本: http://www.apache.org/licenses/LICENSE-2.0 除非适用法律要求或书面同意, 否则根据许可证分发的软件是基于"按原样"的基础分发的, 不附带任何明示或暗示的担保或条件。 有关许可证下特定的管理权限和限制,请参阅许可证。 -->

Apache Arrow和Apache Parquet的原生Rust实现

覆盖率状态

欢迎来到流行的内存列式格式Apache ArrowRust实现。

本仓库包含以下主要组件:

描述最新API文档自述文件
arrow核心功能(内存布局、数组、低级计算)docs.rs(自述文件)
arrow-flight支持Arrow-Flight IPC协议docs.rs(自述文件)
object-store支持对象存储交互(aws、azure、gcp、本地、内存)docs.rs(自述文件)
parquet支持Parquet列式文件格式docs.rs(自述文件)
parquet_derive用于为任意简单结构派生RecordWriter/RecordReader的包docs.rs(自述文件)

本仓库中当前开发版本的API文档可以在这里找到。

发布版本控制和计划

arrowparquet

Arrow Rust项目大约每月发布一次,并遵循语义化版本控制

由于可用的维护人员和测试带宽有限,arrow包(arrowarrow-flight等)与parquet和[parquet-derive]包按照相同的计划和版本一起发布。

这个包每月发布一次。我们最多每季度发布一次新的主要版本(可能包含破坏性API更改),并在间隔的月份发布增量次要版本。更多详情请参见此票据

为了降低我们的维护负担,我们从master分支定期计划发布(主要和次要版本)。我们如何处理包含破坏性API更改的PR在贡献指南中有所描述。

计划发布时间表

大致日期版本注释
2024年9月53.0.0主要版本,可能有破坏性API更改
2024年10月53.1.0次要版本,无破坏性API更改
2024年11月53.2.0次要版本,无破坏性API更改
2024年12月54.0.0主要版本,可能有破坏性API更改

object_store

object_store包独立于arrowparquet包发布,并遵循语义化版本控制。我们的目标是大约每2个月发布一次新版本。

相关项目

在不同的仓库中有几个相关的包

描述文档
datafusion支持SQL的内存查询引擎(自述文件)
ballista分布式查询执行(自述文件)
object_store_opendal使用opendal作为object_store后端(自述文件)
parquet_opendal使用opendal进行parquet Arrow IO(自述文件)

这些包共同支持Rust中更广泛的分析计算功能。

例如,您可以使用SQL查询或DataFrame(使用datafusion包)来读取parquet文件(使用parquet包),使用Arrow的列式格式在内存中评估它(使用arrow包),并将其发送到另一个进程(使用arrow-flight包)。

一般来说,arrow包提供了使用Arrow数组的功能,而datafusion提供了SQL中通常找到的大多数操作,包括join和窗口函数。

您可以在各自的自述文件中找到有关每个包的更多详细信息。

Arrow Rust社区

dev@arrow.apache.org邮件列表是Arrow社区的核心通信渠道。注册说明和存档链接可以在Arrow社区页面上找到。所有重大公告和通信都在那里进行。

Rust Arrow社区还使用官方的ASF Slack进行非正式讨论和协调。这是一个认识其他贡献者并获得有关贡献方向指导的好地方。加入我们的#arrow-rust频道,可以通过以下方式免费获取邀请:

  1. dev@arrow.apache.org邮件列表
  2. GitHub讨论
  3. Discord频道

Rust实现使用GitHub问题作为新功能和错误修复的记录系统,这在发布过程中起着关键作用。

对于设计讨论,我们通常在Google文档上协作,并提交一个链接到该文档的GitHub问题。

贡献指南中有更多信息。

编辑推荐精选

Vora

Vora

免费创建高清无水印Sora视频

Vora是一个免费创建高清无水印Sora视频的AI工具

Refly.AI

Refly.AI

最适合小白的AI自动化工作流平台

无需编码,轻松生成可复用、可变现的AI自动化工作流

酷表ChatExcel

酷表ChatExcel

大模型驱动的Excel数据处理工具

基于大模型交互的表格处理系统,允许用户通过对话方式完成数据整理和可视化分析。系统采用机器学习算法解析用户指令,自动执行排序、公式计算和数据透视等操作,支持多种文件格式导入导出。数据处理响应速度保持在0.8秒以内,支持超过100万行数据的即时分析。

AI工具酷表ChatExcelAI智能客服AI营销产品使用教程
TRAE编程

TRAE编程

AI辅助编程,代码自动修复

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
AIWritePaper论文写作

AIWritePaper论文写作

AI论文写作指导平台

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

AI辅助写作AI工具AI论文工具论文写作智能生成大纲数据安全AI助手热门
博思AIPPT

博思AIPPT

AI一键生成PPT,就用博思AIPPT!

博思AIPPT,新一代的AI生成PPT平台,支持智能生成PPT、AI美化PPT、文本&链接生成PPT、导入Word/PDF/Markdown文档生成PPT等,内置海量精美PPT模板,涵盖商务、教育、科技等不同风格,同时针对每个页面提供多种版式,一键自适应切换,完美适配各种办公场景。

AI办公办公工具AI工具博思AIPPTAI生成PPT智能排版海量精品模板AI创作热门
潮际好麦

潮际好麦

AI赋能电商视觉革命,一站式智能商拍平台

潮际好麦深耕服装行业,是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌,以及国内10万+淘宝、天猫、京东等主流平台的品牌商家,为卖家节省将近85%的出图成本,提升约3倍出图效率,让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌,基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构,帮助企业扫清合规障碍,筑牢风控防线,成为您企业专属的AI法律顾问。

SimilarWeb流量提升

SimilarWeb流量提升

稳定高效的流量提升解决方案,助力品牌曝光

稳定高效的流量提升解决方案,助力品牌曝光

Sora2视频免费生成

Sora2视频免费生成

最新版Sora2模型免费使用,一键生成无水印视频

最新版Sora2模型免费使用,一键生成无水印视频

下拉加载更多