欢迎来到流行的内存列式格式Apache Arrow的Rust实现。
本仓库包含以下主要组件:
| 包 | 描述 | 最新API文档 | 自述文件 |
|---|---|---|---|
arrow | 核心功能(内存布局、数组、低级计算) | docs.rs | (自述文件) |
arrow-flight | 支持Arrow-Flight IPC协议 | docs.rs | (自述文件) |
object-store | 支持对象存储交互(aws、azure、gcp、本地、内存) | docs.rs | (自述文件) |
parquet | 支持Parquet列式文件格式 | docs.rs | (自述文件) |
parquet_derive | 用于为任意简单结构派生RecordWriter/RecordReader的包 | docs.rs | (自述文件) |
本仓库中当前开发版本的API文档可以在这里找到。
arrow和parquet包Arrow Rust项目大约每月发布一次,并遵循语义化版本控制。
由于可用的维护人员和测试带宽有限,arrow包(arrow、arrow-flight等)与parquet和[parquet-derive]包按照相同的计划和版本一起发布。
这个包每月发布一次。我们最多每季度发布一次新的主要版本(可能包含破坏性API更改),并在间隔的月份发布增量次要版本。更多详情请参见此票据。
为了降低我们的维护负担,我们从master分支定期计划发布(主要和次要版本)。我们如何处理包含破坏性API更改的PR在贡献指南中有所描述。
计划发布时间表
| 大致日期 | 版本 | 注释 |
|---|---|---|
| 2024年9月 | 53.0.0 | 主要版本,可能有破坏性API更改 |
| 2024年10月 | 53.1.0 | 次要版本,无破坏性API更改 |
| 2024年11月 | 53.2.0 | 次要版本,无破坏性API更改 |
| 2024年12月 | 54.0.0 | 主要版本,可能有破坏性API更改 |
object_store包object_store包独立于arrow和parquet包发布,并遵循语义化版本控制。我们的目标是大约每2个月发布一次新版本。
在不同的仓库中有几个相关的包
| 包 | 描述 | 文档 |
|---|---|---|
datafusion | 支持SQL的内存查询引擎 | (自述文件) |
ballista | 分布式查询执行 | (自述文件) |
object_store_opendal | 使用opendal作为object_store后端 | (自述文件) |
parquet_opendal | 使用opendal进行parquet Arrow IO | (自述文件) |
这些包共同支持Rust中更广泛的分析计算功能。
例如,您可以使用SQL查询或DataFrame(使用datafusion包)来读取parquet文件(使用parquet包),使用Arrow的列式格式在内存中评估它(使用arrow包),并将其发送到另一个进程(使用arrow-flight包)。
一般来说,arrow包提供了使用Arrow数组的功能,而datafusion提供了SQL中通常找到的大多数操作,包括join和窗口函数。
您可以在各自的自述文件中找到有关每个包的更多详细信息。
dev@arrow.apache.org邮件列表是Arrow社区的核心通信渠道。注册说明和存档链接可以在Arrow社区页面上找到。所有重大公告和通信都在那里进行。
Rust Arrow社区还使用官方的ASF Slack进行非正式讨论和协调。这是一个认识其他贡献者并获得有关贡献方向指导的好地方。加入我们的#arrow-rust频道,可以通过以下方式免费获取邀请:
Rust实现使用GitHub问题作为新功能和错误修复的记录系统,这在发布过程中起着关键作用。
对于设计讨论,我们通常在Google文档 上协作,并提交一个链接到该文档的GitHub问题。
在贡献指南中有更多信息。


AI赋能电商视觉革命,一站式智能商拍平台
潮际好麦深耕服装行业,是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌,以及国内10万+淘宝、天猫、京东等主流平台的品牌商家,为卖家节省将近85%的出图成本,提升约3倍出图效率,让品牌能够快速上架。


企业专属的AI法律顾问
iTerms是法大大集团旗下法律子品牌,基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构,帮助企业扫清合规障碍,筑牢风控防线,成为您企业专属的AI法律顾问。


稳定高效的流量提升解决方案,助力品牌曝光
稳定高效的流量提升解决方案,助力品牌曝光


最新版Sora2模型免费使用,一键生成无水印视频
最新版Sora2 模型免费使用,一键生成无水印视频


实时语音翻译/同声传译工具
Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手,它拥有超精准的音频识别翻译能力,几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球,无论你是留学生、商务人士、韩剧美剧爱好者,还是出国游玩、多国会议、跨国追星等等,都可以满足你所有需要同传的场景需求,线上线下通用,扫除语言障碍,让全世界的语言交流不再有国界。


选题、配图、成文,一站式创作,让内容运营更高效
讯飞绘文,一个AI集成平台,支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容,加速品牌传播,提升内容营销效果。


AI辅助编程,代码自动修复
Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。


最强AI数据分析助手
小浣熊家族Raccoon,您的AI智能助手,致力于通过先进的人工智能技术,为用户提供高效、便捷的智能服务。无论是日常咨询还是专业问题解答,小浣熊都能以快速、准确的响应满足您的需求,让您的生活更加智能便捷。


像人一样思考的AI智能体
imini 是一款超级AI智能体,能根据人类指令,自主思考、自主完成、并且交付结果的AI智能体。


AI数字人视频创作平台
Keevx 一款开箱即用的AI数字人视频创作平台,广泛适用于电商广告、企业培训与社媒宣传,让全球企业与个人创作者无需拍摄剪辑,就能快速生成多语言、高质量的专业视频。
最新AI工具、AI资讯
独家AI资源、AI项目落地

微信扫一扫关注公众号