欢迎来到流行的内存列式格式Apache Arrow的Rust实现。
本仓库包含以下主要组件:
包 | 描述 | 最新API文档 | 自述文件 |
---|---|---|---|
arrow | 核心功能(内存布局、数组、低级计算) | docs.rs | (自述文件) |
arrow-flight | 支持Arrow-Flight IPC协议 | docs.rs | (自述文件) |
object-store | 支持对象存储交互(aws、azure、gcp、本地、内存) | docs.rs | (自述文件) |
parquet | 支持Parquet列式文件格式 | docs.rs | (自述文件) |
parquet_derive | 用于为任意简单结构派生RecordWriter/RecordReader的包 | docs.rs | (自述文件) |
本仓库中当前开发版本的API文档可以在这里找到。
arrow
和parquet
包Arrow Rust项目大约每月发布一次,并遵循语义化版本控制。
由于可用的维护人员和测试带宽有限,arrow
包(arrow
、arrow-flight
等)与parquet
和[parquet-derive
]包按照相同的计划和版本一起发布。
这个包每月发布一次。我们最多每季度发布一次新的主要版本(可能包含破坏性API更改),并在间隔的月份发布增量次要版本。更多详情请参见此票据。
为了降低我们的维护负担,我们从master
分支定期计划发布(主要和次要版本)。我们如何处理包含破坏性API更改的PR在贡献指南中有所描述。
计划发布时间表
大致日期 | 版本 | 注释 |
---|---|---|
2024年9月 | 53.0.0 | 主要版本,可能有破坏性API更改 |
2024年10月 | 53.1.0 | 次要版本,无破坏性API更改 |
2024年11月 | 53.2.0 | 次要版本,无破坏性API更改 |
2024年12月 | 54.0.0 | 主要版本,可能有破坏性API更改 |
object_store
包object_store
包独立于arrow
和parquet
包发布,并遵循语义化版本控制。我们的目标是大约每2个月发布一次新版本。
在不同的仓库中有几个相关的包
包 | 描述 | 文档 |
---|---|---|
datafusion | 支持SQL的内存查询引擎 | (自述文件) |
ballista | 分布式查询执行 | (自述文件) |
object_store_opendal | 使用opendal 作为object_store 后端 | (自述文件) |
parquet_opendal | 使用opendal 进行parquet Arrow IO | (自述文件) |
这些包共同支持Rust中更广泛的分析计算功能。
例如,您可以使用SQL查询或DataFrame
(使用datafusion
包)来读取parquet文件(使用parquet
包),使用Arrow的列式格式在内存中评估它(使用arrow
包),并将其发送到另一个进程(使用arrow-flight
包)。
一般来说,arrow
包提供了使用Arrow数组的功能,而datafusion
提供了SQL中通常找到的大多数操作,包括join
和窗口函数。
您可以在各自的自述文件中找到有关每个包的更多详细信息。
dev@arrow.apache.org
邮件列表是Arrow社区的核心通信渠道。注册说明和存档链接可以在Arrow社区页面上找到。所有重大公告和通信都在那里进行。
Rust Arrow社区还使用官方的ASF Slack进行非正式讨论和协调。这是一个认识其他贡献者并获得有关贡献方向指导的好地方。加入我们的#arrow-rust
频道,可以通过以下方式免费获取邀请:
Rust实现使用GitHub问题作为新功能和错误修复的记录系统,这在发布过程中起着关键作用。
对于设计讨论,我们通常在Google文档 上协作,并提交一个链接到该文档的GitHub问题。
在贡献指南中有更多信息。
一键生成PPT和Word,让学习生活更轻松
讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信 息。
深度推理能力全新升级,全面对标OpenAI o1
科大讯飞的星火大模型,支持语言理解、知识问答和文本创作等多功能,适用于多种文件和业务场景,提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台,涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能,能为不同需求的用户提供便捷高效的帮助,助力用户轻松获取信息、解决问题,满足多样化使用场景。
一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型
Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目,由多个知名机构联合参与。该项目提供了高效的 LLM(大语言模型)驱动的语音合成方案,支持语音克隆和语音创建功能,可通过命令行界面(CLI)和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数,生成高质量的语音。该项目适用于多种场景,如有声读物制作、智能语音助手开发等。
字节跳动发布的AI编程神器IDE
Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。
AI助力,做PPT更简单!
咔片是一款轻量化在线演示设计工具,借助 AI 技术,实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT,提供海量模板、智能美化、素材替换等功能,适用于销售、教师、学生等各类人群,能高效制作出高品质 PPT,满足不同场景演示需求。
选题、配图、成文,一站式创作,让内容运营更高效