使用Rust实现的高性能ONNX Runtime包装器
ort 是一个基于 Rust 的非官方 ONNX Runtime 1.18 包装器,能够加速 CPU 和 GPU 上的机器学习推理与训练。提供详细的指导文档、API参考和示例,并支持从 v1.x 迁移到 v2.0。Twitter、Bloop 和 Supabase 等项目均在使用ort。可通过 Discord 或 GitHub 讨论获取支持,欢迎在 Open Collective 上进行赞助。
ort
是一个为 Rust 提供的非官方 ONNX Runtime 1.20 封装,它基于里程已经终止的 onnxruntime-rs
项目开发而来。ONNX Runtime 是一个可以在 CPU 和 GPU 上加速机器学习推理和训练的工具。
为方便用户理解和使用 ort
,项目提供了详尽的文档支持:
ort
的详细 API 文档。ort
示例目录中,用户可以找到各种使用示例。为了更好地服务于用户,ort
提供多种技术支持渠道:
#💬|ort-discussions
频道,进行讨论和交流。ort
的项目ort
被应用于多个知名项目中,以其强大的推理能力提升项目性能:
ort
服务于数亿用户的首页推荐。ort
实现语义代码搜索。ort
进行加速 transformer 模型推理。ort
减少边缘函数的冷启动时间。ort
在 Postgres 中 进行嵌入模型推理。ort
实现内容类型检测。ort
快速实现 Style-BERT-VITS2 文本到语音转换。ort
ort
项目接受赞助,赞助者可以通过 Open Collective 参与支持,助力项目持续发展。
ort
项目凭借其高效和灵活的特性,赢得了多个知名项目的信任,如果您从事与机器学习推理相关的工作,ort
可能是一个值得考虑的选择。