awesome-rust-llm

项目简介：Awesome Rust LLM

Awesome Rust LLM 是一个资源合集，专注于收集和整理基于 Rust 编程语言的最佳大语言模型（LLM）框架、库、工具、教程和文章等等。这个项目鼓励社区通过提交请求（PR）来丰富资源列表。

模型与推理

• llm：一个 Rust 库，用于支持多种 LLM 的推理过程，能够加载基于 ggml 的模型。
• rust-bert：提供基于变压器模型（如 BERT、DistilBERT、GPT2 等）的完整流水线。适合本地嵌入，是 Python transformers 的移植版本。
• llm-chain：用于在 Rust 中串联多个 LLM。
• smartgpt：结合插件使用 LLM，能够完成复杂任务。
• diffusers：使用 Rust 实现 Stable Diffusion，比 Pytorch 快 45%。

项目

• aichat：一个纯 Rust 实现的命令行界面 AI 聊天程序，具备实时流、文本高亮等高级功能。
• browser-agent：基于 GPT-4 驱动的无头浏览器。可简化页面表示，接收并执行来自 GPT 的指令。
• tenere：为 LLM 提供终端用户界面（TUI）。
• ajeto：LLM 个人助理。
• shortgpt：提出问题即可获得简洁回答。
• autorust：使用宏在编译时生成 AI 驱动的 Rust 代码。
• clerk：基于 LLM 的文件整理工具。
• gptcommit：使用 GPT 准备提交信息。

LLM 记忆

• indexify：提供检索和长期记忆服务。
• memex：简单的完整 Rust 实现，用于 LLM 项目的“记忆”（文档存储 + 语义搜索）。
• motorhead：用作 LLM 的记忆和信息检索服务器。以 Redis 为长期记忆向量存储，兼容 OpenAI API。

核心库

• tiktoken：实现快速 BPE 编码器的 Python 库，核心使用 Rust。
• polars：比 pandas 更快的纯 Rust 替代方案。
• rllama：LLaMa 推理的纯 Rust 实现，非常适合嵌入其他应用程序。
• whatlang：使用多类逻辑回归模型的语言检测库。
• OpenAI API：为 OpenAI API 提供强类型支持的 Rust 客户端。

工具

• spider：使用 Rust 编写的爬虫工具，专注于网站数据导出，后期数据处理。

服务

• dust：一个完整的工作流服务，核心使用 Rust，前端使用 TypeScript。

向量存储

• pgvecto.rs：为 Postgres 提供的向量数据库插件，使用 Rust 编写，专注于 LLM，比 pgvector 快 20 倍。
• qdrant：为新一代 AI 应用程序设计的向量数据库。

Awesome Rust LLM 提供了一个丰富而全面的平台，以帮助开发者更好地使用 Rust 构建强大的大语言模型应用。这些工具和项目不仅展示了 Rust 的强大和灵活性，也推动了自然语言处理技术的发展。