autollm

AutoLLM 项目介绍

项目背景

AutoLLM 是一个旨在简化、统一和增强大语言模型（LLM）使用的工具。通过这个项目，用户能够快速部署依赖 RAG（Retrieval-Augmented Generation）技术的应用和 API。它的优势在于整合超过 100 种语言模型和 20 多种向量数据库，并且支持统一的接口调用。

项目特点

AutoLLM 通过以下几大特点在众多工具中脱颖而出：

支持 100 多种语言模型：AutoLLM 提供了对各种先进语言模型的支持，使用户能够根据不同需求灵活选择。
统一的 API 接口：无需为每个模型编写特定的接口调用代码，AutoLLM 提供了统一的接口，极大地提高了代码的可维护性。
多种向量数据库支持：提供超过 20 种向量数据库的支持，如最默认且高效的 Lancedb，确保数据存储和检索的灵活性和效率。
成本计算功能：自动帮用户计算不同模型调用的使用费用，有助于预算管理和优化。
一行代码快速创建应用和 API：通过简单的一行代码，便可生成 RAG LLM 应用和 HTTP API，提高开发效率。

安装指南

在 Python 环境（版本>=3.8）中，用户可以通过 pip 便捷安装 AutoLLM 包：

pip install autollm

若需要内置数据读取器（如 GitHub、PDF 等），可以使用以下命令：

pip install autollm[readers]

快速入门

用户能够通过简单的几个步骤来创建一个查询引擎：

from autollm import AutoQueryEngine, read_files_as_documents

documents = read_files_as_documents(input_dir="path/to/documents")
query_engine = AutoQueryEngine.from_defaults(documents)

response = query_engine.query("Why did SafeVideo AI develop this project?")
print(response.response)  # 输出项目开发目的

同时，AutoLLM 还可以快速将查询引擎转换为 FastAPI 应用，只需一行代码：

from autollm import AutoFastAPI
import uvicorn

app = AutoFastAPI.from_query_engine(query_engine)
uvicorn.run(app, host="0.0.0.0", port=8000)

高级功能

AutoLLM 支持这些高级功能，带来了更多灵活性：

集成超过 100 种语言模型：无论是 Huggingface、Microsoft Azure 还是 Google VertexAI，AutoLLM 都能轻松结合。
支持多种向量数据库：如 Qdrant、lancedb 等，便于在不同场景中选择适合的存储解决方案。
自动成本计算：根据使用的模型和 API，自动计算相关费用，帮助用户实现成本优化。