AutoLLM: 简化大语言模型应用开发的强大工具

autollm

AutoLLM:让大语言模型应用开发变得简单

在人工智能快速发展的今天,大语言模型(LLM)已成为许多创新应用的核心。然而,构建基于LLM的应用往往需要复杂的工程工作。为了简化这一过程,SafeVideo AI团队开发了AutoLLM - 一个强大而灵活的工具,旨在让开发者能够快速构建和部署基于LLM的应用。

AutoLLM的核心优势

AutoLLM的设计理念可以用三个词来概括:简化(Simplify)、统一(Unify)和放大(Amplify)。它为开发者提供了以下主要优势:

支持100多种LLM模型
统一的API接口
支持20多种向量数据库
自动计算100多种LLM的使用成本
一行代码即可创建RAG LLM引擎
一行代码即可生成FastAPI应用

与其他流行的LLM开发框架如LangChain和LlamaIndex相比,AutoLLM在API统一性和快速开发方面具有明显优势。

快速上手AutoLLM

使用AutoLLM非常简单。首先,我们需要安装AutoLLM包:

pip install autollm[readers]

这将安装AutoLLM及其内置的数据读取器,支持GitHub、PDF、DOCX、IPYNB、EPUB、MBOX和网站等多种数据源。

接下来,让我们看看如何使用AutoLLM创建一个查询引擎:

from autollm import AutoQueryEngine, read_files_as_documents

documents = read_files_as_documents(input_dir="path/to/documents")
query_engine = AutoQueryEngine.from_defaults(documents)

response = query_engine.query(
    "Why did SafeVideo AI develop this project?"
)

print(response.response)
# 输出: "Because they wanted to deploy rag based llm apis in no time!"

仅需几行代码,我们就创建了一个能够回答问题的查询引擎。AutoLLM自动处理了文档加载、向量化、存储和检索等复杂过程。

支持多种LLM和向量数据库

AutoLLM的一大特色是支持众多LLM和向量数据库。例如,我们可以轻松使用Hugging Face的模型:

import os
from autollm import AutoQueryEngine

os.environ["HUGGINGFACE_API_KEY"] = "your_huggingface_api_key"

llm_model = "huggingface/WizardLM/WizardCoder-Python-34B-V1.0"
llm_api_base = "https://my-endpoint.huggingface.cloud"

query_engine = AutoQueryEngine.from_defaults(
    documents='...',
    llm_model=llm_model,
    llm_api_base=llm_api_base,
)

除了Hugging Face,AutoLLM还支持OpenAI、Azure、Google VertexAI、AWS Bedrock等多种LLM服务。

在向量数据库方面,AutoLLM默认使用LanceDB,这是一个无需设置、无服务器且高效的选择。但它也支持其他流行的向量数据库,如Qdrant:

from autollm import AutoQueryEngine
import qdrant_client

vector_store_type = "QdrantVectorStore"
client = qdrant_client.QdrantClient(
    url="http://<host>:<port>",
    api_key="<qdrant-api-key>"
)
collection_name = "quickstart"

query_engine = AutoQueryEngine.from_defaults(
    documents='...',
    vector_store_type=vector_store_type,
    client=client,
    collection_name=collection_name,
)

一键生成FastAPI应用

AutoLLM的另一个强大功能是能够快速将查询引擎转换为Web API。只需一行代码,就可以创建一个FastAPI应用:

import uvicorn
from autollm import AutoFastAPI

app = AutoFastAPI.from_query_engine(query_engine)

uvicorn.run(app, host="0.0.0.0", port=8000)

这样,我们就得到了一个功能完整的RESTful API,可以通过HTTP请求与我们的LLM应用进行交互。

自动成本计算

在使用商业LLM服务时,成本控制是一个重要考虑因素。AutoLLM提供了自动成本计算功能,帮助开发者监控API使用成本:

from autollm import AutoServiceContext

service_context = AutoServiceContext(enable_cost_calculation=True)

# 查询后的示例输出
# Embedding Token Usage: 7
# LLM Prompt Token Usage: 1482
# LLM Completion Token Usage: 47
# LLM Total Token Cost: $0.002317

这一功能对于预算管理和优化API使用非常有帮助。

从LlamaIndex迁移

对于已经使用LlamaIndex的开发者,AutoLLM提供了简单的迁移路径:

from llama_index import StorageContext, ServiceContext, VectorStoreIndex
from llama_index.vectorstores import LanceDBVectorStore
from autollm import AutoQueryEngine

vector_store = LanceDBVectorStore(uri="./.lancedb")
storage_context = StorageContext.from_defaults(vector_store=vector_store)
service_context = ServiceContext.from_defaults()
index = VectorStoreIndex.from_documents(
    documents=documents,
    storage_context=storage_context,
    service_context=service_context,
)

query_engine = AutoQueryEngine.from_instances(index)