AutoLLM学习资料汇总 - 快速构建RAG-based LLM Web应用

AutoLLM简介

AutoLLM是一个开源项目，旨在简化和加速基于RAG（检索增强生成）的大型语言模型（LLM）Web应用的开发过程。它的口号是"Simplify. Unify. Amplify."（简化、统一、放大），提供了一套统一的API来访问100多种LLM和20多种向量数据库，让开发者能够快速构建强大的AI应用。

核心特性

1. 支持100+种LLM模型
2. 统一的API接口
3. 支持20+种向量数据库
4. 自动成本计算
5. 一行代码创建RAG LLM引擎
6. 一行代码生成FastAPI应用

快速开始

安装

AutoLLM需要Python 3.8或更高版本。可以使用pip安装：

pip install autollm[readers]

创建查询引擎

from autollm import AutoQueryEngine, read_files_as_documents

documents = read_files_as_documents(input_dir="path/to/documents")
query_engine = AutoQueryEngine.from_defaults(documents)

response = query_engine.query("Why did SafeVideo AI develop this project?")
print(response.response)

转换为FastAPI应用

import uvicorn
from autollm import AutoFastAPI

app = AutoFastAPI.from_query_engine(query_engine)

uvicorn.run(app, host="0.0.0.0", port=8000)

学习资源

视频教程

1. Make RAG with API Just in a few Seconds!!!
2. Autollm automagically create llm apps in seconds
3. AutoLLM: Create RAG Based LLM Web Apps in SECONDS!
4. AutoLLM: Ship RAG based LLM Apps and API in Seconds
5. 🚀 AutoLLM: Unlock the Power of 100+ Language Models! Step-by-Step Tutorial

博客文章

• Introduction to AutoLLM

Colab笔记本

• AutoLLM Quickstart

高级功能

支持多种LLM

AutoLLM支持多种LLM，包括HuggingFace、OpenAI、Azure、Google VertexAI和AWS Bedrock等。以下是一些示例：

# HuggingFace Ollama
llm_model = "ollama/llama2"
llm_api_base = "http://localhost:11434"

# Azure OpenAI
llm_model = "azure/<your_deployment_name>"

# Google VertexAI
llm_model = "text-bison@001"

# AWS Bedrock
llm_model = "anthropic.claude-v2"

支持多种向量数据库

AutoLLM默认使用LanceDB作为向量存储，但也支持其他多种向量数据库，如Qdrant：

from autollm import AutoQueryEngine
import qdrant_client

vector_store_type = "QdrantVectorStore"
client = qdrant_client.QdrantClient(
    url="http://<host>:<port>",
    api_key="<qdrant-api-key>"
)
collection_name = "quickstart"

AutoQueryEngine.from_defaults(
    documents='...',
    vector_store_type=vector_store_type,
    client=client,
    collection_name=collection_name,
)

贡献与支持

AutoLLM是一个开源项目，欢迎社区贡献。如果你喜欢这个项目，可以在GitHub上给它一个星标，或者参与贡献。

• GitHub仓库：https://github.com/safevideo/autollm
• 贡献指南：CONTRIBUTING.md

如果你有任何问题或需要支持，可以通过以下方式联系：

• 电子邮件：support@safevideo.ai
• 网站：SafeVideo
• LinkedIn：SafeVideo AI

AutoLLM的开发正在积极进行中，未来计划包括一行代码创建Gradio应用、基于预算的邮件通知、自动LLM评估等新功能。持续关注项目更新，探索更多AI应用开发的可能性！