Akcio: 增强型LLM聊天机器人的CVP技术栈实践

Akcio项目简介

Akcio是由Zilliz公司开源的一个演示项目,旨在展示检索增强生成(Retrieval Augmented Generation, RAG)技术在聊天机器人领域的应用。该项目名称"Akcio"源自拉丁语,意为"行动",体现了项目的实践性质。

Akcio的核心理念是结合大型语言模型(LLM)、向量数据库和提示工程,构建一个知识增强型的聊天系统。这种技术组合被称为CVP技术栈(ChatGPT + Vector Database + Prompt-as-code)。通过CVP技术栈,Akcio能够克服传统LLM由于知识库限制而产生的局限性,提供更加准确和相关的回答。

如上图所示,Akcio的工作流程主要包括以下步骤:

1. 接收用户查询
2. 从向量数据库中检索相关信息
3. 将用户查询和检索到的信息结合,生成提示(Prompt)
4. 将提示输入LLM,生成最终回答

这种方法使LLM能够基于更丰富的上下文信息来生成回答,从而提高回答的质量和相关性。

Akcio的核心功能

Akcio提供了两种主要的AI平台选项:Towhee和LangChain。用户可以根据自己的需求和偏好选择其中之一来构建聊天系统。

Towhee模式

Towhee是一个开源的机器学习工具,它提供了预定义的管道(Pipeline)来简化系统构建过程。在Akcio中,Towhee模式主要包括以下组件:

1. 插入管道(Insert Pipeline): 用于构建知识库,将文档和相关数据保存到数据库中。
2. 搜索管道(Search Pipeline): 通过语义搜索和可选的关键词匹配实现信息检索,支持问答功能。
3. 提示操作符(Prompt Operator): 准备LLM的输入消息,包括系统消息、聊天历史和经过模板处理的用户查询。
4. 内存存储(Memory): 存储聊天历史,支持对话上下文。

LangChain模式

LangChain是另一个流行的AI应用开发框架。在Akcio中,LangChain模式主要包括以下组件:

1. ChatAgent: 集成所有模块,构建问答系统。
2. LLM: 大型语言模型或服务,用于生成回答。
3. Embedding: 将文本输入转换为向量。
4. VectorStore: 向量数据库,存储文档片段的嵌入表示,用于语义搜索。
5. ScalarStore(可选): 存储文档片段的元数据,支持额外的信息检索。
6. MemoryStore: 存储聊天历史,支持对话上下文。
7. DataLoader: 从给定源加载数据,并将文档分割成处理过的片段。

Akcio的技术特性

1. 多LLM支持: Akcio支持多种LLM服务,包括OpenAI、Llama-2、Dolly、Ernie、MiniMax等,为用户提供了灵活的选择。

2. 多种嵌入方法: 支持OpenAI和HuggingFace的嵌入模型,用于将文本转换为向量表示。

3. 向量存储选项: 支持Zilliz Cloud和Milvus作为向量数据库,用于高效的语义搜索。

4. 可选的标量存储: 支持使用Elasticsearch作为标量存储,用于存储和检索额外的元数据信息。

5. 多种内存存储选项: 支持PostgreSQL、MySQL、SQLite等多种数据库作为内存存储,用于保存对话历史。

6. 重排序功能: 在Towhee模式下支持使用MS MARCO Cross-Encoders进行结果重排序,提高检索质量。

Akcio的部署和使用

要部署和使用Akcio,需要按照以下步骤进行:

1. 下载项目代码:

   git clone https://github.com/zilliztech/akcio.git
   cd akcio
   

2. 安装依赖:

   pip install -r requirements.txt
   

3. 配置模块: 用户可以通过修改config.py文件或设置环境变量来配置各个模块,包括LLM服务、嵌入方法、存储选项等。

4. 启动服务: Akcio使用FastAPI构建后端服务,默认地址为localhost:8900。用户可以选择Towhee或LangChain模式启动服务:

   # 使用Towhee模式
   python main.py --towhee
   
   # 使用LangChain模式
   python main.py --langchain
   

5. 访问服务: 启动服务后,可以通过浏览器访问http://localhost:8900/docs来查看和测试API。

数据加载

Akcio提供了两种加载项目数据的方式:

1. 离线加载: 推荐使用这种方法,可以分步加载数据,并支持高级选项,如为每个文档片段生成潜在问题。

2. 在线加载: 当FastAPI服务运行时,可以使用POST请求http://localhost:8900/project/add来加载数据。这种方法适合加载少量数据,不推荐用于大量数据的加载。

结语

Akcio作为一个开源的RAG技术演示项目,为开发者提供了一个强大而灵活的框架,用于构建知识增强型的聊天机器人系统。通过结合LLM、向量数据库和提示工程,Akcio能够生成更加准确、相关和有洞察力的回答。无论是对于研究人员、开发者还是企业用户,Akcio都提供了宝贵的参考和实践机会,有助于推动AI聊天机器人技术的发展和应用。

Akcio项目的开源性质也鼓励了社区贡献和创新。开发者可以根据自己的需求定制和扩展Akcio,探索更多可能性。随着RAG技术的不断发展,我们可以期待Akcio在未来会支持更多的LLM服务、存储选项和功能特性,为构建下一代智能对话系统提供更加强大的工具和平台。