HuixiangDou学习资料汇总-基于LLM的群聊场景技术助手

HuixiangDou学习资料汇总

HuixiangDou是一个基于大型语言模型(LLM)的专业知识助手,旨在解决群聊场景中的技术问题。本文汇总了HuixiangDou项目的相关学习资料,帮助读者快速了解和使用这个开源项目。

项目简介

HuixiangDou是一个专业的知识助手,具有以下主要特点:

1. 设计了预处理、拒答、响应三阶段pipeline:
   • chat_in_group用于群聊场景,可以有效回答用户问题而不会造成消息泛滥
   • chat_with_repo用于实时聊天场景,响应更快
2. 无需训练即可适用各行业,提供CPU-only、2G、10G、20G、80G等多种配置
3. 提供完整的Web前后端、Android端和pipeline源码,可用于工业级开发

快速开始

1. 克隆项目代码:

git clone https://github.com/InternLM/HuixiangDou.git
cd HuixiangDou

2. 安装依赖:

pip install -r requirements.txt

3. 下载并准备知识库文档:

mkdir repodir
git clone https://github.com/open-mmlab/mmpose --depth=1 repodir/mmpose

4. 构建特征库:

mkdir workdir
python3 -m huixiangdou.service.feature_store

5. 启动问答:

python3 -m huixiangdou.main --standalone

配置说明

HuixiangDou提供了多种配置选项,可以根据实际需求进行选择:

• CPU-only版: 无GPU,使用siliconcloud API进行推理
• 2G实惠版: 显存1.8G以上,使用远程LLM
• 10G多模态版: 支持图文检索
• 19G标准版: 本地部署LLM,单模态
• 80G完整版: 本地LLM,支持指代消歧等高级功能

具体配置方法请参考配置文档。

进阶使用

• 接入飞书/微信群
• 部署Web前后端
• 使用Android工具

常见问题

如遇到问题,可以查看FAQ部分,包括:

• 机器人回复策略调整
• 运行时内存不足
• 接入其他LLM模型
• 响应速度优化 等

相关资源

• 项目GitHub仓库
• 在线Demo
• 相关论文

希望本文能帮助您快速了解和使用HuixiangDou项目。如有任何问题,欢迎在GitHub仓库中提出issue或讨论。