基于任何内容的问答系统

<p align="center"> <a href="./README.md">English</a> | <a href="./README_zh.md">简体中文</a> | <a href="./README_jp.md">日本語</a> </p> </div> <div align="center">

</div> <details open="open"> <summary>目录</summary>

什么是QAnything
- 主要特性
- 架构
最新更新
开始之前
快速开始
常见问题
使用方法
- API文档
路线图与反馈
社区与支持
许可证
致谢

</details>

🚀 重要更新

<h1><span style="color:red;">重要的事情说三遍。</span></h1>

2024-05-17：最新安装使用说明文档

商务联系方式：

010-82558901

什么是QAnything?

QAnything（基于任何内容的问答）是一个本地知识库问答系统，设计用于支持广泛的文件格式和数据库，允许离线安装和使用。

使用QAnything，您可以简单地放入任何本地存储的任意格式文件，并获得准确、快速和可靠的答案。

目前支持的格式包括：PDF(pdf)、Word(docx)、PPT(pptx)、XLS(xlsx)、Markdown(md)、电子邮件(eml)、TXT(txt)、图像(jpg，jpeg，png)、CSV(csv)、网页链接(html)，更多格式即将推出...

主要特性

数据安全，支持全程拔掉网线安装使用。
跨语言QA支持，可以自由切换中英文QA，不受文档语言限制。
支持海量数据QA，两阶段检索排序，解决大规模数据检索退化问题；数据越多，效果越好。
高性能生产级系统，可直接部署用于企业应用。
用户友好，无需繁琐配置，一键安装部署，即开即用。
多知识库QA 支持选择多个知识库进行问答

架构

为什么使用两阶段检索？

在知识库数据量大的场景下，两阶段方法的优势非常明显。如果只使用第一阶段的嵌入检索，随着数据量的增加会出现检索退化的问题，如下图绿线所示。但是经过第二阶段的重排序后，可以稳定提升准确率，数据越多，效果越好。

QAnything使用检索组件BCEmbedding，它以双语和跨语言能力著称。BCEmbedding在弥合中英文语言差距方面表现出色，实现了

在<a href="https://github.com/netease-youdao/BCEmbedding/tree/master?tab=readme-ov-file#evaluate-semantic-representation-by-mteb" target="_Self">MTEB语义表示评估</a>中的高性能；
在<a href="https://github.com/netease-youdao/BCEmbedding/tree/master?tab=readme-ov-file#evaluate-rag-by-llamaindex" target="_Self">LlamaIndex的RAG评估</a>领域树立了新的基准。

第一阶段检索（嵌入）

模型	检索	STS	对分类	分类	重排	聚类	平均
bge-base-en-v1.5	37.14	55.06	75.45	59.73	43.05	37.74	47.20
bge-base-zh-v1.5	47.60	63.72	77.40	63.38	54.85	32.56	53.60
bge-large-en-v1.5	37.15	54.09	75.00	59.24	42.68	37.32	46.82
bge-large-zh-v1.5	47.54	64.73	79.14	64.19	55.88	33.26	54.21
jina-embeddings-v2-base-en	31.58	54.28	74.84	58.42	41.16	34.67	44.29
m3e-base	46.29	63.93	71.84	64.08	52.38	37.84	53.54
m3e-large	34.85	59.74	67.69	60.07	48.99	31.62	46.78
bce-embedding-base_v1	57.60	65.73	74.96	69.00	57.29	38.95	59.43

更多评估详情请查看嵌入模型评估总结。

第二阶段检索（重排）

模型	重排	平均
bge-reranker-base	57.78	57.78
bge-reranker-large	59.69	59.69
bce-reranker-base_v1	60.06	60.06

更多评估详情请查看重排模型评估总结

LlamaIndex中的RAG评估（嵌入和重排）

注意：

在无重排设置下，我们的bce-embedding-base_v1优于所有其他嵌入模型。
固定嵌入模型的情况下，我们的bce-reranker-base_v1取得了最佳性能。
bce-embedding-base_v1和bce-reranker-base_v1的组合达到了最先进水平。
如果您想单独使用嵌入和重排，请参考BCEmbedding

大语言模型

QAnything的开源版本基于QwenLM，并在大量专业问答数据集上进行了微调。它极大地增强了问答能力。如果您需要将其用于商业目的，请遵循QwenLM的许可。更多详情，请参考：QwenLM

🚀 最新更新

2024-05-20：支持其他与OpenAI API兼容的大型模型服务，并提供优化的强大PDF解析器。 - 查看更多👉 v1.4.1
2024-04-26：支持网络搜索、FAQ、自定义机器人、文件可追溯性预览等。 - 查看更多👉 v1.4.0
2024-04-03：支持纯Python环境安装。支持混合搜索。 - 查看更多👉 v1.3.0
2024-01-29：支持自定义大型模型，包括OpenAI API和其他开源大型模型，最低GPU要求为GTX 1050Ti，极大改善部署、调试和用户体验。 - 查看更多👉 v1.2.0
2024-01-23：默认启用重排，修复Windows启动时的各种问题。 - 查看更多👉 v1.1.1
2024-01-18：支持一键启动，支持Windows部署，提高PDF、XLSX、HTML解析效率。 - 查看更多👉 v1.1.0

开始之前

在GitHub上为我们点星，立即获得新版本通知！ star_us

开始使用

安装方法

我们提供两个版本： Python版本和Docker版本 Python版本适合快速体验新功能，而Docker版本适合二次开发和在实际生产环境中使用，暂时不支持新功能。

不同安装方法对应的功能如下：

功能	Python版本	Docker版本	说明
详细安装文档	✅ 详情	✅ 详情
支持API	✅ 详情	✅ 详情
支持生产环境	❌	✅
支持离线安装（私有化部署）	❌	✅ 详情
支持多并发	❌	✅ 详情	Python版本使用API而非本地大模型时，可手动设置。详情
支持多卡推理	❌	✅ 详情
支持Mac（M系列芯片）	✅	❌	目前在Mac上运行本地LLM依赖llamacpp，问答速度较慢。建议使用OpenAI API调用模型服务。
支持Linux	✅	✅	Python版本在Linux下默认使用onnxruntime-gpu，glibc<2.28时自动切换为onnxruntime。
支持windows WSL	✅	✅
支持仅CPU	✅ 详情	❌
支持混合搜索（BM25+embedding）	❌	✅
支持网页搜索（需要VPN）	✅ 详情	❌	Docker版本计划中。
支持FAQ	✅ 详情	❌	Docker版本计划中。
支持BOT	✅ 详情	❌	Docker版本计划中。
支持溯源	✅ 详情	❌	Docker版本计划中。
支持通过API查询日志	✅ 详情	❌	Docker版本计划中。
支持音频文件	✅	❌	Docker版本计划中，上传文件将支持mp3和wav格式文件。
支持OpenCloudOS	✅ 详情	❌
支持与Openaiapi兼容的接口（包括ollama）	✅ 详情	✅ 详情	需要手动设置api_key、base_url、model等参数。
PDF解析性能提升（包括表格）	✅ 详情	❌
用户自定义配置（实验性：提高速度）	✅ 详情	❌
其他文件类型解析性能提升	❌	❌	预计15天后发布下一版本。

安装（纯Python环境）

如果您不想使用Docker进行安装，我们提供了纯Python安装指南。纯Python环境的安装仅用于演示目的，不建议在生产环境中部署。

支持仅CPU安装（检索在CPU上运行，而大语言模型调用在线API）。
支持在Mac上安装。

安装（Docker）

先决条件

Linux系统

系统	所需项目	最低要求	注意
Linux	NVIDIA GPU内存	>= 4GB（使用OpenAI API）	最低：GTX 1050Ti（使用OpenAI API）<br> 推荐：RTX 3090
	NVIDIA驱动版本	>= 525.105.17
	Docker版本	>= 20.10.5	Docker安装
	docker compose版本	>= 2.23.3	docker compose安装
	git-lfs		git-lfs安装

Windows WSL Ubuntu子系统

系统	所需项目	最低要求	注意
Windows WSL Ubuntu子系统	NVIDIA GPU内存	>= 4GB（使用OpenAI API）	最低：GTX 1050Ti（使用OpenAI API）<br> 推荐：RTX 3090
	GEFORCE EXPERIENCE	>= 546.33	GEFORCE EXPERIENCE下载
	Docker Desktop	>= 4.26.1（131620）	Windows版Docker Desktop
	git-lfs		git-lfs安装

懒人安装步骤，请点击这里。

步骤1：拉取qanything仓库

[object Object],[object Object]

步骤2：进入项目根目录并执行启动脚本。

📖 QAnything启动使用说明
通过bash ./run.sh -h获取LLM接口的详细使用说明

[object Object],[object Object],[object Object],[object Object],[object Object]

<details> <summary>（注意）如果自动下载失败，您可以从以下三个地址之一手动下载模型。</summary>

modelscope：https://modelscope.cn/models/netease-youdao/QAnything

wisemodel：https://wisemodel.cn/models/Netease_Youdao/qanything

huggingface：https://huggingface.co/netease-youdao/QAnything

</details> <details> <summary>（可选）指定GPU启动</summary>

[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

</details> <details> <summary>（可选）指定GPU启动 - 推荐Windows10/Windows11 WSL2用户使用</summary>

[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

</details> <details> <summary>（可选）指定GPU启动 - 推荐GPU计算能力 >= 8.6且VRAM >= 24GB的用户使用</summary>

[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

</details> <details> <summary>（可选）指定多GPU启动</summary>

[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

</details>

步骤3：开始体验

前端

安装成功后，您可以通过在网络浏览器中输入以下地址来体验应用。

前端地址：http://your_host:8777/qanything/

API

如果您想访问API，请参考以下地址：

API地址：http://your_host:8777/api/
详细的API文档，请参考QAnything API文档

调试

如果您想查看相关日志，请查看QAnything/logs/debug_logs目录下的日志文件。

debug.log
- 用户请求处理日志
sanic_api.log
- 后端服务运行日志
llm_embed_rerank_tritonserver.log（单卡部署）
- LLM嵌入和重排tritonserver服务启动日志
llm_tritonserver.log（多卡部署）
- LLM tritonserver服务启动日志
embed_rerank_tritonserver.log（多卡部署或使用OpenAI接口）
- 嵌入和重排tritonserver服务启动日志
rerank_server.log
- 重排服务运行日志
ocr_server.log
- OCR服务运行日志
npm_server.log
- 前端服务运行日志
llm_server_entrypoint.log
- LLM中间服务器运行日志
fastchat_logs/*.log
- FastChat服务运行日志

关闭服务

如果您使用的是Windows11系统：需要进入WSL环境。

[object Object],[object Object]

离线安装

如果您想离线安装QAnything，可以使用以下命令启动服务。

Windows离线安装

[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Linux离线安装

[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]