wandbot

项目介绍：wandbot

Wandbot是一个专门为Weights & Biases文档服务的问答机器人。它旨在为用户提供准确、快速的解答，通过改进的技术架构和模块化设计，提升了用户体验和性能表现。

最新动态

wandbot v1.2.0

在本次1.2.0版本更新中，Wandbot迎来了多项重要升级：

• 并行大语言模型调用：将原来的llama-index替换为LECL，以实现并行调用，提高效率。
• ChromaDB集成：从FAISS转向ChromaDB，以利用元数据过滤和提升速度。
• 查询增强优化：改进后的查询增强器现在只需一次LLM调用。
• 模块化RAG管道：将RAG管道拆分为三个独立模块：查询增强、检索和响应合成，以增强清晰度和易于维护。
• 父文档检索功能：在检索模块中引入父文档检索功能，以增强上下文连贯性。
• 子查询回答能力：在响应合成模块中增加子查询回答能力，以更有效地处理复杂问题。
• API重构：重新设计API，分为检索、数据库和聊天操作的独立路由器。

这些更新展示了我们对提升性能和可用性的持续承诺。

评估结果

对于不同版本的wandbot，我们对其响应准确度进行了评估：

• 英文版1.0.0（初始版本）：响应准确率53.8%
• 英文版1.1.0：生产环境使用时间最长，响应准确率提升至72.5%
• 英文版1.2.0：最新增强版，响应准确率为81.6%

而在日文版中：

• 1.2.0版本：响应准确率为56.3%
• 1.2.1版本：新增翻译处理，响应准确率增至71.9%

产品特点

• 检索增强生成：利用ChromaDB后台，为用户查询提供高效且准确的响应。
• 定期数据采集与报告生成：通过定期采集数据和生成报告，致力于机器人的持续改进。
• 与Discord和Slack的集成：无缝集成流行的协作平台。
• 性能监控与持续改进：借助Weights & Biases Tables进行日志记录和分析，实现性能监控和持续改进。
• 备用模型选择机制：在GPT-4无法生成响应时利用备用的模型选择机制。
• 全面评估机制：使用多种指标对性能进行评估，包括检索准确度、字符串相似性和模型生成的响应正确性。

安装步骤

wandbot项目构建于Python版本>=3.10.0,<3.11之上，使用poetry进行依赖管理。以下是安装必要依赖的步骤：

git clone git@github.com:wandb/wandbot.git
pip install poetry
cd wandbot
poetry install --all-extras
# 根据需要选择平台运行以下命令：
# poetry install --extras discord # 针对Discord
# poetry install --extras slack # 针对Slack
# poetry install --extras api # 针对API

使用方法

数据采集

数据采集模块从Weights & Biases的repositories中提取代码和markdown，将其录入到向量库中，用于检索增强生成管道。从仓库根目录运行以下命令以采集数据：

poetry run python -m src.wandbot.ingestion

数据会被存储在data/cache目录中的raw_data、vectorstore等子目录里。

运行问答机器人

确保设置以下环境变量：

OPENAI_API_KEY
COHERE_API_KEY
SLACK_EN_APP_TOKEN
SLACK_EN_BOT_TOKEN
SLACK_EN_SIGNING_SECRET
SLACK_JA_APP_TOKEN
SLACK_JA_BOT_TOKEN
SLACK_JA_SIGNING_SECRET
WANDB_API_KEY
DISCORD_BOT_TOKEN
COHERE_API_KEY
WANDBOT_API_URL="http://localhost:8000"
WANDB_TRACING_ENABLED="true"
WANDB_PROJECT="wandbot-dev"
WANDB_ENTITY="wandbot"

设置完成后，可以使用以下命令启动问答机器人：

(poetry run uvicorn wandbot.api.app:app --host="0.0.0.0" --port=8000 > api.log 2>&1) & \
(poetry run python -m wandbot.apps.slack -l en > slack_en_app.log 2>&1) & \
(poetry run python -m wandbot.apps.slack -l ja > slack_ja_app.log 2>&1) & \
(poetry run python -m wandbot.apps.discord > discord_app.log 2>&1)

评价管道

在运行评价管道前，需在终端中设定环境变量，启动wandbot并设定8个工作线程提高评价速度：

WANDBOT_EVALUATION=1 gunicorn wandbot.api.app:app --bind 0.0.0.0:8000 --timeout=200 --workers=8 --worker-class uvicorn.workers.UvicornWorker

实现概览

1. 使用ChromaDB创建文档嵌入
2. 构建问答RAG管道
3. 模型选择及备用机制实施
4. 通过FastAPI、Discord和Slack部署问答机器人
5. 使用Weights & Biases Tables进行日志分析
6. 评估问答机器人性能

可以通过以下网址监控bot的使用情况： https://wandb.ai/wandbot/wandbot_public