DB-GPT-Hub: 提升大语言模型在文本到SQL转换中的性能

DB-GPT-Hub

DB-GPT-Hub:提升大语言模型在文本到SQL转换中的性能

DB-GPT-Hub是一个致力于提升大语言模型(LLMs)在文本到SQL转换任务中性能的开源项目。该项目涵盖了从数据收集、预处理到模型选择、构建和微调的全流程,旨在增强Text-to-SQL能力,同时降低模型训练成本。这不仅使更多开发者能够参与到提高Text-to-SQL准确性的工作中来,还为实现基于数据库的自动问答能力奠定了基础,让用户能够使用自然语言描述来执行复杂的数据库查询。

项目概述

DB-GPT-Hub项目已经成功集成了多个大型语言模型,并建立了一个完整的工作流程,包括数据处理、监督微调(SFT)模型训练、预测输出和评估。该项目开发的代码具有高度的可重用性,便于在项目内部进行迭代和改进。

截至2023年10月10日,该项目已经使用开源的13B参数模型进行了微调,并引入了更多相关数据。在零样本提示下,使用基于Spider的测试套件,对于1.27G大小的数据库,达到了0.764的执行准确率。此外,对于Spider官方网站指向的95M大小的数据库,执行准确率更是高达0.825。

DB-GPT-Hub架构图

核心功能

多模型支持: DB-GPT-Hub目前支持多种基础模型,包括CodeLlama、Baichuan2、LLaMa/LLaMa2、Falcon、Qwen、XVERSE、ChatGLM2、ChatGLM3、internlm、sqlcoder-7b(mistral)和sqlcoder2-15b(starcoder)等。
高效微调: 项目采用基于4比特量化的冗余架构量化学习(QLoRA)进行模型微调,大大降低了硬件要求,使得更多研究者能够参与到模型优化中来。
数据处理: DB-GPT-Hub使用信息匹配生成方法进行数据准备,即结合表信息的SQL+Repository生成方法。这种方法能更好地理解数据表的结构和关系,适合生成满足要求的SQL语句。
模型评估: 项目提供了完整的模型评估流程,包括对Spider开发数据集的性能评估,使用执行准确率(EX)和测试套件准确率(TS)作为主要评估指标。

使用指南

要开始使用DB-GPT-Hub,您需要按照以下步骤进行:

环境准备:

git clone https://github.com/eosphoros-ai/DB-GPT-Hub.git
cd DB-GPT-Hub
conda create -n dbgpt_hub python=3.10 
conda activate dbgpt_hub
cd src/dbgpt_hub_sql
pip install -e .

快速开始: 首先安装dbgpt-hub:
```
pip install dbgpt-hub
```
然后,设置参数并运行整个流程,包括数据预处理、模型训练、预测和评估。
数据准备: 下载Spider数据集并放置在正确的目录中,然后运行数据预处理脚本:
```
sh dbgpt_hub_sql/scripts/gen_train_eval_data.sh
```
模型微调: 使用以下命令进行模型微调:
```
sh dbgpt_hub_sql/scripts/train_sft.sh
```

模型预测与评估: 完成微调后,使用以下命令进行预测:

sh ./dbgpt_hub_sql/scripts/predict_sft.sh

然后进行模型评估:

python dbgpt_hub_sql/eval/evaluation.py --plug_value --input Your_model_pred_file

未来规划

DB-GPT-Hub项目的发展路线分为三个阶段:

第一阶段: 建立基础框架,实现端到端工作流程。目前已经完成,支持多种大型语言模型。
第二阶段: 优化模型性能,支持更多模型的微调,优化提示词,发布评估结果和优化后的模型。
第三阶段: 推理速度优化,针对业务场景和中文效果进行优化,基于更多论文进行优化,并与社区的Awesome-Text2SQL项目结合,进一步提升性能。

贡献与致谢

DB-GPT-Hub欢迎更多个人加入,参与到数据集、模型微调、性能评估、论文推荐和代码复现等各个方面。项目基于众多开源贡献,特别感谢Spider、CoSQL、Chase、BIRD-SQL等数据集项目,以及LLaMA、BLOOM、Falcon、ChatGLM等模型项目的贡献。

如果DB-GPT-Hub对您的研究或开发有所帮助,请考虑引用我们的论文。您的支持将激励我们继续发布更多相关工作并改进我们的努力。

结语

DB-GPT-Hub项目正在不断发展和完善中。通过集成多个大型语言模型,建立完整的工作流程,该项目为提高Text-to-SQL能力提供了一个强大的平台。我们期待更多开发者和研究者的参与,共同推动自然语言处理和数据库查询技术的进步。无论您是对模型微调感兴趣,还是希望改进数据处理方法,DB-GPT-Hub都为您提供了一个理想的起点。让我们携手共创更智能、更高效的数据查询未来!