DISC-FinLLM: 多专家微调的中文金融大语言模型

DISC-FinLLM:多专家微调的中文金融大语言模型

DISC-FinLLM是一个专门针对金融场景的中文大语言模型,由复旦大学数据智能与社会计算实验室(Fudan-DISC)开发并开源。该模型旨在为用户提供专业、智能、全面的金融咨询服务,能够应对多样化的金融场景需求。

模型架构与特点

DISC-FinLLM采用了多专家微调的框架,包含四个核心模块:

金融咨询模块:能够进行多轮金融对话,解答用户的金融专业问题。
金融文本分析模块:可以完成信息抽取、情感分析、文本分类等NLP任务。
金融计算模块:支持基本计算、统计分析以及金融模型计算。
金融知识检索问答模块:基于金融新闻、研报等提供投资建议和政策解读。

DISC-FinLLM模型架构

这种多模块设计使DISC-FinLLM能够灵活应对不同的金融应用场景,为用户提供全方位的智能金融服务。

训练数据

DISC-FinLLM的训练数据集DISC-Fin-SFT包含约25万条高质量金融数据,分为四个子数据集:

金融咨询指令(63k条)
金融任务指令(110k条)
金融计算指令(57k条)
检索增强指令(20k条)

这些数据涵盖了金融问答、NLP任务、数学计算、知识检索等多个方面,为模型注入了丰富的金融领域知识。

DISC-Fin-SFT数据集组成

模型训练

DISC-FinLLM采用了两种训练策略:

LoRA微调:针对四个子数据集分别训练LoRA模块,形成四个专家模型。这种方法可以根据需求灵活切换不同功能。
全量微调:混合所有数据进行全参数微调,得到通用的金融大模型。

两种策略各有优势,可以根据实际应用场景选择合适的模型。

LoRA微调示意图

模型评测

研究团队构建了DISC-Fin-Eval Benchmark评测框架,从多个维度对DISC-FinLLM进行了全面评估:

金融NLP任务:在情感分析、关系抽取等任务上表现优异。
人类试题:在金融、经济、会计等领域的专业试题上超越多个基线模型。
资料分析:在财经计算题上的正确率显著高于GPT-3.5和Baichuan-13B。
时事分析:在信息检索和分析能力上优于Baichuan-13B。

这些评测结果充分证明了DISC-FinLLM在金融领域的强大能力。

应用示例

DISC-FinLLM可以应用于多种金融场景,如:

智能客服:回答用户的金融咨询问题
文本分析:对金融报告进行情感分析和信息抽取
金融计算:进行复杂的金融模型计算
投资顾问:提供个性化的投资建议和市场分析

以下是一些具体的应用演示:

金融咨询演示

金融计算演示

总结与展望

DISC-FinLLM作为一个专门面向金融领域的中文大语言模型,在多个方面展现出了优秀的性能。它的多模块设计和灵活的训练策略为金融智能化应用提供了新的可能。

未来,研究团队将继续优化模型架构,扩充训练数据,并探索更多金融场景下的应用。同时,也将进一步完善评测体系,推动金融大语言模型的发展。

需要注意的是,尽管DISC-FinLLM在许多任务上表现出色,但它仍然存在局限性。用户在使用时应当保持批判性思维,将其作为辅助工具,而非完全依赖。

DISC-FinLLM的开源为金融AI的研究和应用提供了宝贵的资源。研究团队欢迎学术界和产业界的同仁一起探讨,共同推动金融大语言模型的进步。

如果DISC-FinLLM对您的研究或工作有帮助,欢迎引用相关论文:

@article{chen2023disc,
  title={DISC-FinLLM: A Chinese Financial Large Language Model based on Multiple Experts Fine-tuning},
  author={Chen, Wei and Wang, Qiushi and Long, Zefei and Zhang, Xianyin and Lu, Zhongtian and Li, Bingxuan and Wang, Siyuan and Xu, Jiarong and Bai, Xiang and Huang, Xuanjing and Wei, Zhongyu},
  journal={arXiv preprint arXiv:2310.15205},
  year={2023}
}

DISC-FinLLM的开源为推动金融智能化做出了重要贡献,相信未来会有更多创新性的应用出现,为金融行业带来更多可能。