FinGLM: 开放式金融大模型项目助力AI+金融发展

FinGLM项目简介

FinGLM是一个旨在深度解析上市公司年报的对话交互智能系统。该项目致力于构建一个开放的、公益的、持久的金融大模型,利用开源开放来促进"AI+金融"的发展。在AI领域,虽然文本对话已取得一定进展,但真正的金融交互场景仍然是一个巨大挑战。多方机构联手举办此次竞赛,探索金融领域AI的边界。

上市公司年报为投资者呈现了公司的经营状况、财务状况和未来规划。专业知识是解读的关键,而FinGLM的目标是通过AI技术让这一过程变得更简单、更准确。该项目的核心是构建一个能够深入理解金融文本,并与用户进行智能交互的系统,为金融分析提供AI支持。

项目框架

FinGLM项目的框架主要包括三个部分:数据准备流程、模型微调流程和问答流程。

数据准备流程

PDF转TXT:将PDF格式的年报转换为TXT格式,同时保留表格并合并单元格。
数据切分:将数据分为基础信息(如公司名称)、财务数据(如资产负债表)和综合信息(如财务指标)。
数据处理:计算基础公式(如营业成本率)、增长率,以及行业均值和排名。
存入数据库:将处理后的数据存入SQL、MongoDB和Elasticsearch中。

模型微调流程

数据分类:如SQL数据、ES数据等。
选择微调策略:如ptuningv2、LoRA等。
执行微调:根据选定策略进行模型微调。

问答流程

输入问题:用户输入问题。
Prompt准备:根据问题生成prompt。
生成查询语句:基于GPU使用率选择生成方法。
查询数据库:并返回结果。
答案生成:结合问题和查询结果生成答案。

FinGLM项目框架

开源策略

FinGLM项目采取了全面的开源策略,旨在促进金融AI领域的共同发展。主要策略包括:

赛事转型:将比赛转型为学习赛,允许任何人参与学习使用。
数据开源:开源了70G/1万多份年报数据、1万条人工标注评测数据等,并承诺持续更新数据。
方案/代码/模型开源:多个参赛团队的方案、代码和模型已完全开源,纳入FinGLM项目。项目组将长期维护优化FinGLM项目,提供便捷解决方案。
开放交流:鼓励更多团队共同贡献问题和方案,定期组织线上线下交流活动。
学习教程:基于FinGLM项目开发,制作包括数据预处理、数据库使用、GLM使用、Prompt编写、模型微调等多方面的学习教程。
项目资源池:部分项目组织者提供10万元作为开源项目资金池,以及项目算力、数据和模型支持。

开源项目介绍

FinGLM项目下已开源多个子项目,每个项目都有其独特的特点和贡献:

FinGLM_all:由安硕硕眼探企团队整合而成,是多个项目的集大成者。
馒头科技:专注于金融数据的智能分析和交互。
南哪都队:致力于提高金融文本理解和问答能力。
Chatglm反卷总局:探索大模型在金融领域的应用边界。
nsddd:关注金融数据的深度挖掘和分析。
龙盈战队:专注于金融风险评估和预测。
结婚买房代代韭菜:探索AI在个人理财决策中的应用。
随便取个名:关注金融大模型的实际落地应用。

这些项目涵盖了金融AI的多个方面,从数据处理到模型训练,再到实际应用,为FinGLM项目提供了丰富的技术积累和实践经验。

数据集介绍

FinGLM项目开源的数据集主要包括年报数据集和标注数据:

年报数据集:涵盖2019-2021年期间部分上市公司的年度报告,共11588个PDF文件。同时提供了转换后的TXT和HTML格式文件,方便研究者使用。
标注数据:包含人工标注的评测数据,用于模型训练和评估。

这些数据集为研究者提供了丰富的金融文本资源,有助于金融大模型的训练和优化。

项目意义和展望

FinGLM项目的开展对推动金融领域AI应用具有重要意义:

促进开源合作:通过开源策略,汇聚多方力量,推动金融AI技术的快速发展。
降低技术门槛:提供完整的学习教程和开源代码,降低金融AI应用的技术门槛。
推动技术创新:通过竞赛和开源项目,激发新的技术思路和创新方案。
提升金融分析效率:开发智能问答系统,提高金融报告分析的效率和准确性。
培养AI金融人才:为有志于AI金融领域的开发者提供学习和实践平台。

未来,FinGLM项目将继续完善和优化,包括:

扩充数据集,覆盖更多金融文本类型
改进模型性能,提高问答准确度
开发更多金融场景应用
加强产学研合作,推动技术落地

通过持续的努力,FinGLM项目有望成为推动金融AI发展的重要平台,为金融行业的智能化转型做出重要贡献。

结语

FinGLM项目作为一个开放、公益、持久的金融大模型项目,展现了AI技术在金融领域应用的巨大潜力。通过开源合作、数据共享和技术创新,该项目正在为金融AI的发展铺平道路。随着项目的不断推进和完善,我们可以期待看到更多创新性的金融AI应用,为金融行业带来更高效、更智能的解决方案。FinGLM的成功不仅将推动金融领域的技术进步,也将为其他行业的AI应用提供宝贵经验和借鉴。