FinGLM - 金融大模型学习资料汇总 - 开放公益的金融AI项目

FinGLM - 金融大模型学习资料汇总

FinGLM是一个致力于构建开放、公益、持久的金融大模型项目,旨在利用开源开放来促进'AI+金融'的发展。本文将为大家汇总FinGLM项目的相关学习资料和资源,帮助读者快速了解和入门这个令人兴奋的金融AI项目。

项目介绍

FinGLM的目标是打造一个能够深度解析上市公司年报的对话交互智能系统。面对金融文本中的专业术语与隐含信息,该项目致力于用AI实现专家级别的金融分析。

主要特点包括:

• 开放性:完全开源,鼓励共同贡献
• 公益性:出于公益目的,欢迎开发者加入
• 持久性:长期维护优化,确保项目持续迭代

项目框架

FinGLM项目的整体框架主要包括三个部分:

1. 数据准备流程:PDF转TXT、数据切分、数据处理、存入数据库等
2. 模型微调流程:数据分类、选择微调策略、执行微调等
3. 问答流程:输入问题、生成Prompt、查询数据库、生成答案等

开源策略

FinGLM采取了全面开放的开源策略:

• 赛事转型为学习赛,允许任何人学习使用
• 开源70G+的年报数据、1万条标注数据等
• 多个参赛团队的方案、代码、模型完全开源
• 组织线上线下交流,推广优秀技术
• 提供系列学习教程,包括数据处理、模型微调等

数据集资源

FinGLM提供了丰富的数据资源:

• 年报数据集:11588份2019-2021年上市公司年报
• 提供PDF、TXT、HTML等多种格式
• 可通过git或ModelScope SDK等方式下载

# ModelScope SDK加载示例
from modelscope.msdatasets import MsDataset

ds = MsDataset.load('chatglm_llm_fintech_raw_dataset', split='train')

开源项目代码

多个团队的优秀实现已开源,包括:

• FinGLM_all:综合多队项目的整合版本
• 馒头科技
• 南哪都队
• Chatglm反卷总局

学习资料

为方便学习,项目提供了丰富的教程资料:

• GLM使用教程
• 数据预处理教程
• Prompt编写教程
• 模型微调技巧

此外,还可以观看各团队的分享视频深入学习。

总结

FinGLM作为一个开放的金融AI项目,为我们提供了宝贵的学习资源。无论你是AI爱好者还是金融从业者,都可以从这个项目中获益良多。欢迎大家积极参与,共同推动金融AI的发展!

相关链接:

• GitHub仓库
• 比赛链接

让我们一起,用AI的力量,开启金融智能分析的新纪元! 🚀🌟