Tabular-LLM

Tabular-LLM 项目介绍

Tabular-LLM 是一个旨在提升大型语言模型（LLM）在处理表格数据方面能力的创新项目。此项目基于 Alpaca-CoT 项目，专注于表格智能任务的数据收集与模型微调，目标是打造能够高效处理和理解表格数据的专用 LLM。

项目背景

以 ChatGPT 为代表的 LLMs 对自然语言处理研究领域产生了巨大影响。在表格智能任务方面，通过初步研究发现，ChatGPT 在表格绘制、表格修改、表格问答、文本-表格制作、表格事实验证和表格-文本生成等方面已经展现出潜力。然而，现有的 LLMs 主要以 Markdown 格式表征表格，对于更复杂的表格结构支持有限。同时，市场上针对表格任务的数据集稀缺，这使得开发者难以在不同应用场景中复现和强化这些模型的表格处理能力。

项目动机

即便 LLMs 已经具备处理基本表格任务的能力，但它们在处理复杂任务和表征不同类型的表格上仍存在挑战。Tabular-LLM 项目计划通过以下途径改善 LLM 的表格处理性能：

1. 表格表示方法的探索：研究如何最优地将表格数据转化为文本序列，以便被模型理解。不同的表格类型会使用特定的格式进行表示，如 Markdown、HTML 和 Latex 格式等。

2. 数据集的收集与整理：本项目积极收集不同类型的表格智能任务数据集，并将原始数据转化为适合模型微调的格式，为模型的指令微调提供多样的数据基础。

3. 开源模型与测试：利用整理的数据集微调 Alpaca-CoT 等开源模型，构建针对表格任务的 LLM。还计划对这些模型的表现进行深入分析，以优化处理表格的能力。

表格的表示方法

要让 LLM 理解表格信息，关键在于选择合适的表示方法。项目探讨了多种表格类型：

• 垂直表格：数据沿垂直方向排列。
• 水平表格：数据沿水平方向排列。
• 层级表格：包含合并单元格的复杂表格。
• 复杂表格：表头和数据可分布在任意位置的表格。

对于每一种表格类型，需要选择合适的表示方法，比如常用的 Markdown 格式适用于简单表格，而包含合并单元格的层级表格则可能更适合用 HTML 格式表示。

样本格式

项目使用了更新的样本格式来提高数据的表达和使用效率。每个样本包含的关键信息如下：

• item_id：样本的唯一标识。
• input：包含任务指令和输入内容。
• output：模型的标准输出。
• table_rows：表格的行数据。
• table_repr：表格的文本表示。
• table_type：表格的类型。

数据汇总与开源

Tabular-LLM 项目提供了多个不同任务相关的数据集和微调后的模型。项目的最新更新增加了多种任务的数据，并对现有数据集进行了改进。通过开源的方式，社区研究者可以在 Huggingface 上下载这些数据和模型，便于进一步的研究和应用。

未来计划

项目计划继续完善数据集，增强表格智能模型的能力，优化表格表示方法，以及探索在具体应用场景中的有效策略。期待该项目能够为开源社区提供更加丰富的数据基础和技术指导，为特定行业的表格智能应用落地提供支持。