tapas-large-finetuned-wtq

TAPAS大型模型:基于WikiTable数据集微调的表格问答利器

TAPAS是一个强大的表格问答模型,由Google Research团队开发。本文介绍的是TAPAS的大型(large)版本,它在WikiTable Questions (WTQ)数据集上进行了微调,能够有效地回答与表格相关的问题。

模型概述

这个模型有两个版本可供使用:

1. 默认版本:使用相对位置嵌入,对应原始GitHub仓库中的tapas_wtq_wikisql_sqa_inter_masklm_large_reset检查点。

2. 非默认版本:使用绝对位置嵌入,对应tapas_wtq_wikisql_sqa_inter_masklm_large检查点。

这两个版本在预训练和微调过程中采用了相同的步骤,只是在位置嵌入的处理上有所不同。

预训练和微调过程

TAPAS的预训练包含两个阶段:

1. 掩码语言建模(MLM):模型学习预测被随机遮盖的单词,从而获得表格和相关文本的双向表示。

2. 中间预训练:通过预测句子是否被表格内容支持或反驳,增强模型的数值推理能力。

在预训练之后,模型经历了一系列微调步骤:

1. 首先在SQA数据集上微调
2. 然后在WikiSQL数据集上微调
3. 最后在WTQ数据集上微调

这种链式微调策略使模型能够逐步适应不同类型的表格问答任务。

模型性能

在WTQ开发集上,TAPAS large模型展现了出色的性能:

• 使用相对位置嵌入(reset)的版本:准确率达到50.97%
• 使用绝对位置嵌入(no reset)的版本:准确率达到50.62%

这些结果显示,TAPAS large模型在表格问答任务上具有很强的能力。

应用场景与局限性

TAPAS模型主要用于回答与表格相关的问题。它可以理解表格结构,并基于表格内容进行推理和回答。然而,用户应注意模型的局限性,如可能存在的偏见或对特定领域知识的依赖。

技术细节

• 词汇量:30,000
• 最大序列长度:512
• 批量大小:512
• 优化器:Adam
• 学习率:1.93581e-5
• 预热比例:0.128960

模型还添加了一个归纳偏置,使其只选择同一列的单元格,这通过TapasConfig的select_one_column参数来实现。

总的来说,TAPAS large模型为表格问答任务提供了一个强大而灵活的解决方案,能够处理各种复杂的表格相关查询。