tapas-tiny-finetuned-wtq

项目介绍

tapas-tiny-finetuned-wtq 是一个基于 WikiTable Questions (WTQ) 微调的 TAPAS 微模型，该模型独特地结合了创新的表格问答功能。

模型背景

该模型有两个版本。默认版本是 tapas_wtq_wikisql_sqa_inter_masklm_tiny_reset，此版本结合了相对位置嵌入，即在每个表格单元格处重置位置索引。另一个版本是 no_reset，它使用绝对位置嵌入。

Tapas 模型本质上是一种类似于 BERT 的转化器模型，在大规模的英文数据集上以自监督的方式预训练。它不需要人为标注，而是通过自动化过程生成输入和标签，进行两种预训练目标：

• 掩蔽语言模型（MLM）：随机掩蔽输入中的 15% 单词，并要求模型预测这些被掩蔽的单词。
• 中间预训练：创建大量合成的训练数据样本，训练模型判断句子是否由表格内容支持或否定，促进数值推理能力。

使用用途

此模型主要用于针对表格的问题回答。用户可以通过 HuggingFace 平台上的文档获取相关使用代码示例。

训练过程

在训练过程中，文本会先被小写处理，并以 WordPiece 和大小为 30,000 的词汇表进行标记化。输入模型的格式为 [CLS] 问题 [SEP] 扁平化的表格 [SEP]。

模型微调使用 32 个 Cloud TPU v3 核心运行 50,000 步，每次处理 512 长度的序列，批量大小为 512。该过程大约需要十小时。优化器使用 Adam，学习率为 1.93581e-5，热身比率为 0.128960。微调还引入了偏移量，使模型只选择同列单元格，这在 TapasConfig 的 select_one_column 参数中得到体现。

结果表现

模型在不同设置下表现略有差异，具有重置功能的 TINY 版本在开发集上的准确率为 0.1039，而不重置版本为 0.0823。尽管它们的准确率较低，但在轻量级模型中，仍显示了其模型潜力。

相关文献

模型与其训练方法在多篇科学论文中被详细描述，包括 2020 年由 Jonathan Herzig 等人发表的研究 Tapas 弱监督表格解析的工作，以及 Julian Martin Eisenschlos 等人关于表格中间预训练的研究。

通过理解和利用 tapas-tiny-finetuned-wtq，研究人员和开发者能够更好地进行表格数据的处理和问答任务的实现。