mobilebert-uncased-squad-v2

mobilebert-uncased-squad-v2项目介绍

mobilebert-uncased-squad-v2是一个基于MobileBERT模型在SQuAD v2数据集上进行微调的问答模型。这个项目旨在提供一个轻量级但高效的问答系统，特别适合在移动设备或资源受限的环境中使用。

项目背景

MobileBERT是BERT_LARGE的一个精简版本，它在保持高性能的同时，大大减少了模型的规模。这个模型采用了瓶颈结构，并且在自注意力机制和前馈网络之间做了精心的平衡设计。mobilebert-uncased-squad-v2项目基于Google的mobilebert-uncased检查点，在SQuAD 2.0数据集上进行了微调，以适应问答任务。

数据集介绍

该项目使用了SQuAD 2.0数据集进行训练和评估。SQuAD 2.0是一个广泛使用的问答数据集，包含了130,000个训练样本和12,300个评估样本。这个数据集不仅包含问题和答案，还包含了一些没有答案的问题，使得模型能够学习判断问题是否可回答。

模型训练

模型的训练过程在一台配备了两块GeForce GTX 1070 GPU的机器上进行，总共耗时约3.5小时。训练脚本使用了Hugging Face的Transformers库，并设置了一系列参数，包括学习率、训练轮数、最大序列长度等。这些设置都经过了精心调整，以达到最佳的训练效果。

模型性能

经过微调后，mobilebert-uncased-squad-v2模型在SQuAD 2.0测试集上取得了不错的成绩。它的精确匹配（EM）分数达到了75.2，F1分数达到了78.8。这个结果虽然略低于原论文中报告的结果（EM：76.2，F1：79.2），但考虑到没有进行超参数搜索，这个性能已经相当不错。