Bespoke-MiniCheck-7B

Bespoke-MiniCheck-7B项目介绍

Bespoke-MiniCheck-7B是由Bespoke Labs开发的一种改进版本的事实核查模型，这个模型的开发基于MiniCheck模型，其主要任务是判断一个句子在给定的文档中是否是被支持的。这个模型针对长文本识别效率进行了优化，即它可以输入一个文档和一个句子，然后输出一个判断该句子是否被文档支持的结果。

模型背景

Bespoke-MiniCheck-7B的前身是MiniCheck模型，该模型发表在2024年EMNLP的一篇论文中。Bespoke-MiniCheck-7B是在internlm/internlm2_5-7b-chat上进行微调，训练数据包括35,000个数据点。这些数据点既包含21,000个ANLI例子，也包含由Bespoke Labs独特的数据处理技术合成的14,000个数据点。这些合成数据进一步细分为7,000个“从声明到文档”的例子（C2D）和7,000个“从文档到声明”的例子（D2C）。

模型优势

模型的关键优势在于其高精度的数据策划技术。虽然在规模上有所增加，但Bespoke Labs高质量的数据策划技术使得该模型在事实核查任务上表现优越。

模型变体

除了Bespoke-MiniCheck-7B，Bespoke Labs还提供了其他三种MiniCheck模型变体，分别为：

MiniCheck-Flan-T5-Large（模型大小：0.8B）
MiniCheck-RoBERTa-Large（模型大小：0.4B）
MiniCheck-DeBERTa-v3-Large（模型大小：0.4B）

模型性能

Bespoke-MiniCheck-7B在新收集的基准数据集（未在训练时见过）上进行了性能评估，该数据集名为LLM-AggreFact，包含11个最新的人类注释数据集。即使Bespoke-MiniCheck-7B模型较小，但其仍被认为是当前状态下最优的事实核查模型。

模型使用

用户可通过安装MiniCheck包以及相关依赖来使用该模型。简单的使用例子显示了如何通过预先训练的模型对声明进行事实验证并分别输出判定结果和其可能性。

自动前缀缓存

Bespoke-MiniCheck-7B还支持自动前缀缓存机制，通过重复利用已有查询的缓存来提高查询效率。在初始化MiniCheck模型时，将enable_prefix_caching设置为True即可激活这一功能。

性能提升

该模型的推理速度经过了加速优化，通过结合使用vLLM技术，用户可以在单台A6000设备上实现每分钟超过500个文档的处理速度。

许可证与引用

此模型的使用遵循CC BY-NC 4.0许可证。如需商业用途，请联系公司。

致谢

Bespoke-MiniCheck-7B模型得以完善，离不开Bespoke Labs团队的共同努力，其中包括Liyan Tang、Negin Raoof、Trung Vu、Greg Durrett、Alex Dimakis和Mahesh Sathiamoorthy。同时，感谢Giannis Daras和Sarthak Malhotra对模型优化及市场研究的反馈与贡献。