bge-small-en-v1.5-quant

bge-small-en-v1.5-quant 项目介绍

bge-small-en-v1.5-quant 是一个模型项目，专注于自然语言处理任务中的分类、检索、聚类、重排序和语义相似度评估。该项目采用了多种技术以提升其性能，如稀疏性（sparse）和量化（quantized）技术，并使用了 ONNX 格式。这使得模型在不同设备上运行时能更加高效节省资源。

项目背景

bge-small-en-v1.5-quant 项目是基于 MTEB 框架的，这是一种帮助提高机器学习模型在各种自然语言处理任务中的性能的工具。通过使用量化和稀疏技术，该模型实现了高效的计算能力，特别是在资源有限的环境中。

技术特点

• 稀疏性和量化技术：通过运用这些技术，模型在减少计算资源消耗的同时保持了较高的准确性。
• ONNX 格式：这是一种开放的深度学习模型格式，使得模型能够在不同的硬件和环境中移植和部署。
• int8 格式：模型采用 int8 量化格式有效地压缩了模型大小，提高了模型在推理时的速度。

任务和数据集

分类任务

1. MTEB AmazonCounterfactualClassification (en): 在这个任务中，模型针对反事实分类进行了测试，其准确率达到了 74.19%。
2. MTEB AmazonPolarityClassification: 该任务的目标是区分评论的情感方向，模型获得了 91.89% 的准确率。
3. MTEB AmazonReviewsClassification (en): 在该任务中，模型展现出 46.72% 的准确率。

检索任务

1. MTEB ArguAna: 本检索任务通过多种评估指标展示了模型的有效性，如 map_at_1 为 34.42%、mrr_at_10 为 49.79%。

聚类任务

1. MTEB ArxivClusteringP2P: 在论文对论文聚类任务中，模型的 v_measure（V 衡量）达到了 46.92%。
2. MTEB BiorxivClusteringS2S: 在分句对分句聚类任务中，v_measure 为 33.89%。

重排序任务

1. MTEB AskUbuntuDupQuestions: 在机智模糊的重复问题重排序中，map 值为 62.4% 并且 mrr 为 75.33%。

语义文本相似度任务

1. MTEB BIOSSES: 该任务中，模型在常用的语义相似度评估上表现优良，cos_sim_pearson 达到 88.00%。

许可证

项目使用 MIT 许可证，这意味着可以在遵循特定条件的情况下自由使用、复制、修改和分发模型。

语言支持

该项目主要针对英语语料进行优化和测试，尤其适用于需要高效处理英文文本的应用场景。

总结而言，bge-small-en-v1.5-quant 项目通过引入先进的技术手段，实现了在不同自然语言处理任务上的出色表现，并且在模型大小、效率与性能间找到了良好的平衡。