cde-small-v1

cde-small-v1项目介绍

项目背景

cde-small-v1是一个基于深度学习的自然语言处理模型，专注于文本分类、检索、聚类、重排序和语义文本相似度任务。它使用了诸如transformers和sentence-transformers等先进技术，旨在处理和理解各种复杂的文本数据。

任务与数据集

cde-small-v1能够处理多种任务，每种任务主要使用不同的数据集进行训练和测试。

文本分类

1. MTEB AmazonCounterfactualClassification（英文）

   • 准确率（Accuracy）: 87.03%
   • 平均精度（AP）: 56.71%
   • F1分数: 81.93%

2. MTEB AmazonPolarityClassification（默认）

   • 准确率: 94.66%
   • 平均精度（AP）: 91.69%
   • F1分数: 94.66%

3. MTEB AmazonReviewsClassification（英文）

   • 准确率: 55.76%
   • F1分数: 55.06%

4. MTEB Banking77Classification（默认）

   • 准确率: 88.58%
   • F1分数: 88.55%

文章检索

MTEB ArguAna（默认）

• 主要评分（Main Score）: 71.996%
• 平均排名比（MAP）: 多指标表明在前K个位置排名表现优秀。

聚类

1. MTEB ArxivClusteringP2P（默认）

   • 主要评分: 48.63%
   • V值测量: 一致性评分为48.63%

2. MTEB ArxivClusteringS2S（默认）

   • 主要评分: 40.52%
   • V值测量: 一致性评分为40.52%

重排序

MTEB AskUbuntuDupQuestions（默认）

• MAP: 61.27%
• MRR: 74.49%

语义文本相似度（STS）

MTEB BIOSSES（默认）

• 余弦相似度Pearson: 89.09%
• 余弦相似度Spearman: 86.73%

项目优势

cde-small-v1在多种文本处理任务中表现出色，其在不同类型数据集上的表现证明了该模型的通用性和可靠性。它特别适合需要高精度文本分类和复杂文本检索的场景。通过使用不同的指标，cde-small-v1能够全面评估和优化在各个任务中的表现。

使用场景

cde-small-v1非常适合以下应用场景：

• 电子商务平台的用户评论分类
• 客服聊天记录的意图识别
• 语义搜索引擎的优化
• 学术论文的主题聚类与推荐

总结

cde-small-v1项目展示了最新的自然语言处理技术在不同任务上的高效性和多样化应用能力。通过对大量数据集的测试，cde-small-v1为各种场景提供了可靠的解决方案，是文本分析领域中的一颗新星。