amd-full-phonetree-v1

项目介绍：amd-full-phonetree-v1

项目背景

amd-full-phonetree-v1 是一个基于 SetFit 模型的项目，专注于文本分类任务。SetFit 结合了高效的少样本学习技术，能在有限的数据样本下实现优秀的性能。本项目中使用的基础模型是 sentence-transformers/paraphrase-mpnet-base-v2，为文本编码提供支持。此外，分类任务则依赖于一个逻辑回归模型来完成。

模型简介

• 模型类型：SetFit
• 文本编码模型：sentence-transformers/paraphrase-mpnet-base-v2
• 分类模型：逻辑回归模型
• 最大序列长度：512 个标记
• 分类数：2

模型来源与参考

• 代码仓库：SetFit on GitHub
• 相关论文：Efficient Few-Shot Learning Without Prompts
• 博客文章：SetFit: Efficient Few-Shot Learning Without Prompts

分类标签

模型针对以下两种标签进行分类：

1. voicemail（语音信箱）
   • 例子包括：“您的呼叫已转接到自动语音邮件系统。”
2. phone_tree（电话分机菜单）
   • 例子包括：“感谢致电某某公司。如果知道想联系的分机号码，请拨。”

使用方法

直接推理使用

首先需要安装 SetFit 库：

pip install setfit

然后可以加载模型并进行推理：

from setfit import SetFitModel

# 从 Hugging Face Hub 下载预训练模型
model = SetFitModel.from_pretrained("nikcheerla/amd-full-phonetree-v1")
# 进行推理
preds = model("For calling WL Gore and Associates Incorporated. Please wait ")

训练细节

• 训练超参数

  • 批次大小：32
  • 训练轮次：3
  • 采样策略：过采样
  • 学习率：编码模型：2e-05，分类头：0.01
  • 损失函数：余弦相似度损失

• 训练结果

  • 在训练过程中模型达到的最低验证损失为 0.1101，表明训练过程稳健。

版本信息

• Python: 3.10.12
• SetFit: 1.0.1
• PyTorch: 2.0.1+cu118

该项目依托强大的文本编码模型和精简的分类模型，实现了高效的少样本文本分类，适合应用在语音信箱和电话分机菜单的自动化处理场景中。