banking-intent-distilbert-classifier

项目介绍：banking-intent-distilbert-classifier

这是一个基于DistilBERT模型的银行意图分类器项目。该项目通过对预训练的DistilBERT模型进行微调，实现了对银行相关查询意图的精确分类。

项目背景

随着在线银行服务的普及，准确理解客户查询的意图变得越来越重要。该项目旨在解决这一问题，通过使用先进的自然语言处理技术，实现对客户查询意图的精确分类。

数据集

该项目使用了BANKING77数据集，这是一个专门针对银行领域的客户服务查询数据集。它包含13,083条客户查询，涵盖了77个细分的意图类别，为模型提供了丰富而精确的训练数据。

模型架构

项目基于DistilBERT模型进行开发。DistilBERT是BERT模型的轻量化版本，在保持高性能的同时，大大减少了模型的规模和计算需求。

训练过程

模型训练采用了以下超参数：

学习率：2e-05
训练批次大小：16
评估批次大小：16
随机种子：42
梯度累积步数：2
总训练批次大小：32
优化器：Adam
学习率调度器：线性
训练轮数：10

整个训练过程在Google Cloud的T4 GPU上完成，耗时不到20分钟，成本约1.07新加坡元。

模型性能

在评估集上，模型取得了以下成绩：

评估损失：0.2885
评估准确率：0.9244

这表明模型在银行意图分类任务上具有很高的准确性。

使用示例

用户可以通过简单的Python代码来使用这个模型进行意图分类：

from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("lxyuan/banking-intent-distilbert-classifier")
model = AutoModelForSequenceClassification.from_pretrained("lxyuan/banking-intent-distilbert-classifier")

banking_intend_classifier = TextClassificationPipeline(
  model=model,
  tokenizer=tokenizer,
  device=0
)

result = banking_intend_classifier("How to report lost card?")
print(result)