BERT分类教程:从入门到精通

bert-classification-tutorial

BERT分类教程:从入门到精通

BERT(Bidirectional Encoder Representations from Transformers)自2018年问世以来,在自然语言处理领域掀起了一场革命。作为一种强大的预训练语言模型,BERT在多项NLP任务中都取得了优异的表现,尤其是在文本分类领域。本教程将详细介绍如何使用BERT模型进行文本分类,帮助读者快速掌握这一技术。

BERT简介

BERT是由Google AI团队开发的一种预训练语言模型,其核心思想是通过双向Transformer编码器对大规模无标注文本进行自监督学习,从而获得丰富的语言表示。与传统的词嵌入不同,BERT可以根据上下文动态地生成词的表示,从而更好地捕捉语义信息。

BERT的预训练任务主要包括:

掩码语言模型(Masked Language Model, MLM):随机遮蔽输入中的一些词,然后让模型预测这些被遮蔽的词。
下一句预测(Next Sentence Prediction, NSP):给定两个句子,预测第二个句子是否是第一个句子的下一句。

通过这两个预训练任务,BERT学习到了丰富的语言知识,为下游任务如文本分类奠定了良好的基础。

数据准备

在进行文本分类任务之前,我们需要准备好训练数据。以情感分析为例,我们可以使用IMDB电影评论数据集。该数据集包含50,000条电影评论,每条评论都被标记为正面或负面情感。

首先,我们需要对数据进行预处理:

文本清洗:去除HTML标签、特殊字符等无关信息。
分词:使用BERT的tokenizer将文本分割成子词(subword)。
添加特殊标记:[CLS]和[SEP]。
将文本转换为BERT所需的输入格式。

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

def preprocess_text(text):
    # 文本清洗
    text = re.sub(r'<.*?>', '', text)
    text = re.sub(r'[^a-zA-Z\s]', '', text)
    
    # 分词和添加特殊标记
    tokens = tokenizer.tokenize(text)
    tokens = ['[CLS]'] + tokens + ['[SEP]'];
    
    # 转换为ID
    input_ids = tokenizer.convert_tokens_to_ids(tokens)
    
    return input_ids

模型构建

接下来,我们需要构建用于文本分类的BERT模型。我们可以使用预训练的BERT模型,并在其上添加一个分类层:

from transformers import BertModel
import torch.nn as nn

class BERTClassifier(nn.Module):
    def __init__(self, num_classes):
        super(BERTClassifier, self).__init__()
        self.bert = BertModel.from_pretrained('bert-base-uncased')
        self.dropout = nn.Dropout(0.1)
        self.fc = nn.Linear(768, num_classes)
    
    def forward(self, input_ids, attention_mask):
        _, pooled_output = self.bert(input_ids=input_ids, attention_mask=attention_mask)
        output = self.dropout(pooled_output)
        return self.fc(output)

在这个模型中,我们使用预训练的BERT模型来提取文本特征,然后通过一个全连接层进行分类。

模型训练

模型训练是整个过程中最关键的一步。我们需要设置合适的超参数,选择合适的优化器和学习率策略:

from transformers import AdamW, get_linear_schedule_with_warmup

# 设置超参数
batch_size = 32
epochs = 4
learning_rate = 2e-5

# 初始化模型
model = BERTClassifier(num_classes=2)

# 准备优化器和学习率调度器
optimizer = AdamW(model.parameters(), lr=learning_rate)
scheduler = get_linear_schedule_with_warmup(optimizer, num_warmup_steps=0, num_training_steps=len(train_dataloader) * epochs)

# 训练循环
for epoch in range(epochs):
    model.train()
    for batch in train_dataloader:
        optimizer.zero_grad()
        input_ids = batch['input_ids'].to(device)
        attention_mask = batch['attention_mask'].to(device)
        labels = batch['labels'].to(device)
        
        outputs = model(input_ids, attention_mask)
        loss = criterion(outputs, labels)
        
        loss.backward()
        optimizer.step()
        scheduler.step()

在训练过程中,我们使用AdamW优化器和线性学习率衰减策略。这有助于模型更好地收敛和泛化。

模型评估

训练完成后,我们需要在测试集上评估模型的性能:

model.eval()
predictions = []
true_labels = []

with torch.no_grad():
    for batch in test_dataloader:
        input_ids = batch['input_ids'].to(device)
        attention_mask = batch['attention_mask'].to(device)
        labels = batch['labels'].to(device)
        
        outputs = model(input_ids, attention_mask)
        _, preds = torch.max(outputs, dim=1)
        
        predictions.extend(preds.cpu().tolist())
        true_labels.extend(labels.cpu().tolist())

accuracy = accuracy_score(true_labels, predictions)
print(f'Test Accuracy: {accuracy:.4f}')