visobert

项目介绍

Visobert是一个专门为越南社交媒体文本处理而设计的预训练语言模型。该项目的全称是“ViSoBERT: A Pre-Trained Language Model for Vietnamese Social Media Text Processing”，这是在2023年举行的EMNLP大会上发表的研究成果。

项目背景

Visobert的开发背景在于自然语言处理技术的快速发展，尤其是在资源丰富的语言如英语和中文领域。而对于越南语而言，虽然已有一些预训练模型如PhoBERT、ViBERT和vELECTRA在通用越南语自然语言处理任务中表现良好，但在社交媒体文本处理方面仍存在一定的局限性。Visobert是第一个专注于越南社交媒体文本的单语预训练语言模型。

模型特点

Visobert基于XLM-R架构，为越南社交媒体文本处理设定了新的行业标准。其显著特点包括：

单语性：这是第一个特意为越南语开发的单语MLM（蒙版语言模型）。
高性能：在越南语社交媒体文本的多个下游任务中，Visobert超越了先前的单语和多语模型，取得了最新的性能表现。

技术实现

Visobert的实现依赖于一个大规模且多样化的高质量越南社交媒体语料库，模型旨在对五种重要的自然语言下游任务进行探索，这些任务包括：情感识别、仇恨言论检测、情绪分析、垃圾评论检测以及仇恨言论片段检测。实验证明，尽管参数较少，Visobert比其他前沿模型在多个任务上的表现更为出色。

数据集和研究使用

Visobert的预训练数据集已公开供研究使用，研究人员可以通过指定的Google Drive链接访问该数据集。值得注意的是，Visobert及其相关数据集目前仅供研究用途。

安装指导

为了使用Visobert，用户需安装transformers和SentencePiece两个Python软件包，具体安装命令如下：

pip install transformers
pip install SentencePiece

使用示例

以下示例展示了如何使用Visobert进行简单的文本编码：

from transformers import AutoModel, AutoTokenizer
import torch

model= AutoModel.from_pretrained('uitnlp/visobert')
tokenizer = AutoTokenizer.from_pretrained('uitnlp/visobert')

encoding = tokenizer('hào quang rực rỡ', return_tensors='pt')

with torch.no_grad():
  output = model(**encoding)