flaubert_base_uncased

项目介绍：flaubert_base_uncased

项目概述

flaubert_base_uncased 是 FlauBERT 项目中的一个重要模型。FlauBERT 是一种专注于法语的 BERT（Bidirectional Encoder Representations from Transformers）模型，旨在处理大规模且异质的法语语料库。该项目由法国国家科学研究中心（CNRS）利用其强大的超级计算机 Jean Zay 进行训练，力求提升法语自然语言处理（NLP）的成果。

FLUE 基准测试

为了评估 FlauBERT 模型在法语 NLP 系统中的表现，项目团队引入了 FLUE（French Language Understanding Evaluation）基准测试。FLUE 类似于业界知名的 GLUE 基准测试，旨在提供一个可重复的实验环境，以便研究者能够继续在法语语言模型领域进行创新和分享进步。

模型规格

FlauBERT 项目提供了多种模型规格，满足不同的应用需求：

flaubert-small-cased：6 层结构，8 个注意力头，512 维嵌入，参数总量为 5400 万。该模型部分完成训练，仅适用于调试。
flaubert-base-uncased：12 层结构，12 个注意力头，768 维嵌入，参数总量为 1.37 亿。
flaubert-base-cased：12 层结构，12 个注意力头，768 维嵌入，参数总量为 1.38 亿。
flaubert-large-cased：24 层结构，16 个注意力头，1024 维嵌入，参数总量为 3.73 亿。

如何使用 FlauBERT

flaubert_base_uncased 模型可以通过 Hugging Face 的 Transformers 库轻松使用。使用者可以加载预训练模型和标记器，进行文本处理和嵌入生成。以下是基本的使用步骤：

import torch
from transformers import FlaubertModel, FlaubertTokenizer

modelname = 'flaubert/flaubert_base_uncased'

flaubert, log = FlaubertModel.from_pretrained(modelname, output_loading_info=True)
flaubert_tokenizer = FlaubertTokenizer.from_pretrained(modelname, do_lowercase=True)

sentence = "Le chat mange une pomme."
token_ids = torch.tensor([flaubert_tokenizer.encode(sentence)])
last_layer = flaubert(token_ids)[0]

cls_embedding = last_layer[:, 0, :]
print(last_layer.shape)  # 输出形状为 (1, 8, 768)