rust-tokenizers

许可证

Rust-tokenizer为现代语言模型提供高性能分词器，包括WordPiece、字节对编码（BPE）和Unigram（SentencePiece）模型。这些分词器在rust-bert箱中使用。包含了广泛的最先进的Transformer架构分词器，包括：

Sentence Piece（unigram模型）
Sentence Piece（BPE模型）
BERT
ALBERT
DistilBERT
RoBERTa
GPT
GPT2
ProphetNet
CTRL
Pegasus
MBart50
M2M100
DeBERTa
DeBERTa（v2）

基于wordpiece的分词器包括单线程和多线程处理。字节对编码分词器倾向于使用共享缓存，仅作为单线程分词器提供。使用分词器需要手动下载所需的文件（词汇表或合并文件）。这些可以在Transformers库中找到。

sentence piece模型加载与C++库相同的.model原型文件。

使用示例（Rust）

use std::path::PathBuf;

use rust_tokenizers::tokenizer::{BertTokenizer, Tokenizer, TruncationStrategy};
use rust_tokenizers::vocab::{BertVocab, Vocab};

let lowercase: bool = true;
let strip_accents: bool = true;
let vocab_path: PathBuf  = PathBuf::from("path/to/vocab");
let vocab: BertVocab = BertVocab::from_file(&vocab_path)?;
let test_sentence: Example = Example::new_from_string("This is a sample sentence to be tokenized");
let bert_tokenizer: BertTokenizer = BertTokenizer::from_existing_vocab(vocab, lowercase, strip_accents);

println!("{:?}", bert_tokenizer.encode(&test_sentence.sentence_1,
                                       None,
                                       128,
                                       &TruncationStrategy::LongestFirst,
                                       0));

Python绑定设置

Rust-tokenizer需要Rust nightly版本才能使用Python API。从源代码构建涉及以下步骤：

安装Rust并使用nightly工具链
在/python-bindings仓库中运行python setup.py install。这将编译Rust库并安装Python API
示例用法可在/tests文件夹中找到，包括基准测试和集成测试

该库在Rust级别进行了全面的单元测试

使用示例（Python）

from rust_transformers import PyBertTokenizer
from transformers.modeling_bert import BertForSequenceClassification

rust_tokenizer = PyBertTokenizer('bert-base-uncased-vocab.txt')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', output_attentions=False).cuda()
model = model.eval()

sentence = '''例如，在地球上，人类一直认为自己比海豚更聪明，因为人类已经取得了很多成就——轮子、纽约、战争等等——而海豚所做的只是在水里快乐地玩耍。但相反，海豚一直认为它们比人类聪明得多——恰恰是出于同样的原因。'''

features = rust_tokenizer.encode(sentence, max_len=128, truncation_strategy='only_first', stride=0)
input_ids = torch.tensor([f.token_ids for f in features], dtype=torch.long).cuda()

with torch.no_grad():
    output = model(all_input_ids)[0].cpu().numpy()