MATLAB 的 Transformer 模型

本存储库在 MATLAB 中实现了深度学习 transformer 模型。

翻译

[日本語](https://github.com/matlab-deep-learning/transformer-models/blob/master/./README_JP.md

要求

BERT 和 FinBERT

MATLAB R2021a 或更高版本
Deep Learning Toolbox
Text Analytics Toolbox

GPT-2

MATLAB R2020a 或更高版本
Deep Learning Toolbox

入门

下载或克隆此存储库到你的机器上，并在 MATLAB 中打开它。

函数

bert

mdl = bert 加载预训练的 BERT transformer 模型，如有必要，会下载模型权重。输出 mdl 是一个结构体，包含字段 Tokenizer 和 Parameters，分别包含 BERT 分词器和模型参数。

mdl = bert("Model",modelName) 指定要使用的 BERT 模型变体：

"base" (默认) - 一个 12 层模型，隐藏层大小为 768。
"multilingual-cased" - 一个 12 层模型，隐藏层大小为 768。分词器区分大小写。此模型在多语言数据上训练。
"medium" - 一个 8 层模型，隐藏层大小为 512。
"small" - 一个 4 层模型，隐藏层大小为 512。
"mini" - 一个 4 层模型，隐藏层大小为 256。
"tiny" - 一个 2 层模型，隐藏层大小为 128。
"japanese-base" - 一个 12 层模型，隐藏层大小为 768，在日语文本上预训练。
"japanese-base-wwm" - 一个 12 层模型，隐藏层大小为 768，在日语文本上预训练。此外，该模型在掩码语言建模（MLM）目标中启用了全词掩码进行训练。

bert.model

Z = bert.model(X,parameters) 使用指定参数对输入的 1-by-numInputTokens-by-numObservations 编码令牌数组进行 BERT 模型推理。输出 Z 是大小为 (NumHeads*HeadSize)-by-numInputTokens-by-numObservations 的数组。元素 Z(:,i,j) 对应输入令牌 X(1,i,j) 的 BERT 嵌入。

Z = bert.model(X,parameters,Name,Value) 使用一个或多个名称-值对指定附加选项：

"PaddingCode" - 对应填充令牌的正整数。默认值为 1。
"InputMask" - 指示要包含在计算中的元素的掩码，指定为与 X 大小相同的逻辑数组或空数组。掩码在对应填充的索引位置必须为 false，在其他位置为 true。如果掩码为 []，则函数根据 PaddingCode 名称-值对确定填充。默认值为 []。
"DropoutProb" - 输出激活的丢弃概率。默认值为 0。
"AttentionDropoutProb" - 注意力层中使用的丢弃概率。默认值为 0。
"Outputs" - 要返回输出的层的索引，指定为正整数向量或 "last"。如果 "Outputs" 为 "last"，则函数仅返回最终编码器层的输出。默认值为 "last"。
"SeparatorCode" - 指定为正整数的分隔符令牌。默认值为 103。

finbert

mdl = finbert 加载用于金融文本情感分析的预训练 BERT transformer 模型。输出 mdl 是一个结构体，包含字段 Tokenizer 和 Parameters，分别包含 BERT 分词器和模型参数。

mdl = finbert("Model",modelName) 指定要使用的 FinBERT 模型变体：

"sentiment-model" (默认) - 经过微调的情感分类器模型。
"language-model" - FinBERT 预训练语言模型，使用 BERT-Base 架构。

finbert.sentimentModel

sentiment = finbert.sentimentModel(X,parameters) 使用指定参数对输入的 1-by-numInputTokens-by-numObservations 编码令牌数组进行情感分类。输出情感是一个分类数组，类别为 "positive"、"neutral" 或 "negative"。

[sentiment, scores] = finbert.sentimentModel(X,parameters) 还返回范围在 [-1 1] 内的对应情感分数。