子词神经机器翻译

这个代码库包含了将文本分割成子词单元的预处理脚本。主要目的是为了便于复现我们在使用子词单元进行神经机器翻译的实验（参考文献见下文）。

安装

通过pip安装（从PyPI）：

pip install subword-nmt

通过pip安装（从Github）：

pip install https://github.com/rsennrich/subword-nmt/archive/master.zip

或者，克隆此代码库；脚本可独立执行。

使用说明

查看各个文件以获取使用说明。

要将字节对编码应用于词分割，请执行以下命令：

subword-nmt learn-bpe -s {num_operations} < {train_file} > {codes_file}
subword-nmt apply-bpe -c {codes_file} < {test_file} > {out_file}

要将罕见词分割成字符n-gram，请执行以下操作：

subword-nmt get-vocab --train_file {train_file} --vocab_file {vocab_file}
subword-nmt segment-char-ngrams --vocab {vocab_file} -n {order} --shortlist {size} < {test_file} > {out_file}

可以通过简单的替换来恢复原始分割：

sed -r 's/(@@ )|(@@ ?$)//g'

如果你克隆了代码库但没有安装包，也可以将各个命令作为脚本运行：

./subword_nmt/learn_bpe.py -s {num_operations} < {train_file} > {codes_file}

神经机器翻译中字节对编码的最佳实践建议

我们发现，对于共享字母表的语言，在连接的（两种或多种）相关语言上学习BPE可以提高分割的一致性，并减少在复制/音译名称时插入/删除字符的问题。

然而，这会引入不希望出现的边缘情况，即一个词可能以一种只在另一种语言中观察到的方式被分割，因此在测试时是未知的。为了防止这种情况，apply_bpe.py接受--vocabulary和--vocabulary-threshold选项，使脚本只生成也出现在词汇表中的符号（至少有一定频率）。

要使用此功能，我们推荐以下方法（假设L1和L2是两种语言）：

在训练文本的连接上学习字节对编码，并获取每种语言的结果词汇表：

cat {train_file}.L1 {train_file}.L2 | subword-nmt learn-bpe -s {num_operations} -o {codes_file}
subword-nmt apply-bpe -c {codes_file} < {train_file}.L1 | subword-nmt get-vocab > {vocab_file}.L1
subword-nmt apply-bpe -c {codes_file} < {train_file}.L2 | subword-nmt get-vocab > {vocab_file}.L2

更方便地，你可以使用以下命令完成相同的操作：

subword-nmt learn-joint-bpe-and-vocab --input {train_file}.L1 {train_file}.L2 -s {num_operations} -o {codes_file} --write-vocabulary {vocab_file}.L1 {vocab_file}.L2

使用词汇表过滤重新应用字节对编码：

subword-nmt apply-bpe -c {codes_file} --vocabulary {vocab_file}.L1 --vocabulary-threshold 50 < {train_file}.L1 > {train_file}.BPE.L1
subword-nmt apply-bpe -c {codes_file} --vocabulary {vocab_file}.L2 --vocabulary-threshold 50 < {train_file}.L2 > {train_file}.BPE.L2

最后一步，提取神经网络将使用的词汇表。以Nematus为例：

nematus/data/build_dictionary.py {train_file}.BPE.L1 {train_file}.BPE.L2

[你可能想要取所有词汇表的并集以支持多语言系统]

对于测试/开发数据，为保持一致性，重复使用相同的选项：

subword-nmt apply-bpe -c {codes_file} --vocabulary {vocab_file}.L1 --vocabulary-threshold 50 < {test_file}.L1 > {test_file}.BPE.L1

高级功能

除了基本的BPE实现，本代码库还支持：

BPE dropout（Provilkov, Emelianenko和Voita，2019）：https://arxiv.org/abs/1910.13267 在subword-nmt apply-bpe中使用参数--dropout 0.1来随机丢弃可能的合并。在训练语料上这样做可以提高最终系统的质量；在测试时，使用不带dropout的BPE。为了获得可重现的结果，可以使用参数--seed来设置随机种子。

**注意：**在原始论文中，作者对每个新批次单独使用BPE-Dropout。你可以多次复制训练语料以获得类似的行为，为同一句子获得多个分割。
支持词汇表：在subword-nmt apply-bpe中使用参数--glossaries来提供一个子词列表和/或正则表达式，这些应该始终不经过子词分割直接传递到输出

echo "I am flying to <country>Switzerland</country> at noon ." | subword-nmt apply-bpe --codes subword_nmt/tests/data/bpe.ref
I am fl@@ y@@ ing to <@@ coun@@ tr@@ y@@ >@@ S@@ w@@ it@@ z@@ er@@ l@@ and@@ <@@ /@@ coun@@ tr@@ y@@ > at no@@ on .

echo "I am flying to <country>Switzerland</country> at noon ." | subword-nmt apply-bpe --codes subword_nmt/tests/data/bpe.ref --glossaries "<country>\w*</country>" "fly"
I am fly@@ ing to <country>Switzerland</country> at no@@ on .

字节级BPE：虽然BPE在Sennrich等人（2016年）的研究中使用字符作为基本单位，但Radford等人（2019年）使用字节作为基本单位。这可以通过在subword-nmt learn-bpe中使用--bytes参数来启用。在使用subword-nmt apply-bpe应用BPE时，不需要额外参数：字符还是字节作为基本单位的信息存储在BPE文件的第一行。

出版物

分割方法在以下论文中有描述：

@inproceedings{sennrich-etal-2016-neural,
    title = "使用子词单位进行罕见词的神经机器翻译",
    author = "Sennrich, Rico  and
      Haddow, Barry  and
      Birch, Alexandra",
    booktitle = "第54届计算语言学协会年会论文集（第1卷：长文）",
    month = aug,
    year = "2016",
    address = "德国柏林",
    publisher = "计算语言学协会",
    url = "https://www.aclweb.org/anthology/P16-1162",
    doi = "10.18653/v1/P16-1162",
    pages = "1715--1725",
}

最佳实践建议在以下论文中有描述：

@inproceedings{sennrich-etal-2017-university,
    title = "爱丁堡大学WMT17神经机器翻译系统",
    author = "Sennrich, Rico  and
      Birch, Alexandra  and
      Currey, Anna  and
      Germann, Ulrich  and
      Haddow, Barry  and
      Heafield, Kenneth  and
      Miceli Barone, Antonio Valerio  and
      Williams, Philip",
    booktitle = "第二届机器翻译会议论文集",
    month = sep,
    year = "2017",
    address = "丹麦哥本哈根",
    publisher = "计算语言学协会",
    url = "https://www.aclweb.org/anthology/W17-4739",
    doi = "10.18653/v1/W17-4739",
    pages = "389--399",
}