n元语法

在这个模块中，我们构建n元语法语言模型。在此过程中，我们学习了机器学习的许多基础知识（训练、评估、数据分割、超参数、过拟合）以及自回归语言建模的基础知识（分词、下一个词预测、困惑度、采样）。GPT其实"只是"一个非常大的n元语法模型。唯一的区别是GPT使用神经网络来计算下一个词的概率，而n元语法使用简单的基于计数的方法。

我们的数据集来自ssa.gov，包含2018年的32,032个名字，这些名字被分为1,000个测试集、1,000个验证集，其余的作为训练集，全部存放在data/文件夹中。因此，我们的n元语法模型本质上是试图学习这些名字中字符的统计规律，然后通过从模型中采样来生成新的名字。

这个模块的一个很好的参考是Jurafsky和Martin所著《语音和语言处理》的第3章。

目前，最好的"从头构建此仓库"的参考是YouTube视频"The spelled-out intro to language modeling: building makemore"，尽管一些细节略有变化。主要的不同之处在于，该视频介绍了二元语法语言模型，而对我们来说，这只是n元语法中n = 2的特殊情况。

Python版本

要运行Python代码，请确保已安装numpy（例如，pip install numpy），然后运行脚本：

python ngram.py

你会看到脚本首先"训练"了一个小型的字符级分词器（词汇表大小为27，包括26个小写英文字母和换行符），然后它对不同的超参数设置进行了一个小型网格搜索，包括n元语法顺序n和平滑因子，使用验证集进行评估。在我们的数据上使用默认设置时，最优值为n=4, smoothing=0.1。然后它采用这个最佳模型，从中采样200个字符，最后报告测试损失和困惑度。以下是完整的输出，应该只需要几秒钟就能生成：

python ngram.py
seq_len 3 | smoothing 0.03 | train_loss 2.1843 | val_loss 2.2443
seq_len 3 | smoothing 0.10 | train_loss 2.1870 | val_loss 2.2401
seq_len 3 | smoothing 0.30 | train_loss 2.1935 | val_loss 2.2404
seq_len 3 | smoothing 1.00 | train_loss 2.2117 | val_loss 2.2521
seq_len 4 | smoothing 0.03 | train_loss 1.8703 | val_loss 2.1376
seq_len 4 | smoothing 0.10 | train_loss 1.9028 | val_loss 2.1118
seq_len 4 | smoothing 0.30 | train_loss 1.9677 | val_loss 2.1269
seq_len 4 | smoothing 1.00 | train_loss 2.1006 | val_loss 2.2114
seq_len 5 | smoothing 0.03 | train_loss 1.4955 | val_loss 2.3540
seq_len 5 | smoothing 0.10 | train_loss 1.6335 | val_loss 2.2814
seq_len 5 | smoothing 0.30 | train_loss 1.8610 | val_loss 2.3210
seq_len 5 | smoothing 1.00 | train_loss 2.2132 | val_loss 2.4903
best hyperparameters: {'seq_len': 4, 'smoothing': 0.1}
felton
jasiel
chaseth
nebjnvfobzadon
brittan
shir
esczsvn
freyanty
aubren
... (截断) ...
test_loss 2.106370, test_perplexity 8.218358
wrote dev/ngram_probs.npy to disk (for visualization)

如你所见，4元语法模型生成了一些相对合理的名字，如"felton"和"jasiel"，但也有一些奇怪的名字，如"nebjnvfobzadon"，但你不能对一个小型的4元字符级语言模型期望太多。最后，报告的测试困惑度约为8.2，这意味着模型对测试集中的每个字符的困惑程度相当于从8.2个等概率的字符中随机选择。

Python代码还将n元语法概率写入dev/文件夹中的磁盘，你可以使用附带的Jupyter笔记本dev/visualize_probs.ipynb来检查这些概率。