nlp 之旅

1. 书籍

1. 《图形模型手册》。在线阅读
2. 《深度学习》。在线阅读
3. 《神经网络与深度学习》。在线阅读
4. 《语音与语言处理》。在线阅读

2. 论文

01) Transformer 论文

1. BERT: 深度双向Transformer的语言理解预训练。论文
2. GPT-2: 语言模型是无监督的多任务学习者。论文
3. Transformer-XL: 超越固定长度上下文的Transformer语言模型。论文
4. XLNet: 语言理解的广义自回归预训练。论文
5. RoBERTa: 稳健优化的BERT预训练方法。论文
6. DistilBERT: BERT的蒸馏版：更小、更快、更便宜、更轻。论文
7. ALBERT: 一种轻量化的BERT自监督语言表示学习方法。论文
8. T5: 用统一的文本转换Transformer探索迁移学习的极限。论文
9. ELECTRA: 作为判别而不是生成的文本编码器预训练。论文
10. GPT-3: 语言模型是少样本学习者。论文

02) 模型

1. LSTM（长短期记忆）。论文
2. 用神经网络进行序列到序列学习。论文
3. 使用RNN编码-解码器学习短语表示用于统计机器翻译。论文
4. 残差网络（图像识别的深度残差学习）。论文
5. Dropout（通过防止特征检测器共适应来改进神经网络）。论文
6. 批量归一化：通过减少内部协变量偏移加速深度网络训练。论文

03) 总结

1. 梯度下降优化算法概述。论文
2. 神经语言处理中的分析方法：综述。论文
3. 用统一的文本转换Transformer探索迁移学习的极限。论文
4. 生成对抗网络综述：算法、理论与应用。论文
5. 图深度学习的入门介绍。论文
6. 命名实体识别中深度学习的综述。论文
7. 更多数据、更多关系、更多上下文和更多开放性：关系抽取的回顾与展望。论文
8. 基于深度学习的文本分类：全面综述。论文
9. 自然语言处理的预训练模型：综述。论文
10. 上下文嵌入的综述。论文
11. 知识图谱的综述：表示、获取和应用。论文
12. 知识图谱。论文

04) 预训练

1. 神经概率语言模型。论文
2. word2vec参数学习解释。论文
3. 语言模型是无监督的多任务学习者。论文
4. 语言建模平滑技术的实证研究。论文
5. 在向量空间中高效估计词表示。论文
6. 句子和文档的分布式表示。论文
7. 用子词信息丰富词向量（FastText）。论文
8. GloVe：词表示的全局向量。在线阅读
9. ELMo（深度上下文化词表示）。论文
10. 中文BERT的整词遮蔽预训练。论文

05) 分类

1. 高效文本分类的技巧包（FastText）。论文
2. 句子分类的卷积神经网络。论文
3. 基于注意力的双向长短期记忆网络用于关系分类。论文

06) 文本生成

1. 使用序列到序列自然语言生成对齐插槽的深度集成模型。论文
2. 使用策略梯度的序列生成对抗网络（SeqGAN）。论文

07) 文本相似度

1. 用卷积深度神经网络学习排名短文本对。论文
2. 用Siamese循环网络学习文本相似度。论文
3. 对短文本匹配的深度架构。论文

08) 问答

1. 面向问答的多因素注意力网络。论文
2. XiaoIce的设计与实现，一个具有同理心的社会聊天机器人。论文
3. 基于知识的神经会话模型。论文
4. 神经生成问答。论文
5. 顺序匹配网络：基于检索聊天机器人的多轮响应选择的新架构。论文
6. 用深度话语聚合建模多轮对话。论文
7. 用深度注意力匹配网络进行多轮响应选择的聊天机器人。论文
8. 用离散属性建模闲聊对话的深度强化学习。论文

09) 神经机器翻译（NMT）

1. 使用RNN编码-解码器学习短语表示用于统计机器翻译。论文
2. 通过联合学习对齐和翻译的神经机器翻译。论文
3. Transformer（注意力机制是你所需要的一切）。论文

10) 摘要

1. 直截了当地：用指针生成网络进行摘要。论文
2. 用深度循环生成解码器进行抽象文本摘要。论文

11) 关系抽取

1. 通过分块卷积神经网络进行关系抽取的远程监督。论文
2. 用多语言注意力的神经关系抽取。论文
3. FewRel：一个大规模有监督的少样本关系分类数据集，具有最先进的评估。论文
4. 用LSTM在序列和树结构上进行端到端关系抽取。论文

12) 大型语言模型

1. 用人类反馈训练语言模型以遵循指令。论文
2. LLaMA：开放和高效的基础语言模型。论文

3. 文章

• 从头开始的TRANSFORMER。链接
• 突出显示的Transformer。链接
• 基于注意力的模型。链接
• 现代深度学习技术在自然语言处理中的应用。链接
• LSTM和GRU的插画指南：逐步解释 。链接
• 将word2vec应用于推荐系统和广告。链接

4. Github

• CLUE。github
• transformers。github
• HanLP。github
• ML-For-Beginners。github