CC6204 深度学习

这是一门介绍基于深度神经网络学习（通常称为深度学习）领域的入门课程（西班牙语授课）。在本课程中，学生将学习深度学习模型背后的理论、其工作原理和可能的应用。学生将能够构建和训练模型来解决实际问题。

• 教授：Jorge Pérez
• 助教：Gabriel Chaperon, Ho Jin Kang, Juan-Pablo Silva, Mauricio Romero, Jesús Pérez-Martín
• 课程往期版本：2018年秋季, 2019年春季

2020年春季

• 课程日程
• YouTube播放列表
• 作业

要求

• 一个Google账号用于使用Google Collaboratory，或者
• 安装以下Python包：
  1. PyTorch
  2. Numpy
  3. Jupyter Notebook

课程组织

1. 基础

介绍，人工智能 vs 机器学习 vs 深度学习，为什么是现在的深度学习？(视频)

1.1. 现代神经网络

• 感知器、激活函数和矩阵表示 (视频)
• 通用近似定理、前馈网络和输出函数（softmax）(视频)
• 梯度下降法寻找网络参数 (视频)
• 计算图和反向传播算法 (视频1, 视频2)
• 张量、爱因斯坦记号和张量链式法则 (视频)
• 交叉熵和使用张量手动反向传播 (视频)
• 训练的实际方面和在PyTorch中手动实现前馈网络 (视频)

阅读材料：第2章 线性代数, 第3章 概率论和信息论, 第6章 深度前馈网络

1.2. 初始化、正则化和优化

• 泛化、测试-验证-训练集和正则化 (视频)
• 集成学习、Dropout和梯度消失 (视频)
• 参数初始化和归一化 (视频)
• 优化算法、带动量的SGD、RMSProp、Adam (视频)

阅读材料：第7章 深度学习中的正则化, 第8章 深度模型训练的优化, 第11章 实用方法论

2. 卷积神经网络 (CNN)

• 卷积神经网络简介 (视频)
• 著名的架构：AlexNet、VGG、GoogLeNet、ResNet、DenseNet (视频1, 视频2, 视频3)

阅读材料：第9章 卷积网络, 第12章 应用

3. 循环神经网络 (RNN)

• 循环神经网络简介 (视频)
• 循环神经网络架构 (视频)
• 自回归、语言建模和序列到序列架构 (视频)
• 带门控和记忆单元的RNN：GRU和LSTM (视频)

阅读材料：第10章 序列建模：循环和递归网络, 第12章 应用

4. 高级主题

• 神经注意力机制 (视频)
• Transformer 模型 (视频)
• 变分自编码器
• 生成对抗网络
• 神经图灵机 (NeuralTM)
• 可微分神经计算机 (DNC)

阅读材料：第14章 自编码器，第20章 深度生成模型

书籍

本课程没有强制性教科书。部分讲座会推荐阅读 Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 所著的《深度学习》一书；但无需购买，因为该书在线免费提供。

1. Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 所著的《深度学习》（本课程的核心参考书目）
2. Aston Zhang、Zachary C. Lipton、Mu Li 和 Alexander J. Smola 所著的《动手学深度学习》
3. Mohamed Elgendy 所著的《计算机视觉深度学习》
4. Charu Aggarwal 所著的《异常检测的概率和统计模型》
5. Daniel Jurafsky 和 James Martin 所著的《语音与语言处理》
6. Antoine J.-P. Tixier 所著的《自然语言处理深度学习笔记》
7. Frank Hutter、Lars Kotthoff 和 Joaquin Vanschoren 编辑的《AutoML：方法、系统、挑战》

教程

1. NumPy 快速入门教程
2. 60分钟快速入门 PyTorch 深度学习

其他深度学习课程

1. 深度学习导论
2. Andrew Ng 在 Coursera 上的深度学习课程
3. 斯坦福大学的 CS231n 课程
4. fast.ai 提供的课程

视频

1. 可视化和理解递归网络
2. Jorge Pérez 的更多关于 Transformer：BERT 及其衍生模型
3. Jorge Pérez 的神经注意力机制和 Transformer

其他资源

1. 如何提升深度学习性能
2. ResNet 及其变体概述
3. CNN 架构：LeNet、AlexNet、VGG、GoogLeNet、ResNet 等
4. 理解 LSTM 网络
5. Attention Is All You Need
6. Attention Is All You Need 论文解读
7. BERT 模型解读