lectures

项目介绍：深度自然语言处理课程

课程背景

深度自然语言处理课程是由牛津大学在2017年Hilary学期提供的一门高级课程，旨在通过深度学习技术解析和生成语言输入和输出。该课程由Phil Blunsom组织，并与DeepMind自然语言研究团队合作授课。语言自然处理是人工智能的重要组成部分，人类交流中固有的模糊性和噪声使得传统的符号AI技术在语言数据分析中效果不佳。近年来，基于神经网络的统计技术在自然语言处理领域取得了显著成果，激发了学术界和商业界的极大兴趣。

课程内容

此课程专注于利用递归神经网络进行语音和文本分析与生成的最新进展。课程将介绍相关的机器学习模型的数学定义和优化算法。主要涵盖神经网络在自然语言处理中的应用，包括文本潜在维度分析、语音转录、语言翻译和问题解答。课程内容分为三个主题：首先是顺序语言建模中的神经网络应用，其次是这些技术在条件语言建模中作为转换任务的应用，最后是将这些技术与其他机制结合在高级应用中的使用。此外，课程还讨论了如何在CPU和GPU硬件上实现这些模型。

授课团队

课程的授课团队包括Phil Blunsom及来自DeepMind的Chris Dyer、Edward Grefenstette、Karl Moritz Hermann、Andrew Senior、Wang Ling和NVIDIA的Jeremy Appleyard。助教团队包括Yannis Assael、Yishu Miao、Brendan Shillingford和Jan Buys。

课程时间表

课程由理论授课和实践课程组成。理论授课在数学研究所的Lecture Theatre 1中每周二和周四下午4点至6点进行（第8周除外）。实践课程分为两个小组进行：第一个小组在星期一上午9点到11点（第2至8周）在Thom Building的60.05教室，第二个小组在星期五下午4点到6点在379教室。

课程内容更详细介绍

• Lecture 1a - 课程介绍: 介绍课程及其学习深度学习技术与语言处理结合的意义。
• Lecture 1b - 深度神经网络的普及: 复习基本机器学习概念。
• Lecture 2a - 词级语义: 介绍词嵌入，作为解决自然语言处理基本任务的实际和可扩展方案。
• Lecture 2b - 实践课程概述: 概述实践课程的重要性。
• Lecture 3 & 4 - 语言建模与RNNs: 介绍语言建模，包括传统n-gram方法和递归神经网络的方法。
• Lecture 5 - 文本分类: 从基本分类器到RNNs和卷积网络的文本分类。
• Lecture 6 - Nvidia GPU上的深度自然语言处理: 介绍GPU在深度学习算法中的应用。
• Lecture 7 & 8 - 条件语言模型及注意力机制: 扩展语言建模并引入注意力机制。
• Lecture 9 & 10 - 语音识别与文本转语音: 介绍从语音信号转录为文本及文本转换为语音的算法。
• Lecture 11 & 12 - 问答系统与记忆机制: 讨论机器如何阅读理解及带有动态外部记忆的混合计算。
• Lecture 13 - 神经网络中的语言学知识: 探讨语言学知识与神经网络的结合。

计算资源支持

课程的实施得到了DeepMind、牛津大学计算机科学系、Nvidia以及Microsoft Azure GPU资源支持的慷慨捐助。

评估方式

课程的主要评估方式为学期末的家庭作业，涵盖课程中讨论的概念和模型分析，学生需使用数学公式和伪代码进行说明。实践课程将以常规方式进行考核。

学生互动

课程使用Piazza平台进行课堂讨论，这里学生可以提出问题，并得到讲师与同学们的解答。