Awesome-Deep-Learning-Papers-for-Search-Recommendation-Advertising: 一份工业界搜索、推荐和广告领域深度学习论文精选

Awesome-Deep-Learning-Papers-for-Search-Recommendation-Advertising: 工业界搜索推荐广告深度学习论文精选

在当今数字化时代,搜索引擎、推荐系统和在线广告已经成为互联网公司的核心业务。这些领域正在经历深度学习技术带来的巨大变革,各大科技公司都在积极探索如何应用最新的深度学习算法来提升系统性能。本文整理了一份工业界搜索、推荐和广告领域的深度学习论文精选,涵盖了嵌入、匹配、排序、后排序、多任务学习、图神经网络、迁移学习、强化学习、自监督学习等多个方向的前沿研究成果。

嵌入技术

嵌入(Embedding)是深度学习在搜索推荐广告领域应用的基础。通过将高维离散特征映射到低维稠密向量空间,嵌入技术可以有效捕捉特征之间的语义关系,为后续的匹配和排序任务奠定基础。

在词嵌入方面,Google 2013年提出的 Word2Vec 模型开创性地将词表示为低维向量。之后 LINE、Node2Vec 等算法将嵌入技术推广到网络结构数据。2017年提出的图卷积网络(GCN)进一步将卷积神经网络引入图结构数据的嵌入学习中。

在工业界实践方面,Airbnb、阿里巴巴、Pinterest 等公司都发表了在大规模推荐系统中应用嵌入技术的实践经验。例如,阿里巴巴在 KDD 2018 发表的论文介绍了如何学习十亿规模商品的嵌入表示。Pinterest 提出的 PinSage 算法则是图卷积网络在大规模推荐系统中的成功应用。

匹配技术

在搜索和推荐系统的召回阶段,需要从海量候选集中快速检索出最相关的少量候选。匹配(Matching)技术正是为解决这一大规模检索问题而设计的。

微软 2013 年提出的 DSSM(Deep Structured Semantic Model)模型是深度学习用于文本匹配的开山之作。该模型使用多层神经网络学习查询和文档的语义表示,通过余弦相似度计算相关性得分。

在推荐系统领域,YouTube 2016 年发表的深度神经网络推荐模型具有里程碑意义。该模型采用双塔结构,分别学习用户兴趣和视频内容的嵌入表示,通过内积计算相关性得分。这种结构简单高效,非常适合大规模推荐系统的在线服务。

阿里巴巴在 2018-2019 年连续发表了多篇匹配模型相关论文,包括树形深度模型 TDM、序列化深度匹配模型 SDM、多兴趣网络 MIND 等。这些工作都致力于解决大规模推荐系统中的匹配问题。

排序技术

排序(Ranking)是搜索推荐广告系统的核心环节,直接决定了最终的展示结果。深度学习的引入极大地提升了排序模型的表达能力和预测精度。

在点击率(CTR)预估方面,Google 2016 年提出的 Wide&Deep 模型开创性地结合了记忆能力和泛化能力。随后华为提出的 DeepFM 模型进一步简化了模型结构,在工业界得到了广泛应用。阿里巴巴提出的 DIN、DIEN 等模型则重点解决了用户兴趣多样性的建模问题。

在转化率(CVR)预估方面,阿里巴巴提出的 ESMM 模型通过引入样本空间映射的思想,有效解决了传统 CVR 模型面临的样本选择偏差和稀疏性问题。

多任务学习也是排序模型的一个重要发展方向。Google 提出的 MMoE、PLE 等模型可以有效地建模多个相关任务,提升整体预测精度。

后排序技术

后排序(Post-ranking)是排序阶段的最后一步,通过重排少量候选集来进一步优化整体效果。这个阶段可以采用更复杂的模型和特征,充分利用上下文信息。

阿里巴巴在 2020 年提出的 COLD 模型通过引入对比学习,有效地建模了候选集内部的相对偏好关系。字节跳动提出的 DHEN 模型则通过分层编码器网络,建模了复杂的上下文依赖关系。

迁移学习

迁移学习可以有效地将知识从源域迁移到目标域,在数据稀疏的场景下具有重要意义。阿里巴巴提出的 ESAM 模型通过引入领域自适应机制,实现了跨场景的有效迁移。美团提出的 PTUPCDR 模型则致力于解决跨域推荐中的用户-物品交互稀疏性问题。

强化学习

强化学习为推荐系统引入了序列决策和长期收益最大化的思想。阿里巴巴提出的 DRN 模型将深度强化学习应用于整页推荐,有效地提升了用户长期留存。京东提出的 DeepPage 模型则通过分层强化学习来优化整页布局。

自监督学习

自监督学习可以充分利用大量无标注数据来预训练模型,在下游任务上取得更好的效果。阿里巴巴提出的 STAN 模型通过时空辅助任务来增强序列推荐模型的表达能力。美团提出的 S3-Rec 模型则设计了多个自监督任务来预训练序列推荐模型。

结语

深度学习正在深刻地改变着搜索推荐广告领域的技术格局。本文梳理的这些论文代表了工业界在这一领域的最新探索。我们可以看到,各大科技公司都在积极将深度学习的最新进展应用到实际业务中,并基于海量数据和复杂场景提出了许多创新性的解决方案。

未来,随着预训练模型、图神经网络、强化学习等新兴技术的进一步发展,搜索推荐广告系统必将迎来新一轮的革新。我们期待看到更多激动人心的研究成果,推动这一领域不断向前发展。