信息检索中的预训练模型:发展现状与未来趋势

引言

信息检索(Information Retrieval, IR)是计算机科学中一个重要的研究领域,其目标是从大规模非结构化数据中快速准确地找到用户所需的信息。近年来,随着预训练语言模型(如BERT)在自然语言处理领域的成功应用,信息检索领域也开始广泛探索如何利用预训练模型来提升检索性能。本文将全面介绍信息检索中预训练模型的应用现状,梳理相关研究工作,并展望未来发展趋势。

第一阶段检索

第一阶段检索的目标是从海量文档中快速筛选出一个相对较小的候选文档集。这个阶段通常采用稀疏检索或密集检索的方法。

稀疏检索

稀疏检索是传统信息检索的主流方法,典型代表是基于倒排索引的BM25算法。近年来,研究人员探索了如何利用预训练模型来改进稀疏检索的性能,主要包括以下几个方向:

1. 神经词项重新加权

这类方法使用神经网络模型来学习更好的词项权重。例如,DeepTR[1]使用分布式表示来学习词项权重;DeepCT[2]和HDCT[3]利用BERT来学习上下文相关的词项权重。这些方法可以捕获词项的语义信息,从而提高检索效果。

2. 查询或文档扩展

查询扩展和文档扩展旨在缓解词汇不匹配问题。doc2query和docTTTTTquery[4]使用seq2seq模型将文档转换为可能的查询,从而扩展文档表示。这种方法可以在保留原始词项的同时引入语义相关的新词项。

3. 稀疏表示学习

这类方法直接学习文档和查询的稀疏表示。例如,SPLADE[5]使用BERT作为骨干网络,通过MLM任务和二值门控机制学习稀疏表示。这种方法可以学习到语义相关的稀疏表示,同时保持高效的检索速度。

密集检索

密集检索使用低维稠密向量来表示文档和查询,通过向量相似度来进行检索。这种方法可以更好地捕获语义信息,但面临着效率和可扩展性的挑战。主要研究方向包括:

1. 困难负样本挖掘

有效的负样本对于训练高质量的密集检索模型至关重要。DPR[6]提出了批内负样本和跨批次负样本的方法;ANCE[7]提出在训练过程中动态更新索引来挖掘困难负样本;RocketQA[8]结合了跨批次负样本、去噪和数据增强等技术。这些方法显著提升了密集检索的性能。

2. 延迟交互和多向量表示

为了平衡效率和效果,一些工作探索了延迟交互和多向量表示的方法。ColBERT[9]为每个token保留一个向量,在检索阶段进行延迟交互;Poly-encoders[10]使用多个向量来表示文档,可以灵活调节效率和效果的平衡。

3. 知识蒸馏

知识蒸馏是提升密集检索效率的有效方法。TCTColBERT[11]从ColBERT模型蒸馏得到单向量表示;TAS-Balanced[12]从BERT集成模型蒸馏得到轻量级的密集检索模型。这些方法可以在保持性能的同时显著提升检索效率。

4. 针对密集检索的预训练

一些工作探索了如何设计更适合密集检索的预训练方法。ICT(Inverse Cloze Task)[13]通过预测段落对应的句子来学习文档表示;Condenser[14]设计了一种新的预训练架构,可以学习更紧凑的文档表示。

5. 联合学习检索和索引

为了进一步提升密集检索的效率,一些工作尝试联合优化检索模型和索引结构。JPQ[15]联合优化查询编码器和乘积量化索引;RepCONC[16]通过约束聚类来学习离散表示。这些方法可以在保证检索质量的同时显著提升检索速度。

混合检索

混合检索结合了稀疏检索和密集检索的优势。DENSPI[17]同时使用稀疏短语索引和密集向量索引;一些工作[18][19]探索了如何有效结合BM25和神经检索模型。这些方法可以在不同场景下取得更好的检索效果。

第二阶段重排序

第二阶段重排序的目标是对第一阶段检索的候选文档进行更精细的排序。这个阶段通常可以使用更复杂的模型来提升排序质量。

基本用法

1. 判别式排序模型

判别式模型直接学习文档相关性的打分函数。典型的方法是使用BERT等预训练模型对查询-文档对进行编码,然后通过分类或回归来预测相关性分数。例如,monoBERT[20]可能是首个将BERT应用于文档重排序的工作;CEDR[21]将BERT与传统的神经IR模型相结合。

2. 生成式排序模型

生成式模型通过生成任务来隐式地学习文档相关性。例如,一些工作[22][23]探索了使用GPT、BART或T5等生成式模型来重构查询或生成相关性标记。这类方法可以更好地利用预训练模型的生成能力。

3. 混合排序模型

混合模型结合了判别式和生成式模型的优势。例如,GDMTL[24]通过多任务学习同时优化判别式和生成式目标,可以取得更好的排序效果。

长文档处理技术

由于预训练模型通常有输入长度限制,处理长文档是一个重要的挑战。主要的解决方案包括:

1. 段落分数聚合

这类方法将长文档分割成多个段落,分别计算段落得分,然后通过某种方式聚合得到文档得分。例如,BERT-MaxP[25]取所有段落得分的最大值;Birch[26]在句子级别进行处理。

2. 段落表示聚合

这类方法首先得到段落的表示,然后通过某种方式聚合得到文档表示。PARADE[27]对比了多种段落表示聚合方法,包括池化、RNN和Transformer等。

3. 设计新的网络架构

一些工作专门设计了处理长文档的新架构。例如,TKL[28]使用局部自注意力机制来处理长文本;SMITH[29]使用层次化的编码器来处理长文档。

提高效率

为了在实际应用中实现高效的文档重排序,研究人员探索了多种提升效率的方法:

1. 解耦交互

DC-BERT[30]和PreTTR[31]等工作提出将查询和文档的编码过程解耦,可以预先计算文档表示以提高效率。

2. 知识蒸馏

知识蒸馏是一种有效的模型压缩方法。例如,可以从大型交叉编码器模型蒸馏到更小的双塔模型[32],或者蒸馏到更浅的Transformer模型[33]。

3. 部分微调

只对预训练模型的部分参数进行微调可以显著减少计算开销。例如,可以只微调上层或者某些模块的参数[34]。

4. 早停机制

通过设计早停机制,可以在推理过程中根据置信度提前结束计算。例如,DeeBERT[35]在每一层都设置分类头,可以在较浅的层提前输出结果。

联合学习检索和重排序

一些工作尝试将第一阶段检索和第二阶段重排序联合优化。例如,RocketQAv2[36]通过知识蒸馏的方式实现检索模型和重排序模型的联合学习;一些工作[37][38]探索了如何在端到端的框架下同时优化检索和重排序。这种方法可以充分利用两个阶段的互补性,取得更好的整体效果。

基于模型的IR系统

随着预训练模型在IR领域的广泛应用,一些工作开始探索完全基于神经模型的IR系统。例如,REALM[39]将检索模块集成到语言模型中,实现了检索增强的语言模型预训练;一些工作[40][41]探索了如何使用生成式模型来实现端到端的问答系统。这些工作为未来的IR系统设计提供了新的思路。

大型语言模型与IR

大型语言模型(LLM)的出现为IR领域带来了新的机遇和挑战。主要的研究方向包括:

1. 检索增强的LLM

通过在LLM中集成外部知识检索模块,可以显著提升模型的知识覆盖面和事实准确性。例如,RETRO[42]和ATLAS[43]等工作探索了如何在预训练和推理阶段有效地结合检索结果。

2. LLM用于IR

研究人员也在探索如何利用LLM来改进IR系统的各个环节。主要方向包括:

• 合成查询生成:使用LLM生成高质量的训练查询[44]。
• 合成文档生成:使用LLM生成额外的训练文档[45]。
• 相关性评分:使用LLM直接评估查询-文档对的相关性[46]。
• 基于IR的文本生成:结合检索结果来提升LLM的生成质量[47]。

这些工作展示了LLM在IR领域的巨大潜力,但如何高效地将LLM应用到大规模IR系统中仍面临诸多挑战。

多模态检索

随着多模态数据的增长,多模态检索也成为一个重要的研究方向。主要的方法可以分为两类:

1. 统一的单流架构

这类方法使用统一的编码器来同时处理多种模态的输入。例如,UNITER[48]和OSCAR[49]等工作探索了如何在预训练阶段就学习多模态的联合表示。

2. 多流架构

这类方法为不同模态使用独立的编码器,然后在某个阶段进行融合。例如,CLIP[50]分别使用文本编码器和图像编码器,通过对比学习来对齐两种模态的表示空间。

多模态检索在图文检索、视频检索等领域有广泛的应用前景,但如何有效地融合不同模态的信息仍是一个开放的问题。

未来展望

基于预训练模型的信息检索技术在近年来取得了显著进展,但仍面临一些挑战和机遇:

1. 效率与效果的平衡:如何在保证检索质量的同时提升系统效率,特别是在大规模应用场景下,仍是一个重要的挑战。

2. 长文本和多模态处理:如何更好地处理长文本文档以及融合多种模态的信息,需要进一步的探索。

3. 可解释性和公平性:随着模型变得越来越复杂,如何提升模型的可解释性和确保检索结果的公平性变得越发重要。

4. 与大型语言模型的结合:如何有效利用大型语言模型的能力来增强IR系统,以及如何设计更高效的检索增强型LLM,是未来的重要研究方向。

5. 领域适应和少样本学习:如何快速将预训练模型适应到新的领域或任务,以及如何在少量标注数据的情况下实现高效学习,也是值得关注的方向。

6. 端到端IR系统:探索完全基于神经模型的端到端IR系统