Floret: 结合fastText和Bloom嵌入的紧凑全覆盖向量

Floret简介

Floret是由Explosion AI公司开发的一种创新词嵌入技术,它巧妙地结合了fastText的子词信息和Bloom嵌入的紧凑性,能够为任意词生成高质量的向量表示。作为fastText的扩展版本,Floret继承了fastText的优点,同时又在向量存储效率和词汇覆盖率方面做出了重大改进。

Floret主要具有以下两个核心特性:

1. 利用fastText的子词信息,为任意词生成嵌入表示
2. 采用Bloom嵌入(又称"哈希技巧")实现紧凑的向量表

这种独特的组合使Floret能够在保持高质量词向量的同时,大幅减少存储空间需求,为自然语言处理任务提供了一种高效实用的解决方案。

Floret的工作原理

为了更好地理解Floret的工作原理,我们需要先回顾一下fastText的实现方式。在原始的fastText实现中,词和子词被存储在两个独立的表中:

1. 词表:包含词汇表中每个词的条目(通常约100万个条目)
2. 子词表:固定大小的表,通过哈希将每个子词映射到表中的一行(默认为200万个条目)

这种方法虽然有效,但存在一些局限性:

• 存储空间需求大:对于100万词+200万子词,300维的32位浮点向量,需要约3GB存储空间
• 词汇覆盖有限:许多库只导入词表(.vec文件),限制了对训练数据中低频词的覆盖
• 对未见词处理能力不足:对于训练中未出现的词,无法直接生成有效的向量表示

Floret通过引入Bloom嵌入(也称为"哈希技巧")来解决这些问题。Bloom嵌入允许在一个紧凑的表中存储不同的表示,方法是将每个条目哈希到表中的多个行。通过将每个条目表示为多行的总和,其中两个条目不太可能在多个哈希上发生冲突,大多数条目最终都会得到不同的表示。

具体来说,Floret的工作流程如下:

1. 对于给定的词(如"apple"),Floret会生成该词本身以及其n-gram子词
2. 使用MurmurHash算法将词和子词字符串哈希到向量表中的多个行
3. 最终的词嵌入是这些行的向量和

例如,使用设置-minn 4 -maxn 5 -mode floret -hashCount 2,对于词"apple",Floret会生成以下条目:

<apple>
<app
appl
pple
ple>
<appl
apple
pple>

每个条目被哈希到两行(-hashCount 2),最终"apple"的嵌入是所有这些行的向量和。

这种方法不仅大大减少了存储空间需求,还提供了对任意词(包括训练中未见词)的全覆盖表示能力。

Floret的优势

Floret相比传统词嵌入方法具有显著优势:

1. 存储效率高:通过将词和子词存储在同一个紧凑的表中,Floret大大减少了存储空间需求。

2. 全词汇覆盖:Floret可以为任意词(包括训练数据中未出现的词)生成向量表示,解决了传统方法对未见词处理不足的问题。

3. 保持高质量:尽管采用了紧凑存储,Floret生成的词向量质量与原始fastText相当,在各种NLP任务中表现出色。

4. 灵活性强:用户可以通过调整参数(如哈希数量、bucket大小等)来平衡模型大小和性能。

5. 与现有工具兼容:Floret生成的向量可以轻松集成到如spaCy等流行的NLP库中。

Floret的应用

Floret可以应用于多种自然语言处理任务,主要包括:

1. 词表示学习:生成高质量、紧凑的词向量,可用于各种下游任务。

2. 文本分类:利用Floret向量可以构建高效的文本分类器,适用于情感分析、主题分类等任务。

3. 命名实体识别(NER):Floret的全词汇覆盖特性使其在处理专有名词和罕见实体时特别有优势。

4. 机器翻译:作为神经机器翻译模型的输入嵌入,可以提高翻译质量,特别是对罕见词的处理。

5. 信息检索:用Floret向量表示文档和查询,可以提高检索系统的性能和效率。

安装和使用Floret

要开始使用Floret,您可以选择从源代码构建或使用Python包安装:

从源代码构建

git clone https://github.com/explosion/floret
cd floret
make

这将生成主要的二进制文件floret。

使用pip安装Python包

pip install floret

或从源代码安装开发版本:

git clone https://github.com/explosion/floret
cd floret
pip install -r requirements.txt
pip install --no-build-isolation --editable .

基本用法

Floret在命令行中的使用与fastText类似,但增加了两个重要的选项:

-mode               fasttext (默认) 或 floret (词和字符n-gram哈希到桶中)
-hashCount          仅floret模式:每个词/子词的哈希数(1-4) [默认1]

例如,要训练CBOW嵌入,使用4-gram和5-gram子词,每个条目2个哈希,50K条目的紧凑表:

floret cbow -dim 300 -minn 4 -maxn 5 -mode floret -hashCount 2 -bucket 50000 \
-input input.txt -output vectors

这将生成一个额外的.floret文件,其格式类似于.vec文件,但包含了所有相关的训练设置。

在spaCy中使用Floret向量

要在spaCy v3.2+中导入Floret向量表:

spacy init vectors LANG vectors.floret spacy_vectors_dir --mode floret

结语

Floret代表了词嵌入技术的一个重要突破。通过巧妙结合fastText的子词信息和Bloom嵌入的紧凑性,Floret不仅解决了传统方法的存储和覆盖问题,还保持了高质量的词向量表示。这使得Floret成为各种NLP任务的理想选择,特别是在需要处理大规模词汇或资源受限的场景中。

随着自然语言处理技术的不断发展,像Floret这样的创新方法将继续推动整个领域向前发展。无论是研究人员还是实践者,都可以从Floret提供的高效、全面的词表示中受益,进而开发出更强大、更智能的NLP应用。

Floret的开源性质也为社区贡献和进一步改进打开了大门。我们期待看到更多基于Floret的创新应用和研究成果,进一步推动自然语言处理技术的边界。