Faiss

Faiss是一个用于高效相似性搜索和密集向量聚类的库。它包含了可以在任意大小的向量集中搜索的算法，甚至可以处理无法完全存入内存的大规模数据集。此外，它还提供了评估和参数调优的支持代码。Faiss主要用C++编写，并提供完整的Python/numpy封装。其中一些最有用的算法在GPU上实现。它主要由Meta的基础人工智能研究组开发。

新闻

有关最新功能的详细信息，请参阅CHANGELOG.md。

简介

Faiss包含多种相似性搜索方法。它假设实例以向量形式表示，并由整数标识，且可以使用L2（欧几里德）距离或点积进行比较。与查询向量相似的向量是那些与查询向量具有最小L2距离或最高点积的向量。它还支持余弦相似度，因为这是归一化向量上的点积。

一些方法，如基于二进制向量和紧凑量化码的方法，只使用向量的压缩表示，不需要保留原始向量。这通常会以牺牲搜索精度为代价，但这些方法可以在单个服务器的主内存中扩展到数十亿个向量。其他方法，如HNSW和NSG，在原始向量之上添加索引结构以提高搜索效率。

GPU实现可以接受来自CPU或GPU内存的输入。在带有GPU的服务器上，GPU索引可以作为CPU索引的直接替代（例如，用GpuIndexFlatL2替换IndexFlatL2），并自动处理与GPU内存之间的复制。但如果输入和输出都保留在GPU上，结果会更快。支持单GPU和多GPU使用。

安装

Faiss为Anaconda的Python提供预编译库，请参见faiss-cpu和faiss-gpu。该库主要用C++实现，唯一的依赖是BLAS实现。可选的GPU支持通过CUDA提供，Python接口也是可选的。它使用cmake编译。详情请参阅INSTALL.md。

Faiss的工作原理

Faiss的核心是一种索引类型，用于存储一组向量，并提供一个函数来使用L2和/或点积向量比较进行搜索。一些索引类型是简单的基准，如精确搜索。大多数可用的索引结构对应于以下方面的各种权衡：

搜索时间
搜索质量
每个索引向量使用的内存
训练时间
添加时间
无监督训练对外部数据的需求

可选的GPU实现提供了可能是（截至2017年3月）最快的高维向量精确和近似（压缩域）最近邻搜索实现、最快的Lloyd's k-means和最快的小k选择算法。实现详情在此。

Faiss的完整文档

以下是文档的入口点：

完整文档可在wiki页面上找到，包括教程、FAQ和故障排除部分
doxygen文档提供从代码注释中提取的每个类的信息
要复现我们研究论文的结果，多义码和使用GPU进行十亿级相似性搜索，请参考benchmarks README。对于链接和代码：使用图和紧凑回归码进行快速索引，请参阅link_and_code README

作者

Faiss的主要作者是：

Hervé Jégou发起了Faiss项目并编写了其第一个实现
Matthijs Douze实现了大部分CPU Faiss
Jeff Johnson实现了所有GPU Faiss
Lucas Hosseini实现了二进制索引和构建系统
Chengqi Deng实现了NSG、NNdescent和大部分加法量化代码
Alexandr Guzhva进行了许多优化：SIMD、内存分配和布局、向量编解码器的快速解码内核等
Gergely Szilvasy负责构建系统和基准测试框架

引用

在研究论文中使用Faiss时，请引用以下文献：

@article{douze2024faiss,
      title={The Faiss library},
      author={Matthijs Douze and Alexandr Guzhva and Chengqi Deng and Jeff Johnson and Gergely Szilvasy and Pierre-Emmanuel Mazaré and Maria Lomeli and Lucas Hosseini and Hervé Jégou},
      year={2024},
      eprint={2401.08281},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

对于Faiss的GPU版本，请引用：

@article{johnson2019billion,
  title={Billion-scale similarity search with {GPUs}},
  author={Johnson, Jeff and Douze, Matthijs and J{\'e}gou, Herv{\'e}},
  journal={IEEE Transactions on Big Data},
  volume={7},
  number={3},
  pages={535--547},
  year={2019},
  publisher={IEEE}
}