Infinity 学习资料汇总 - 高性能文本嵌入和重排序API

Infinity 简介

Infinity是一个用于提供文本嵌入、重排序模型和CLIP服务的高性能REST API。它具有以下主要特点:

• 可以部署来自HuggingFace的任何嵌入、重排序、CLIP和sentence-transformer模型
• 基于PyTorch、Optimum(ONNX/TensorRT)和CTranslate2构建,支持NVIDIA CUDA、AMD ROCM、CPU、AWS INF2和Apple MPS等多种加速器
• 支持多模态和多模型混合部署
• 经过全面测试,确保嵌入结果的正确性
• 基于FastAPI构建,易于使用,API与OpenAI兼容

快速开始

通过pip安装

pip install infinity-emb[all]
infinity_emb v2 --model-id BAAI/bge-small-en-v1.5

使用Docker容器(推荐)

port=7997
model1=michaelfeil/bge-small-en-v1.5
model2=mixedbread-ai/mxbai-rerank-xsmall-v1
volume=$PWD/data

docker run -it --gpus all 
 -v $volume:/app/.cache 
 -p $port:$port 
 michaelf34/infinity:latest 
 v2 
 --model-id $model1 
 --model-id $model2 
 --port $port

Python API使用

import asyncio
from infinity_emb import AsyncEngineArray, EngineArgs, AsyncEmbeddingEngine

sentences = ["Embed this is sentence via Infinity.", "Paris is in France."]
array = AsyncEngineArray.from_args([
  EngineArgs(model_name_or_path = "BAAI/bge-small-en-v1.5", engine="torch", embedding_dtype="float32", dtype="auto")
])

async def embed_text(engine: AsyncEmbeddingEngine): 
    async with engine: 
        embeddings, usage = await engine.embed(sentences=sentences)

asyncio.run(embed_text(array[0]))

主要功能

1. 文本嵌入
2. 重排序
3. CLIP模型支持
4. 文本分类

集成

Infinity已经与多个平台和工具集成,包括:

• Runpod serverless部署
• Truefoundry Cognita
• Langchain
• SAP Core AI 等

学习资源

1. 官方文档
2. GitHub仓库
3. Hugging Face模型库

社区支持

• Discord社区
• GitHub Issues

通过以上资源,你可以快速上手Infinity,充分利用其强大的文本嵌入和重排序功能。无论是用于研究还是生产环境,Infinity都是一个值得考虑的高性能工具。