stsb-bert-tiny-onnx

项目概述

这是一个基于sentence-transformers框架的文本嵌入模型stsb-bert-tiny-onnx。该模型可以将句子和段落映射到128维的密集向量空间中,主要用于文本聚类和语义搜索等任务。它采用了轻量级的BERT架构,具有较小的模型体积和较快的推理速度。

主要功能

该模型的核心功能是将文本转换为向量表示。它可以:

• 将输入的句子转换为128维的向量
• 支持批量处理多个句子
• 保持句子的语义信息
• 可用于下游任务如文本聚类、语义搜索等

使用方法

这个模型提供了两种使用方式:

使用sentence-transformers框架

通过pip安装sentence-transformers后,只需几行代码即可使用:

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('sentence-transformers-testing/stsb-bert-tiny-safetensors')
embeddings = model.encode(["这是示例句子", "转换另一个句子"])

使用Hugging Face Transformers

也可以直接使用Transformers库来加载和使用模型,但需要额外实现平均池化等操作。

技术特点

该模型具有以下技术特点:

• 采用BERT tiny架构,模型体积小
• 使用mean pooling进行句子编码
• 支持最大512个token的输入
• 训练采用余弦相似度损失函数
• 使用AdamW优化器,学习率为8e-05
• 训练轮数为10轮,使用线性warmup

应用场景

这个模型适用于多种自然语言处理任务,例如:

• 文本聚类分析
• 语义相似度计算
• 信息检索
• 文本匹配
• 智能问答系统

模型架构

模型由两个主要组件构成:

1. Transformer编码器:基于BERT的变体架构
2. Pooling层:实现了多种池化策略,默认使用平均池化

这种设计既保证了模型的效果,又兼顾了推理效率。