gte-small

gte-small项目介绍

gte-small项目是一个基于ONNX权重的模型，旨在与Transformers.js库兼容。这个项目的核心目的是将机器学习模型嵌入到网页中，从而使开发者能够在JavaScript环境中利用强大的自然语言处理功能。

项目背景

gte-small是一个小型的、经过优化的模型，提供类似于更大型号的功能，但具有较低的计算需求。这使得它特别适合需要在浏览器中进行实时处理的应用场景。

使用方法

gte-small的使用非常简单，只需通过NPM安装Transformers.js JavaScript库即可。Transformers.js库为开发者提供了一个强大的工具，使机器学习模型能够在浏览器中运行，这在构建响应迅速的应用程序时尤为重要。

安装Transformers.js

要开始使用这个模型，首先需要从NPM安装Transformers.js库：

npm i @xenova/transformers

计算句子嵌入

安装完成后，开发者可以创建一个特征提取管道，用来计算句子的嵌入向量。以下是一个示例代码：

import { pipeline } from '@xenova/transformers';

// 创建一个特征提取管道
const extractor = await pipeline('feature-extraction', 'Xenova/gte-small');

// 计算句子嵌入
const sentences = ['That is a happy person', 'That is a very happy person'];
const output = await extractor(sentences, { pooling: 'mean', normalize: true });
console.log(output);

这个特征提取器会返回句子嵌入，允许开发者对文本数据进行深层次分析。

计算余弦相似度

基于生成的嵌入，进一步可以计算两个句子之间的余弦相似度，例如：

import { cos_sim } from '@xenova/transformers';
console.log(cos_sim(output[0].data, output[1].data))

余弦相似度的结果有助于评估文本间的相似程度。

模型转化和精度选项

默认情况下，gte-small模型使用的是8位量化模型，这可以显著减少内存使用和提高推理速度。不过，如果对模型的精度有更高的要求，可以选择使用全精度版本（fp32），只需在创建管道时加入参数{ quantized: false }。

const extractor = await pipeline('feature-extraction', 'Xenova/gte-small', { quantized: false });

量化版本与非量化版本的选择提供了灵活性，以平衡性能和精度之间的需要。

ONNX权重和未来展望

项目目前使用了单独的ONNX权重库，并注重提供一个临时解决方案，以待WebML更加成熟。如果开发者希望让自己的模型适用于网页，建议使用🤗 Optimum工具将模型转换为ONNX格式，并按照本项目的结构进行构建。这将确保模型在未来的Web开发中保持高效和兼容。

总而言之，gte-small项目为开发人员提供了一种高效而简单的方法，将自然语言处理模型集成到JavaScript应用中，从而推动更智能的Web应用程序的发展。