llm.ts

llm.ts 项目介绍

项目概述

llm.ts 是一个方便强大且轻量级的库，旨在通过单一 API 调用超过 30 种大型语言模型（LLM）。用户可以通过此库向多个 LLM 发送多个提示，并在单一响应中获取结果。这一特性大大简化了多模型同时调用的复杂度。在没有任何依赖的情况下，llm.ts 的最小化代码只有不到 10kB，无论是在 Node、Deno 还是浏览器环境下都可以流畅运行。用户只需提供自己的 API 密钥，即可开始使用。

安装指南

llm.ts 提供了简单的安装方式，开发者可以根据自己所使用的包管理工具选择不同的安装命令。

使用 npm 安装

npm install llm.ts

使用 yarn 安装

yarn add llm.ts

使用示例

以下是一个简单的使用示例，展示了如何调用不同的模型进行处理：

import { LLM, MODEL } from 'llm.ts';

(async function () {
    await new LLM({
        apiKeys: {
            openAI: process.env.OPENAI_API_KEY ?? '',
            cohere: process.env.COHERE_API_KEY ?? '',
            huggingface: process.env.HF_API_TOKEN ?? '',
        }
    }).completion({
        prompt: [
            'Repeat the following sentence: "I am a robot."',
            'Repeat the following sentence: "I am a human."',
        ],
        model: [
            'text-ada-001',
            'cohere/command-nightly',
            MODEL.HF_GPT2,
        ],
    }).then(resp => {
        console.log(resp);
    })
})()

此示例通过向多个不同的 LLM 发送提示，返回的结果展示了不同模型处理文本的能力。开发者可以非常方便地实现复杂多样的自然语言处理任务。

支持的模型

llm.ts 支持的模型种类繁多，包括但不限于：

• text-ada-001
• text-babbage-001
• text-curie-001
• text-davinci-002
• cohere-command
• gpt2
• bloom-1b
• llama-7b
• gptj-6b
• pythia-12b
• distilgpt2

这些模型来自不同的提供者，包括 OpenAI、Cohere 和 HuggingFace，并可以满足广泛的应用需求。如果有需要，还可以通过提交 PR 来添加新的模型。

支持的托管供应商

目前，llm.ts 支持以下主要的托管提供商：

• OpenAI
• Cohere
• HuggingFace

这些供应商提供了丰富的模型和计算资源，为用户提供稳定高效的服务。

授权协议

llm.ts 采用 MIT 授权协议。这意味着它是开源的，并且可以自由使用、修改和分发，同时保持简约和灵活性。

通过 llm.ts，开发者能够简化多模型、多平台的应用开发，将更多精力投入到业务逻辑和用户体验的提升中。无论是语言理解、文本生成还是其他自然语言处理任务，这个项目都能提供强有力的支持。