llm.ts

llm.ts 项目介绍

项目概述

llm.ts 是一个方便强大且轻量级的库，旨在通过单一 API 调用超过 30 种大型语言模型（LLM）。用户可以通过此库向多个 LLM 发送多个提示，并在单一响应中获取结果。这一特性大大简化了多模型同时调用的复杂度。在没有任何依赖的情况下，llm.ts 的最小化代码只有不到 10kB，无论是在 Node、Deno 还是浏览器环境下都可以流畅运行。用户只需提供自己的 API 密钥，即可开始使用。

安装指南

llm.ts 提供了简单的安装方式，开发者可以根据自己所使用的包管理工具选择不同的安装命令。

使用 npm 安装

npm install llm.ts

使用 yarn 安装

yarn add llm.ts

使用示例

以下是一个简单的使用示例，展示了如何调用不同的模型进行处理：

import { LLM, MODEL } from 'llm.ts';

(async function () {
    await new LLM({
        apiKeys: {
            openAI: process.env.OPENAI_API_KEY ?? '',
            cohere: process.env.COHERE_API_KEY ?? '',
            huggingface: process.env.HF_API_TOKEN ?? '',
        }
    }).completion({
        prompt: [
            'Repeat the following sentence: "I am a robot."',
            'Repeat the following sentence: "I am a human."',
        ],
        model: [
            'text-ada-001',
            'cohere/command-nightly',
            MODEL.HF_GPT2,
        ],
    }).then(resp => {
        console.log(resp);
    })
})()