lmstudio.js学习资料汇总 - 本地LLM的TypeScript/JavaScript SDK

lmstudio.js简介

lmstudio.js是一个用于在JavaScript和TypeScript项目中使用本地大语言模型(LLM)的SDK。它允许开发者在自己的应用程序中轻松集成和使用本地运行的LLM,无需依赖云服务。

主要特性

• 支持加载和使用本地LLM模型
• 提供文本补全和对话功能
• 支持流式输出
• 可自定义推理参数
• 支持结构化输出(JSON)
• 支持多种模型加载和管理方式

快速开始

1. 安装SDK:

npm install @lmstudio/sdk

2. 下载并安装 LM Studio

3. 设置CLI工具:

npx lmstudio install-cli

4. 创建项目:

lms create

5. 使用示例:

import { LMStudioClient } from "@lmstudio/sdk";

const client = new LMStudioClient();

async function main() {
  const llama3 = await client.llm.load("lmstudio-community/Meta-Llama-3-8B-Instruct-GGUF");  
  const prediction = llama3.complete("The meaning of life is");

  for await (const text of prediction) {
    process.stdout.write(text);
  }
}

main();

学习资源

1. 官方文档 - 全面的API文档和使用指南

2. 快速入门指南 - 帮助您快速上手的教程

3. 代码示例 - 各种使用场景的代码示例

4. GitHub仓库 - 源代码和最新更新

5. Discord社区 - 与其他开发者交流和获取支持

高级用法

1. 自定义模型配置

const llama3 = await client.llm.load("lmstudio-community/Meta-Llama-3-8B-Instruct-GGUF", {
  config: {
    contextLength: 1024,
    gpuOffload: 0.5, // 将50%的计算卸载到GPU
  },
});

2. 结构化输出(JSON)

const prediction = model.complete("Here is a joke in JSON:", {
  maxPredictedTokens: 100,
  structured: { type: "json" },
});

const result = await prediction;
const parsed = JSON.parse(result.content);
console.info(parsed);

3. 对话功能

const prediction = anyModel.respond([
  { role: "system", content: "Answer the following questions." },
  { role: "user", content: "What is the meaning of life?" },
]);

for await (const text of prediction) {
  process.stdout.write(text);
}

注意事项

• lmstudio.js目前处于预发布阶段,API可能会有变化
• 使用时请确保已正确设置和启动LM Studio本地服务器
• 在生产环境中使用时,请注意模型加载和管理的性能影响

通过这些资源和示例,您可以快速掌握lmstudio.js的使用,并将本地LLM集成到您的JavaScript/TypeScript项目中。如果遇到问题,可以查阅官方文档或在Discord社区寻求帮助。祝您使用愉快!