lmstudio.js

项目介绍：lmstudio.js

lmstudio.js 是一个正在预发布阶段的 JavaScript 库，旨在帮助开发者在 JavaScript 和 TypeScript 以及 Node.js 中更简单地使用本地的语言模型（LLMs）。该项目处于快速迭代开发中，因此经常会有重大改动。用户可以通过 Twitter 和 Discord 上的社区公告了解更多关于项目的最新进展和新闻。项目的相关文档可以在这里查看。

安装指南

要开始使用 lmstudio.js，可以通过 npm 安装它的 SDK：

npm install @lmstudio/sdk

安装后，可使用以下命令进行快速项目设置：

npx lmstudio install-cli
lms create

API 使用方式

lmstudio.js 提供了丰富的 API，可以让用户加载语言模型并进行文本预测。以下是一个简单的例子：

import { LMStudioClient } from "@lmstudio/sdk";

const client = new LMStudioClient();

async function main() {
  const modelPath = "lmstudio-community/Meta-Llama-3-8B-Instruct-GGUF";
  const llama3 = await client.llm.load(modelPath, { config: { gpuOffload: "max" } });
  const prediction = llama3.respond([
    { role: "system", content: "Always answer in rhymes." },
    { role: "user", content: "Please introduce yourself." },
  ]);

  for await (const text of prediction) {
    process.stdout.write(text);
  }

  const { stats } = await prediction;
  console.log(stats);
}

main();

上手指南

配置 `lms` (CLI)

lms 是 LM Studio 的命令行工具，可以帮助用户与语言模型服务器互动。安装最新版本的 LM Studio 后，通过以下命令进行安装和验证：

npx lmstudio install-cli

需要在新的终端窗口中运行：

lms

启动本地 LLM 服务器

用户可以通过以下命令启动本地的 LLM 服务器：

lms server start

如需要开发 web 应用并启用跨域资源共享（CORS），可以使用：

lms server start --cors=true

自定义端口可以这样操作：

lms server start --port 12345

实例与用例

加载和预测示例

该库支持多种用例，包括加载模型、文本完成、对话模拟等。以下是一些示例：

加载模型并进行文本预测：

import { LMStudioClient } from "@lmstudio/sdk";

const client = new LMStudioClient();
const llama3 = await client.llm.load("lmstudio-community/Meta-Llama-3-8B-Instruct-GGUF");
const prediction = llama3.complete("The meaning of life is");

for await (const text of prediction) {
  process.stdout.write(text);
}

使用特定模型配置进行加载：

const llama3 = await client.llm.load("lmstudio-community/Meta-Llama-3-8B-Instruct-GGUF", {
  config: {
    contextLength: 1024,
    gpuOffload: 0.5, // 将50%的计算任务转移到 GPU
  },
});

文本完成与对话：

对于文本完成，用户可以使用 complete 方法，而进行对话模拟则可以通过 respond 方法实现。

const prediction = anyModel.respond([
  { role: "system", content: "Answer the following questions." },
  { role: "user", content: "What is the meaning of life?" },
]);

for await (const text of prediction) {
  process.stdout.write(text);
}

Conclusion

lmstudio.js 是一个功能强大且灵活的工具，可以满足开发者在 JavaScript 环境中对本地语言模型的各种需求。尽管其仍处于早期开发阶段，但提供的功能和 API 已能支持许多实际应用场景。随着项目的不断进展，相信将有更多令人期待的功能被引入和完善。用户可以积极参与官方社区交流，分享使用经验和反馈建议，以推动项目更好地发展。