Ollama JavaScript 库

Ollama JavaScript 库提供了将您的 JavaScript 项目与 Ollama 集成的最简单方法。

入门

npm i ollama

使用方法

import ollama from 'ollama'

const response = await ollama.chat({
  model: 'llama3.1',
  messages: [{ role: 'user', content: '为什么天空是蓝色的？' }],
})
console.log(response.message.content)

浏览器使用

要在不使用 node 的情况下使用该库，请导入浏览器模块。

import ollama from 'ollama/browser'

流式响应

可以通过设置 stream: true 来启用响应流，这会修改函数调用以返回一个 AsyncGenerator，其中每个部分都是流中的一个对象。

import ollama from 'ollama'

const message = { role: 'user', content: '为什么天空是蓝色的？' }
const response = await ollama.chat({ model: 'llama3.1', messages: [message], stream: true })
for await (const part of response) {
  process.stdout.write(part.message.content)
}

创建

import ollama from 'ollama'

const modelfile = `
FROM llama3.1
SYSTEM "你是超级马里奥兄弟中的马里奥。"
`
await ollama.create({ model: 'example', modelfile: modelfile })

API

Ollama JavaScript 库的 API 是基于 Ollama REST API 设计的

chat

ollama.chat(request)

request <Object>: 包含聊天参数的请求对象。
- model <string> 用于聊天的模型名称。
- messages <Message[]>: 表示聊天历史的消息对象数组。
  - role <string>: 消息发送者的角色（'user'、'system' 或 'assistant'）。
  - content <string>: 消息内容。
  - images <Uint8Array[] | string[]>: （可选）要包含在消息中的图片，可以是 Uint8Array 或 base64 编码的字符串。
- format <string>: （可选）设置预期的响应格式（json）。
- stream <boolean>: （可选）当为 true 时，返回一个 AsyncGenerator。
- keep_alive <string | number>: （可选）保持模型加载的时间。
- tools <Tool[]>: （可选）模型可能调用的工具列表。
- options <Options>: （可选）配置运行时的选项。
返回: <ChatResponse>

generate

ollama.generate(request)

request <Object>: 包含生成参数的请求对象。
- model <string> 用于聊天的模型名称。
- prompt <string>: 发送给模型的提示。
- suffix <string>: （可选）插入文本后的后缀。
- system <string>: （可选）覆盖模型系统提示。
- template <string>: （可选）覆盖模型模板。
- raw <boolean>: （可选）绕过提示模板，直接将提示传递给模型。
- images <Uint8Array[] | string[]>: （可选）要包含的图片，可以是 Uint8Array 或 base64 编码的字符串。
- format <string>: （可选）设置预期的响应格式（json）。
- stream <boolean>: （可选）当为 true 时，返回一个 AsyncGenerator。
- keep_alive <string | number>: （可选）保持模型加载的时间。
- options <Options>: （可选）配置运行时的选项。
返回: <GenerateResponse>

pull

ollama.pull(request)

request <Object>: 包含拉取参数的请求对象。
- model <string> 要拉取的模型名称。
- insecure <boolean>: （可选）从无法验证身份的服务器拉取。
- stream <boolean>: （可选）当为 true 时，返回一个 AsyncGenerator。
返回: <ProgressResponse>

push

ollama.push(request)

request <Object>: 包含推送参数的请求对象。
- model <string> 要推送的模型名称。
- insecure <boolean>: （可选）推送到无法验证身份的服务器。
- stream <boolean>: （可选）当为 true 时，返回一个 AsyncGenerator。
返回: <ProgressResponse>

create

ollama.create(request)

request <Object>: 包含创建参数的请求对象。
- model <string> 要创建的模型名称。
- path <string>: （可选）要创建的模型的 Modelfile 路径。
- modelfile <string>: （可选）要创建的 Modelfile 内容。
- stream <boolean>: （可选）当为 true 时，返回一个 AsyncGenerator。
返回: <ProgressResponse>

delete

ollama.delete(request)

request <Object>: 包含删除参数的请求对象。
- model <string> 要删除的模型名称。
返回: <StatusResponse>

copy

ollama.copy(request)

request <Object>: 包含复制参数的请求对象。
- source <string> 要复制的源模型名称。
- destination <string> 要复制到的目标模型名称。
返回: <StatusResponse>

list

ollama.list()

返回: <ListResponse>

show

ollama.show(request)

request <Object>: 包含显示参数的请求对象。
- model <string> 要显示的模型名称。
- system <string>: （可选）覆盖返回的模型系统提示。
- template <string>: （可选）覆盖返回的模型模板。
- options <Options>: （可选）配置运行时的选项。
返回: <ShowResponse>

embed

ollama.embed(request)

request <Object>: 包含嵌入参数的请求对象。
- model <string> 用于生成嵌入的模型名称。
- input <string> | <string[]>: 用于生成嵌入的输入。
- truncate <boolean>: （可选）将输入截断以适应模型支持的最大上下文长度。
- keep_alive <string | number>: （可选）保持模型加载的时间。
- options <Options>: （可选）配置运行时的选项。
返回: <EmbedResponse>

ps

ollama.ps()

返回: <ListResponse>

自定义客户端

可以使用以下字段创建自定义客户端：

host <string>: （可选）Ollama 主机地址。默认值："http://127.0.0.1:11434"。
fetch <Object>: （可选）用于向 Ollama 主机发送请求的 fetch 库。

import { Ollama } from 'ollama'

const ollama = new Ollama({ host: 'http://127.0.0.1:11434' })
const response = await ollama.chat({
  model: 'llama3.1',
  messages: [{ role: 'user', content: '为什么天空是蓝色的？' }],
})