catai

CatAI 项目介绍

CatAI 是一个让用户可以在本地计算机上运行人工智能助手的项目。它提供了一个聊天界面，通过利用本地硬件和相关的软件技术，用户可以与AI助手进行实时的交流。该项目受到了 Node-Llama-Cpp 和 Llama.cpp 的启发。

安装与使用

要开始使用 CatAI，用户需确保已安装 Node.js。接下来，即可通过下列命令安装和启动 CatAI：

npm install -g catai

catai install meta-llama-3-8b-q4_k_m
catai up

安装完成后，用户可以通过这个简单的命令行接口（CLI）来管理和与模型互动。

主要功能

自动检测编程语言：当用户与 AI 助手沟通时，系统可以自动识别使用的编程语言。
点击用户图标查看原始消息：用户界面设计简洁友好，方便查看对话内容。
实时文本流：交互时能够实现文字的实时更新与显示。
快速模型下载：利用多线程下载技术，加速模型下载过程。

跨平台支持

CatAI 可以在多个操作系统上使用，包括 Windows、Linux 和 Mac。这得益于它对多种硬件架构的支持，例如：

darwin-x64（macOS）
darwin-arm64
linux-x64
linux-arm64
linux-armv7l
linux-ppc64le
win32-x64-msvc（Windows）

Web API

CatAI 提供了一个简易的 Web API，用户可以通过该 API 向模型提问并获取回答。例如：

const response = await fetch('http://127.0.0.1:3000/api/chat/prompt', {
    method: 'POST',
    body: JSON.stringify({
        prompt: 'Write me 100 words story'
    }),
    headers: {
        'Content-Type': 'application/json'
    }
});

const data = await response.text();

开发者 API

除了 Web API，CatAI 还提供了更为灵活的开发者 API，支持用户构建更多定制化的聊天体验。

import { createChat, downloadModel, initCatAILlama, LlamaJsonSchemaGrammar } from "catai";

// 下载模型，如果已有可跳过
await downloadModel("meta-llama-3-8b-q4_k_m");

const llama = await initCatAILlama();
const chat = await createChat({
    model: "meta-llama-3-8b-q4_k_m"
});

const fullResponse = await chat.prompt("Give me array of random numbers (10 numbers)", {
    grammar: new LlamaJsonSchemaGrammar(llama, {
        type: "array",
        items: {
            type: "number",
            minimum: 0,
            maximum: 100
        },
    }),
    topP: 0.8,
    temperature: 0.8,
});

console.log(fullResponse); // [10, 2, 3, 4, 6, 9, 8, 1, 7, 5]