aikit

项目介绍：AIKit

AIKit 是一个功能全面的平台，旨在帮助用户快速搭建、部署、构建和微调大型语言模型（LLMs）。该平台的主要特点是支持多种推理和微调功能，使用户能够轻松访问和定制高级的人工智能模型。

主要功能

推理（Inference）

AIKit 使用 LocalAI 来支持广泛的推理能力和格式。LocalAI 提供了一个与 OpenAI API 兼容的替代 REST API，因此用户可以使用任何兼容 OpenAI API 的客户端（如 Kubectl AI、Chatbot-UI 等）来发送请求到开放的大型语言模型。

微调（Fine-Tuning）

AIKit 提供了一个可扩展的微调接口，支持 Unsloth，让微调过程变得快速、内存高效且简单易用。

功能特性

• 无需 GPU、互联网接入或额外工具，通过 Docker 即可使用。
• 提供最小化的镜像尺寸，使用基于 Distroless 的镜像，提升安全性。
• 支持 OpenAI API，兼容任何 OpenAI API 客户端。
• 支持多模态模型和图像生成。
• 支持多种模型格式，如 GGUF、GPTQ、EXL2、GGML 以及 Mamba 模型。
• 支持 Kubernetes 部署。
• 单一镜像支持多种模型。
• 支持 AMD64 和 ARM64 CPU，以及使用 NVIDIA GPU 加速推理。
• 确保供应链安全，支持 SBOMs、证明声明和签名镜像。
• 支持自托管、本地或任何远程容器注册表，适用于隔离网络环境。

快速开始

用户可以在本地计算机上快速启动 AIKit，而且不需要 GPU。只需运行以下命令：

docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:8b

运行成功后，可以通过访问 http://localhost:8080/chat 来使用 WebUI。

API 使用

AIKit 提供了一个兼容 OpenAI API 的端点，用户可以使用任何兼容的客户端来发送请求：

curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]
  }'

预设模型

AIKit 提供了一系列现成的模型，用户可以直接使用这些模型开始项目。如果需要特定模型，用户也可以创建自己的镜像，并将其托管到选择的容器注册表中。

支持的硬件架构

AIKit 支持 AMD64 和 ARM64 架构的 CPU，并可以选择使用 NVIDIA GPU 进行推理加速。

接下来的步骤

欲了解更多信息及如何微调模型或创建自定义镜像，请参阅 AIKit 网站。