TinyLLM

TinyLLM 项目介绍

TinyLLM项目是一个创新的尝试，它将大型语言模型（LLM）嵌入到有限的硬件环境中，同时保持可接受的性能。项目的目标是帮助用户在普通的消费级硬件上构建一个本地部署的LLM，并通过一个类似ChatGPT的网页界面进行交互。

项目主要功能

• 多LLM支持：TinyLLM支持多种大型语言模型，为用户提供丰富的选择。
• 本地API服务构建：通过使用Ollama、llama.cpp或vLLM等工具构建本地的OpenAI API服务。
• 聊天机器人界面：提供可定制的提示，支持访问外部网站、向量数据库以及其他信息源，如新闻、股票和天气等。

硬件要求

为了在本地运行TinyLLM，用户的硬件需要满足以下要求：

• 处理器：支持Intel、AMD或者Apple Silicon
• 内存：至少8GB DDR4
• 存储：至少128GB SSD
• 显卡：需要NVIDIA GPU（如GTX 1060 6GB，RTX 3090 24GB）或Apple M1/M2
• 操作系统：支持Ubuntu Linux和MacOS
• 软件：需要Python 3和CUDA 12.2版本

快速开始

目前项目的快速启动脚本尚在开发中，可以通过手动设置来运行项目。

手动设置

要开始使用TinyLLM，首先需要克隆项目代码：

# 克隆项目源码
git clone https://github.com/jasonacox/TinyLLM.git
cd TinyLLM

运行本地的LLM

要在本地运行LLM，需要为模型设置一个推理服务器。项目推荐使用vLLM、llama-cpp-python以及Ollama，这些工具提供了兼容OpenAI API的本地网络服务器，方便与其他工具整合。

Ollama服务器

Ollama简化了LLM的安装及运行，适用于MacOS、Linux和Windows等多种平台，但每次只能处理一个会话。下面是使用Ollama的基本步骤：

# 安装和运行Ollama服务器
docker run -d --gpus=all \
    -v $PWD/ollama:/root/.ollama \
    -p 11434:11434 \
    -p 8000:11434 \
    --restart unless-stopped \
    --name ollama \
    ollama/ollama

# 下载并测试运行llama3模型
docker exec -it ollama ollama run llama3

# 告诉服务器保持模型加载在GPU中
curl http://localhost:11434/api/generate -d '{"model": "llama3", "keep_alive": -1}'

Ollama支持多种模型，如Phi-3 Mini和Mistral 7B等。

vLLM服务器

vLLM提供兼容OpenAI API的强大网络服务器，支持多线程推理。它从HuggingFace自动下载模型，适合需要处理多种会话且具有强大GPU硬件的用户。

# 构建容器
cd vllm
./build.sh 

# 创建存储模型的目录
mkdir models

# 编辑run.sh或run-awq.sh以选择将使用的模型。默认使用Mistral模型
./run.sh  

llama-cpp-python服务器

llama-cpp-python提供简单易用的API兼容网络服务器，主要适用于较小VRAM的消费者级GPU。

# 卸载旧版本
pip3 uninstall llama-cpp-python -y

# Linux目标配置
CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip3 install llama-cpp-python==0.2.27 --no-cache-dir
CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip3 install llama-cpp-python[server]==0.2.27 --no-cache-dir

运行聊天机器人

TinyLLM聊天机器人是基于Python FastAPI的简单网页应用程序，支持多会话并记住对话历史。它还提供了丰富的信息获取功能，如新闻摘要、股票查询和天气信息等。

# 进入聊天机器人文件夹
cd ../chatbot
touch prompts.json

# 拉取并运行最新容器
docker run \
    -d \
    -p 5000:5000 \
    -e PORT=5000 \
    -e OPENAI_API_BASE="http://localhost:8000/v1" \
    -e LLM_MODEL="tinyllm" \
    -v $PWD/.tinyllm:/app/.tinyllm \
    --name chatbot \
    --restart unless-stopped \
    jasonacox/chatbot

例子会话

用户可通过访问http://localhost:5000来体验与聊天机器人的互动。

手动设置

不使用docker的情况下，可以手动测试聊天机器人服务器：

# 安装所需软件包
pip3 install fastapi uvicorn python-socketio jinja2 openai bs4 pypdf requests lxml aiohttp

# 运行聊天机器人服务器
python3 server.py

LLM模型

TinyLLM支持多种LLM模型，每种模型有其特点，用户可根据需求在llmserver和vLLM中选择适合的模型。

---

通过上面的介绍，可以看出TinyLLM项目致力于使大型语言模型更易于在普通硬件上实施，同时提供了简单的用户界面和强大的扩展功能。