docker-llama2-chat

项目介绍：Docker LLaMA2 Chat / 羊驼二代

Docker LLaMA2 Chat，也称为羊驼二代，是一个帮助用户快速部署并体验 LLaMA2 模型的项目。该项目采用 Docker 技术，用户可以在本地环境中运行 7B 或 13B 的官方模型，以及支持中文的 7B 模型。该项目为用户提供了便捷的工具以低门槛上手体验强大的 LLaMA2 模型。

项目特点

• 快速入门：用户只需经过简单的三步，就能轻松启动所需的 LLaMA2 模型，进行交互体验。不同配置的显存需求提供不同的模型，更灵活适应用户的设备。
• 多语言支持：不仅有原始的英文版，还提供了支持中文的版本，让更多的用户能够使用他们所偏好的语言体验 LLaMA2。
• 高效的模型量化：项目中包含了 Transformers 和 GGML 的量化模型，这些量化模型减少了显存占用，提升了推理速度，甚至可以在没有显卡的情况下，仅用 CPU 运行 LLaMA2。

使用方式

用户可以通过一系列简单的命令来构建和运行 LLaMA2 模型：

1. 构建模型镜像：

   • 运行以下命令以构建所需的模型映像：

   # 构建不同版本的镜像
   bash scripts/make-7b.sh      # 官方 7B 模型
   bash scripts/make-13b.sh     # 官方 13B 模型
   bash scripts/make-7b-cn.sh   # 中文 7B 模型
   bash scripts/make-7b-cn-4bit.sh # 中文 4BIT 模型

2. 下载模型：

   • 从 HuggingFace 上克隆所需的模型仓库：

   # 获取模型数据
   git clone https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
   git clone https://huggingface.co/meta-llama/Llama-2-13b-chat-hf
   git clone https://huggingface.co/LinkSoul/Chinese-Llama-2-7b
   git clone https://huggingface.co/soulteary/Chinese-Llama-2-7b-4bit

   • 将下载的模型放置到适当的目录结构中，以便模型正常运行。

3. 运行模型应用：

   • 使用以下命令启动 LLaMA2 模型并在浏览器中访问：

   # 运行不同版本的模型
   bash scripts/run-7b.sh        # 官方 7B 模型
   bash scripts/run-13b.sh       # 官方 13B 模型
   bash scripts/run-7b-cn.sh     # 中文 7B 模型
   bash scripts/run-7b-cn-4bit.sh # 中文 4BIT 模型

   • 模型启动后，可以通过访问 http://localhost:7860 或 http://你的IP地址:7860 进行交互操作。

相关资源

• MetaAI LLaMA2 项目主页: MetaAI LLaMA2
• 官方 LLaMA2 7B Chat 模型: HuggingFace
• 官方 LLaMA2 13B Chat 模型: HuggingFace
• 中文 LLaMA2 7B 模型: HuggingFace
• 中文 LLaMA2 7B GGML q4 模型: HuggingFace
• LLaMA2 GGML 转换工具: Docker Hub

通过这些简单易用的工具和教程，用户可以在短时间内体验到 LLaMA2 的强大功能，并将其应用于多个场景，让AI模型变得触手可及。