Serge - 让LLaMA变得简单 🦙

Serge是一个使用llama.cpp制作的聊天界面，用于运行GGUF模型。无需API密钥，完全自托管！

• 🌐 SvelteKit 前端
• 💾 Redis 用于存储聊天历史和参数
• ⚙️ FastAPI + LangChain 用于API，使用python绑定封装对llama.cpp的调用

🎥 演示：

demo.webm

⚡️ 快速开始

🐳 Docker：

docker run -d \
    --name serge \
    -v weights:/usr/src/app/weights \
    -v datadb:/data/db/ \
    -p 8008:8008 \
    ghcr.io/serge-chat/serge:latest

🐙 Docker Compose：

services:
  serge:
    image: ghcr.io/serge-chat/serge:latest
    container_name: serge
    restart: unless-stopped
    ports:
      - 8008:8008
    volumes:
      - weights:/usr/src/app/weights
      - datadb:/data/db/

volumes:
  weights:
  datadb:

然后，只需访问 http://localhost:8008 ，您可以在 http://localhost:8008/api/docs 找到API文档

🌍 环境变量

以下环境变量可用：

🖥️ Windows

确保您已安装Docker Desktop，配置了WSL2，并有足够的可用RAM来运行模型。

☁️ Kubernetes

在wiki中可以找到在Kubernetes上设置Serge的说明。

🧠 支持的模型

可以通过提交GitHub问题来请求额外的模型。其他模型也可在Serge Models获取。

⚠️ 内存使用

如果没有足够的可用内存用于模型，LLaMA将会崩溃

💬 支持

需要帮助？加入我们的Discord

🧾 许可证

Nathan Sarrazin和贡献者。Serge是根据MIT许可证和Apache-2.0授权的免费开源软件。

🤝 贡献

如果你发现了bug或有功能想法，欢迎提出问题或PR。

要在开发模式下运行Serge：

git clone https://github.com/serge-chat/serge.git
cd serge/
docker compose -f docker-compose.dev.yml up --build

该解决方案将在端口5678上接受Python调试器会话。VSCode的示例launch.json：

{
    "version": "0.2.0",
    "configurations": [
        {
            "name": "远程调试",
            "type": "python",
            "request": "attach",
            "connect": {
                "host": "localhost",
                "port": 5678
            },
            "pathMappings": [
                {
                    "localRoot": "${workspaceFolder}/api",
                    "remoteRoot": "/usr/src/app/api/"
                }
            ],
            "justMyCode": false
        }
    ]
}