csghub-server

英文 ∙ 简体中文

CSGHub Server 是开源可靠的大模型资产管理平台 CSGHub 的一部分。它通过 REST API 专注于管理模型、数据集和其他 LLM 资产。

主要特性：

• 用户和组织的创建与管理
• 模型和数据集标签的自动标注
• 搜索用户、组织、模型和数据
• 在线预览数据集文件，如 .parquet 文件
• 文本和图像的内容审核
• 单个文件的下载，包括 LFS 文件
• 追踪模型和数据集的活动数据，如下载量和点赞量

演示

为了帮助用户快速了解 CSGHub 的功能和用法，我们录制了一个演示视频。您可以观看这个视频，快速了解该程序的主要功能和操作流程。

• CSGHub 演示视频如下，您也可以在 YouTube 或 Bilibili 上查看 <video width="658" height="432" src="https://github-production-user-asset-6210df.s3.amazonaws.com/3232817/296556812-205d07f2-de9d-4a7f-b3f5-83514a71453e.mp4"></video>

请访问 OpenCSG 网站 体验强大的管理功能。

快速开始

系统资源要求：4核 CPU/8GB 内存

请自行安装 Docker。本项目已在 Ubuntu22 环境下测试。

您可以通过 docker-compose 快速部署本地化的 CSGHub Server 服务：

# API 令牌应至少 128 个字符长，对 csghub-server 的 HTTP 请求需要将 API 令牌作为 Bearer 令牌发送以进行身份验证。
export STARHUB_SERVER_API_TOKEN=<API 令牌>
mkdir -m 777 gitea minio_data
curl -L https://raw.githubusercontent.com/OpenCSGs/csghub-server/main/docker-compose.yml -o docker-compose.yml
docker-compose -f docker-compose.yml up -d

技术架构

<div align=center> <img src="https://yellow-cdn.veclightyear.com/835a84d5/6466c044-215d-44df-92d9-1782e3e606a4.png" alt="csghub-server 架构" width="800px"> </div>

可扩展和可定制

• 支持不同的 git 服务器，如 Gitea、GitLab 等。
• 支持灵活配置 LFS 存储系统，您可以选择使用本地或任何兼容 S3 协议的第三方云存储服务。
• 按需启用内容审核，可选择任何第三方内容审核服务。

路线图

• 支持更多 Git 服务器：目前支持 Gitea，未来计划支持主流 Git 仓库。
• Git LFS：Git LFS 支持大文件，支持 Git 命令操作和通过 Web UI 在线下载。
• 数据集在线查看器：数据集预览，支持 LFS 格式数据集的 Top20/TopN 加载预览。
• 模型/数据集自动标签：支持自定义元数据和自动提取模型/数据集标签。
• S3 协议支持：支持 S3 (MinIO) 存储协议，提供更高的可靠性和存储成本效益。
• 模型格式转换：主流模型格式的转换。
• 模型一键部署：支持与 OpenCSG llm-inference 集成，一键启动模型推理。

许可证

我们使用 Apache 2.0 许可证，详细内容请查看 LICENSE 文件。

贡献

如果您希望贡献，请遵循贡献指南。我们非常期待您的贡献！

致谢

本项目基于 Gin、DuckDB、minio 和 Gitea 等开源项目。我们对他们的开源贡献表示衷心的感谢！

联系我们

如果您在使用过程中遇到任何问题，可以通过以下任何方式与我们联系：

1. 在 GitHub 上提出 issue
2. 扫描微信助手二维码加入我们的微信群
3. 加入我们的官方 Discord 频道：OpenCSG Discord 频道
4. 加入我们的 Slack 工作区：OpenCSG Slack 频道

<div style="display:inline-block"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/a446f852-8d67-44cc-bed1-fa316ff24f01.png" width='200'> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <img src="https://yellow-cdn.veclightyear.com/835a84d5/a717bea1-f20a-4664-b246-933221a6ee3a.png" width='200'> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <img src="https://yellow-cdn.veclightyear.com/835a84d5/ddee2115-5f26-402d-8683-ba6a0549333e.png" width='200'> </div>