leapfrogai

LeapfrogAI 项目介绍

概述

LeapfrogAI 是一个专为部署在隔离网络环境中设计的自托管 AI 平台。该项目旨在通过支持在资源受限的环境中部署所有必要的 AI 组件，从而将复杂的 AI 解决方案带到这些环境中。LeapfrogAI 的服务包括向量数据库、模型后端、API 和用户界面。这些功能可以轻松接入和整合到现有的基础设施中，使得无论环境限制如何，用户都能利用 AI 的强大功能。

为什么要自建大语言模型？

大语言模型（LLMs）是用于 AI 驱动决策、内容生成等领域的强大资源。LeapfrogAI 如何将 AI 带到你的任务中呢？

数据独立性：将敏感信息发送到第三方服务可能不适合或不允许所有类型的数据或组织。通过自建 LLM，用户可以完全控制自己的数据。
可扩展性：按需付费的 AI 服务可能会变得昂贵，尤其是在涉及大量数据并需要持续连接时。运行自己的 LLM 通常能为各种规模的任务提供更具成本效益的解决方案。
任务集成：通过自建 LLM，用户可以根据自己的需求定制模型的参数和训练数据。

结构

LeapfrogAI 仓库采用了单一代码库的结构，基于一个 API，用于各个组件的独立目录。开发和最新部署用的 UDS 包存放在 bundles 目录下，项目结构如下：

leapfrogai/
├── src/
│   ├── leapfrogai_api/   # API 源代码
│   ├── leapfrogai_evals/ # LeapfrogAI 评估框架源代码
│   ├── leapfrogai_sdk/   # SDK 源代码
│   └── leapfrogai_ui/    # 用户界面源代码
├── packages/
│   ├── api/              # API 的部署基础设施
│   ├── llama-cpp-python/ # llama-cpp-python 后端的源代码和部署基础设施
│   ├── repeater/         # repeater 模型后端的源代码和部署基础设施
│   ├── supabase/         # Supabase 后端和 PostgreSQL 数据库的部署基础设施
│   ├── text-embeddings/  # 文本嵌入后端的源代码和部署基础设施
│   ├── ui/               # 用户界面部署基础设施
│   ├── vllm/             # vllm 后端的源代码和部署基础设施
│   └── whisper/          # whisper 后端的源代码和部署基础设施
├── bundles/
│   ├── dev/              # 本地 UDS 开发部署的 UDS 包
│   └── latest/           # 最新 UDS 部署的 UDS 包
├── Makefile
├── pyproject.toml
├── README.md
└── ...