Modelz LLM: 开源大语言模型的OpenAI兼容API服务

modelz-llm

Modelz LLM:为开源大语言模型提供OpenAI兼容API

在人工智能和自然语言处理领域,大语言模型(Large Language Models, LLMs)正在引领一场革命。随着GPT、BERT等模型的出现,LLMs展现出了惊人的能力,可以执行各种复杂的语言任务。然而,部署和使用这些庞大的模型往往需要大量的资源和专业知识。为了让更多开发者能够便捷地利用开源LLMs的力量,Modelz LLM应运而生。

Modelz LLM简介

Modelz LLM是一个创新的开源项目,旨在为开源大语言模型提供OpenAI兼容的API接口。它的核心目标是简化LLMs的使用过程,让开发者能够像使用OpenAI的API一样轻松地与各种开源大语言模型进行交互。

这个项目由TensorChord团队开发,目前在GitHub上已获得超过260颗星。它支持多种流行的开源LLMs,如FastChat、LLaMA、ChatGLM等,可以在本地环境或云端灵活部署。

主要特性

Modelz LLM具有以下几个突出的特点:

OpenAI兼容API: 提供与OpenAI API格式相同的接口,让开发者可以无缝迁移已有的OpenAI项目到开源模型。
支持多种开源LLMs: 涵盖了FastChat、LLaMA、ChatGLM等主流开源大语言模型。
灵活部署: 支持在本地机器或云端环境中部署,满足不同场景的需求。
云原生设计: 提供了各种LLMs的Docker镜像,方便在Kubernetes等云平台上部署。
易于集成: 可以轻松与OpenAI Python SDK或Langchain等流行工具集成。

快速上手

要开始使用Modelz LLM,您可以按照以下步骤操作:

安装Modelz LLM:

pip install modelz-llm

启动API服务:

modelz-llm -m bigscience/bloomz-560m --device cpu

使用OpenAI Python SDK调用:

import openai
openai.api_base = "http://localhost:8000"
openai.api_key = "any"

# 创建聊天完成
chat_completion = openai.ChatCompletion.create(
    model="any", 
    messages=[{"role": "user", "content": "Hello world"}]
)

支持的模型

Modelz LLM目前支持多种大语言模型,以下是部分支持的模型列表:

模型名称	Huggingface模型	Docker镜像	推荐GPU
FastChat T5	lmsys/fastchat-t5-3b-v1.0	modelzai/llm-fastchat-t5-3b	Nvidia L4(24GB)
Vicuna 7B Delta V1.1	lmsys/vicuna-7b-delta-v1.1	modelzai/llm-vicuna-7b	Nvidia A100(40GB)
LLaMA 7B	decapoda-research/llama-7b-hf	modelzai/llm-llama-7b	Nvidia A100(40GB)
ChatGLM 6B INT4	THUDM/chatglm-6b-int4	modelzai/llm-chatglm-6b-int4	Nvidia T4(16GB)
ChatGLM 6B	THUDM/chatglm-6b	modelzai/llm-chatglm-6b	Nvidia L4(24GB)
Bloomz 560M	bigscience/bloomz-560m	modelzai/llm-bloomz-560m	CPU

Modelz LLM支持的模型

与Langchain集成

Modelz LLM不仅可以直接使用OpenAI SDK调用,还可以轻松地与Langchain等流行的AI应用开发框架集成。以下是一个简单的示例:

import openai
openai.api_base = "http://localhost:8000"
openai.api_key = "any"

from langchain.llms import OpenAI

llm = OpenAI()

llm.generate(prompts=["Could you please recommend some movies?"])