LLM-VM

项目介绍：LLM-VM

Anarchy Labs 的 LLM-VM 是什么？

LLM-VM 是 Anarchy Labs 开发的一个开放源码项目，旨在为大型语言模型（LLMs）提供强大的后端支持。这一工具集合整合了现代语言处理技术，通过提供工具使用、持久化状态记忆、实时数据增强、数据及任务微调、输出模板化、网络游乐场、API 端点、师生蒸馏、数据合成、负载均衡及编排、大上下文窗口模拟等功能，使得运行 LLMs 变得更加高效便捷。

简而言之，LLM-VM 如同一个语言虚拟机或解释器，高效协调数据、模型（CPU）、提示（代码）以及工具（IO）之间的运作，以便在同一平台上优化群集调用，不仅节省开支，同时在架构无关的情况下优化所选模型。

为什么使用 Anarchy LLM-VM？

LLM-VM 的核心宗旨在于支持开源语言模型，通过本地运行这些模型，用户可以获得诸多好处：

加速 AGI 开发： 只需一个接口，即可操作最新的 LLMs。
降低成本： 本地运行模型大大减少了开发和测试的按次付费成本。
灵活性： 能够快速切换不同的流行模型，精确匹配项目需求。
社区参与： 加入一个充满热情和动力的开发者社区，共同推动 AGI 的民主化。
透明高效： 开源意味着一切透明，您可以专注于构建，而无需担心隐藏信息。

特色与路线图

隐式代理支持： LLM-VM 通过代理，如 REBEL，仅需提供工具描述即可支持外部工具。
推理优化： 从代理级别到已知 LLM 架构，LLM-VM 进行了各个层次的优化，以提供最高效的框架。
任务自动优化： 分析您的用例并通过学生-教师模型蒸馏以及数据合成技术提升重复任务的效率。
可调用库： 提供一个可以从任何 Python 代码库直接调用的库。
HTTP 端点： 提供一个独立的 HTTP 服务器来处理补全请求。
实时数据增强（路线图）： 将可更新的数据集提供给 LLM-VM，以对模型进行微调或与向量数据库协作。
网络游乐场（路线图）： 从浏览器中即可运行并测试 LLM-VM 的输出。
负载均衡和编排（路线图）： 自动确定哪种 LLM 或提供商在何时工作以优化系统正常运行时间或成本。
输出模板化（路线图）： 确保 LLM 仅以特定格式输出数据，并使用正则表达式、LMQL 或 OpenAI 模板语言填充变量。
持久状态记忆（路线图）： 可以记住用户的对话历史记录并做出相应的反应。

快速入门

需求

安装 LLM-VM 需要 Python 3.10 及以上版本。

安装

在 Python 环境中使用以下命令快速安装：

pip install llm-vm

或者从 GitHub 仓库克隆并安装：

git clone https://github.com/anarchy-ai/LLM-VM.git
cd LLM-VM
./setup.sh

生成补全

安装后，运行以下简单代码即可与本地的流行 LLMs 直接工作：

from llm_vm.client import Client

client = Client(big_model='chat_gpt')
response = client.complete(prompt='What is Anarchy?', context='', openai_key='ENTER_YOUR_API_KEY')
print(response)