LLMFarm

<p align="center"> <a href="https://apps.apple.com/ru/app/llm-farm/id6461209867?l=en-GB&platform=iphone"><img width="178px" alt="图标" src="https://yellow-cdn.veclightyear.com/0a4dffa0/8615940d-f1fb-4b57-9c9b-69d1206338c1.png"></a> <a href="https://testflight.apple.com/join/6SpPLIVM"><img width="178px" alt="图标" src="https://yellow-cdn.veclightyear.com/0a4dffa0/b7a9e0c0-ea84-4bcb-8d84-9c75ac597fe7.png"></a> </p> <p align="center"> <a href="https://apps.apple.com/ru/app/llm-farm/id6461209867?l=en-GB&platform=iphone"><strong>安装稳定版</strong></a>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; <a href="https://testflight.apple.com/join/6SpPLIVM"><strong>安装最新版</strong></a> </p> <br> <p align="center"> <a href="https://t.me/llmfarm_chat"><img alt="图标" height="32" src="https://yellow-cdn.veclightyear.com/0a4dffa0/5ee2f8ec-ecc0-4522-9757-0ede8f83ef84.png"></a>&nbsp;&nbsp;&nbsp;&nbsp; <a href="https://www.youtube.com/@LLMFarm-lib"><img alt="图标" height="32" src="https://yellow-cdn.veclightyear.com/0a4dffa0/7d11548c-e221-4a45-89e6-968621feb310.png"></a>&nbsp;&nbsp;&nbsp;&nbsp; <a href="https://boosty.to/llmfarm"><img alt="图标" height="32" src="https://yellow-cdn.veclightyear.com/0a4dffa0/e0ed5ddf-afc9-485c-b3bf-b357979e3541.png"></a>&nbsp;&nbsp;&nbsp;&nbsp; <a href="https://llmfarm.site"><img alt="图标" height="32" src="https://yellow-cdn.veclightyear.com/0a4dffa0/a2a3a4da-0595-4d71-8131-88004c488141.png"></a>&nbsp;&nbsp;&nbsp;&nbsp; <a href="https://github.com/guinmoon/LLMFarm/wiki"><img alt="Wiki" height="32" src="https://yellow-cdn.veclightyear.com/0a4dffa0/e8da01ce-af9b-4cde-aa0b-968bbb5c3fb9.png"></a> </p> <p align="center"> <img alt="图标" height="440px" src="https://yellow-cdn.veclightyear.com/0a4dffa0/1be40954-9b7e-41fe-b68b-bf1ae7927e96.png">&nbsp;&nbsp; <img alt="图标" width="540px" src="https://yellow-cdn.veclightyear.com/0a4dffa0/9b782399-7f95-4574-a29d-63bf5bf0898c.png"> </p>

---

LLMFarm是一款用于处理大型语言模型（LLM）的iOS和MacOS应用。它允许您使用特定参数加载不同的LLM。通过LLMFarm，您可以在iOS和macOS上测试不同LLM的性能，并为您的项目找到最合适的模型。<br> 基于Georgi Gerganov开发的ggml和llama.cpp。

还使用了以下来源的代码：

• saharNooby的rwkv.cpp
• byroneverson的Mia
• alexrozanski的LlamaChat

功能特性

• MacOS（13+）
• iOS（16+）
• 多种推理方式
• 多种采样方法
• Metal（在Intel Mac上不工作）
• 模型设置模板
• 支持LoRA适配器
• 支持LoRA微调
• 支持将LoRA导出为模型
• 恢复上下文状态
• Apple快捷指令

推理方式

• <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/d72d3ca1-b4bb-4098-a85a-e11471e314b5.png" width="16px" heigth="16px"> LLaMA 1,2,3
• <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/d72d3ca1-b4bb-4098-a85a-e11471e314b5.png" width="16px" heigth="16px"> Gemma
• <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/d72d3ca1-b4bb-4098-a85a-e11471e314b5.png" width="16px" heigth="16px"> Phi 模型
• <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/d72d3ca1-b4bb-4098-a85a-e11471e314b5.png" width="16px" heigth="16px"> GPT2 + Cerebras
• <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/d72d3ca1-b4bb-4098-a85a-e11471e314b5.png" width="16px" heigth="16px"> Starcoder(Santacoder)
• <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/d72d3ca1-b4bb-4098-a85a-e11471e314b5.png" width="16px" heigth="16px"> Falcon
• <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/d72d3ca1-b4bb-4098-a85a-e11471e314b5.png" width="16px" heigth="16px"> MPT
• <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/d72d3ca1-b4bb-4098-a85a-e11471e314b5.png" width="16px" heigth="16px"> Bloom
• <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/d72d3ca1-b4bb-4098-a85a-e11471e314b5.png" width="16px" heigth="16px"> StableLM-3b-4e1t
• <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/d72d3ca1-b4bb-4098-a85a-e11471e314b5.png" width="16px" heigth="16px"> Qwen
• <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/d72d3ca1-b4bb-4098-a85a-e11471e314b5.png" width="16px" heigth="16px"> Yi 模型
• <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/d72d3ca1-b4bb-4098-a85a-e11471e314b5.png" width="16px" heigth="16px"> Deepseek 模型
• <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/d72d3ca1-b4bb-4098-a85a-e11471e314b5.png" width="16px" heigth="16px"> Mixtral MoE
• <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/d72d3ca1-b4bb-4098-a85a-e11471e314b5.png" width="16px" heigth="16px"> PLaMo-13B
• <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/d72d3ca1-b4bb-4098-a85a-e11471e314b5.png" width="16px" heigth="16px"> Mamba
• RWKV (20B 分词器)
• GPTNeoX
• Replit

多模态

• LLaVA 1.5 模型, LLaVA 1.6 模型
• BakLLaVA
• Obsidian
• ShareGPT4V
• MobileVLM 1.7B/3B 模型
• Yi-VL
• Moondream

注意：对于 Falcon, Alpaca, GPT4All, 中文 LLaMA / Alpaca 和中文 LLaMA-2 / Alpaca-2, Vigogne (法语), Vicuna, Koala, OpenBuddy (多语言), Pygmalion/Metharme, WizardLM, Baichuan 1 & 2 及其衍生版本, Aquila 1 & 2, Mistral AI v0.1, Refact, Persimmon 8B, MPT, Bloom，请在模型设置中选择 llama inferece。

采样方法

• 温度采样 (温度, top-k, top-p)
• 无尾采样 (TFS)
• 局部典型采样
• Mirostat
• 贪婪采样
• 语法采样 (不适用于 GPTNeoX, GPT-2, RWKV)
• 无分类器引导

入门指南

您可以在 FAQ 部分 找到一些问题的答案。

推理选项

创建聊天时，会生成一个 JSON 文件，您可以在其中指定额外的推理选项。聊天文件位于 "chats" 目录中。您可以在这里查看所有推理选项。

模型

您可以在这里下载一些支持的模型。

开发

llmfarm_core 已移至单独的仓库。要构建 llmfarm，您需要递归克隆此仓库：

git clone --recurse-submodules https://github.com/guinmoon/LLMFarm

❤️ 支持项目