LLMFarm_core.swift

LLMFarm_core是一个用于处理大型语言模型（LLM）的Swift库。它允许你以特定参数加载不同的LLM。<br> 基于Georgi Gerganov开发的ggml和llama.cpp。

同时也使用了以下来源的代码：

• saharNooby开发的rwkv.cpp。
• byroneverson开发的Mia。

特性

• MacOS (13+)
• iOS (16+)
• 多种推理方式
• 多种采样方法
• Metal（在Intel Mac上不工作）
• 模型设置模板
• 支持LoRA适配器（详情）
• 支持LoRA训练
• 支持将LoRA导出为模型
• 恢复上下文状态（目前仅支持聊天历史）

推理方式

• LLaMA <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/59781859-4043-418c-953f-b75381a89bc0.png" width="16px" heigth="16px">
• GPTNeoX
• Replit
• GPT2 + Cerebras <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/59781859-4043-418c-953f-b75381a89bc0.png" width="16px" heigth="16px">
• Starcoder(Santacoder) <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/59781859-4043-418c-953f-b75381a89bc0.png" width="16px" heigth="16px">
• RWKV（20B分词器）
• Falcon <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/59781859-4043-418c-953f-b75381a89bc0.png" width="16px" heigth="16px">
• MPT <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/59781859-4043-418c-953f-b75381a89bc0.png" width="16px" heigth="16px">
• Bloom <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/59781859-4043-418c-953f-b75381a89bc0.png" width="16px" heigth="16px">
• StableLM-3b-4e1t <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/59781859-4043-418c-953f-b75381a89bc0.png" width="16px" heigth="16px">
• Qwen <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/59781859-4043-418c-953f-b75381a89bc0.png" width="16px" heigth="16px">
• Yi模型系列 <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/59781859-4043-418c-953f-b75381a89bc0.png" width="16px" heigth="16px">
• Deepseek模型系列 <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/59781859-4043-418c-953f-b75381a89bc0.png" width="16px" heigth="16px">
• Mixtral MoE <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/59781859-4043-418c-953f-b75381a89bc0.png" width="16px" heigth="16px">
• PLaMo-13B <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/59781859-4043-418c-953f-b75381a89bc0.png" width="16px" heigth="16px">

注意：对于Falcon、Alpaca、GPT4All、中文LLaMA / Alpaca和中文LLaMA-2 / Alpaca-2、Vigogne（法语）、Vicuna、Koala、OpenBuddy（多语言）、Pygmalion/Metharme、WizardLM、百川1 & 2及其衍生版本、Aquila 1 & 2、Mistral AI v0.1、Refact、Persimmon 8B、MPT、Bloom，请在模型设置中选择"llama推理"。

采样方法

• 温度采样（温度、tok-k、top-p）
• 无尾采样 (TFS)
• 局部典型采样
• Mirostat
• 贪婪采样
• 语法采样（不适用于GPTNeoX、GPT-2、RWKV）
• 无分类器引导采样

安装

git clone https://github.com/guinmoon/llmfarm_core.swift

Swift包管理器

使用Xcode（文件 > 添加包...）将llmfarm_core添加到您的项目中，或通过在项目的Package.swift文件中添加以下内容：

dependencies: [
  .package(url: "https://github.com/guinmoon/llmfarm_core.swift")
]

构建和调试

要调试llmfarm_core包，请记得在Package.swift中注释掉.unsafeFlags(["-Ofast"])。 请注意，调试版本比发布版本运行速度慢。

要构建支持QKK_64的版本，请在Package.swift中取消注释.unsafeFlags(["-DGGML_QKK_64"])。

使用方法

查看演示项目中的示例

基于此库的项目

• LLM Farm

一款可在iOS和MacOS上本地运行LLaMA和其他大型语言模型的应用。