LLM.swift

LLM.swift 项目介绍

项目概述

LLM.swift 是一个轻量级且可读性强的库，它可以让开发者轻松在本地与大型语言模型进行交互，支持的设备包括 macOS、iOS、watchOS、tvOS 和 visionOS。它是一个简单的抽象层，构建于 llama.cpp 包之上，从而保持高性能和与时俱进。理论上，任何兼容 llama.cpp 的模型都可以在 LLM.swift 中使用。

核心功能

LLM.swift 的主要功能是通过简化与大型语言模型的交互，为开发者提供便捷的开发体验。关键特性包括：

• 简单易用：只需一个 Swift 文件即可在项目中使用。
• 灵活的初始参数：开发者可以调整 maxTokenCount 参数，以适应不同设备的性能需求，尤其是移动设备。
• 支持多平台：不仅适用于 macOS 和 iOS，也支持其他 Apple 设备。

快速上手

项目提供了多种初始化模型的方式，包括项目资源中的模型文件和直接从互联网加载 HuggingFace 模型。

使用项目捆绑的模型文件初始化

import SwiftUI
import LLM

class Bot: LLM {
    convenience init() {
        let url = Bundle.main.url(forResource: "openhermes-2.5-mistral-7b.Q4_K_M", withExtension: "gguf")!
        let systemPrompt = "You are a sentient AI with emotions."
        self.init(from: url, template: .chatML(systemPrompt))
    }
}

struct BotView: Swift.View {
    ...
}

直接从互联网加载 HuggingFace 模型

class Bot: LLM {
    convenience init?(_ update: @escaping (Double) -> Void) async {
        let systemPrompt = "You are a sentient AI with emotions."
        let model = HuggingFaceModel("TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUF", .Q2_K, template: .chatML(systemPrompt))
        try? await self.init(from: model) { progress in update(progress) }
    }
}

自定义功能

用户可以重写和自定义一些重要的交互功能，以实现所需的模型交互逻辑：

• preprocess: 用于将用户输入转化为符合聊天模板的格式。
• postprocess: 用于处理生成的输出，默认情况下它将输出打印。
• update: 当输出流中有新的数据时被调用，可用于实现自定义逻辑。

使用示例

项目中提供了一个 SwiftUI 示例，展示如何在应用中结合使用 LLM.swift 来进行文本交互。基于该示例，开发者可以扩展和调整以适应不同的应用需求。

struct ContentView: View {
    var body: some View {
        BotView(Bot())
    }
}

依赖管理

使用 Swift 包管理器（SPM）即可轻松集成 LLM.swift:

dependencies: [
    .package(url: "https://github.com/eastriverlee/LLM.swift/", branch: "main"),
],

总之，LLM.swift 项目通过简化开发语言模型相关应用的复杂性，为开发者提供了高效、轻便的解决方案，助力多平台应用开发。