Heat

项目介绍：Heat

Heat 项目旨在让更多人体验开源的 LLM（大型语言模型）。它是一个开源的原生 iOS 和 macOS 客户端，用于与目前最受欢迎的 LLM 服务进行互动。与 Heat 配套的另一个项目是 Swift GenKit，这个项目致力于整合不同服务平台（如 OpenAI、Mistral、Perplexity、Anthropic）以及 Ollama 提供的所有本地运行的模型。

功能特点

Heat 提供了一系列强大的功能：

• 支持的 LLM 服务：兼容目前市场上流行的 LLM 供应商，包括 OpenAI、Mistral、Anthropic 和 Gemini。
• 本地运行支持：支持通过 Ollama 在本地运行开源的 LLM。
• 图像生成：支持 Stable Diffusion 和 Dall-e 的图像生成。
• 快捷启动：设计了类似于 Spotlight 的启动功能，使用 <kbd>Option</kbd>+<kbd>Space</kbd> 快捷键。
• 多步骤工具使用：适用于支持此功能的模型。
• 网络搜索与浏览：通过网络搜索和浏览提高响应准确性。
• 日历读取与理解：可以读取和理解日历信息。
• 文件系统搜索：只支持桌面设备。
• 基础记忆持久化：保持基础信息记忆。
• 无服务器依赖：除了对模型的访问需求外，无需其他服务器依赖。

本地安装指南

要在本地安装 Heat，用户可以遵循以下步骤：

1. 在 Xcode 中构建并运行应用。
2. 在偏好设置中导航到“模型服务”，提供相关服务的 API 密钥。
3. 选择您想使用的模型，亦可使用默认模型。
4. 在偏好设置中设置希望为每种情况使用的服务。可以根据需要设定多种服务。

与 Ollama 本地运行

如果希望使用 Ollama 在本地运行 Heat，以下是具体步骤：

1. 安装 Ollama 并下载一些需要的模型。
2. 运行 Ollama 服务器，命令为 ollama serve。
3. 在 Preferences > Model Services 中设置 Ollama 服务。
4. 通过偏好设置选择要用 Ollama 的优先服务。

若需在 iOS 设备上运行该应用，需了解运行 Ollama 服务器的计算机的本地 IP 地址，一般格式为 10.0.0.XXX。在 Preferences > Services > Ollama 中可以设置 IP，只要保持在本地网络内即可。有时 Ollama 的默认端口 11434 不可用，需要更改为 8080 并手动运行服务器： OLLAMA_HOST=0.0.0.0:8080 ollama serve

未来展望

最初，该项目的计划是让模型可以在设备上运行，因此取名为 Heat，因为设备可能会因此发热。然而，由于技术难度，目前暂时未能实现。当时机成熟，项目计划将再次关注此目标。