hal-9100

项目介绍：HAL-9100

项目概述

HAL-9100 是一个旨在构建无需互联网连接的 AI 助手的项目。它使用 OpenAI SDK，专为生产环境设计。这些助手不仅保证了 100% 的隐私，还降低了 75% 的成本且速度提升了 23 倍。该项目正在进行大规模重构，因此信息可能会有所更新。

关键特点

• 代码解析器：能够在沙箱环境中自主生成和运行 Python 代码（测试版）。
• 知识检索：可自主检索外部知识或文档。
• 函数调用：能够自主定义和执行自定义函数。
• 动作执行：可以自主向外部 API 发出请求。
• 文件支持：支持多种文件格式。
• OpenAI 兼容：与 OpenAI (Assistants) SDK 兼容。

适用对象

• 希望增强定制化：例如，使用自己的模型或扩展 API 的用户。
• 在数据敏感环境中工作的人：如医疗、物联网、军事或法律领域。
• 产品在无或不良网络环境中运行的组织：如军事、物联网、边缘计算或极端环境。
• 大规模运营希望降低成本或提升速度的企业（非主要目标）。

软件 3.0 定义

HAL-9100 提出了一种连接大规模语言模型认知能力与人类数字活动实际需求的桥梁，这就是“软件 3.0”。它强调大规模语言模型能够在数字世界中执行与人类同等甚至更好的活动，并且通常允许用户无需有意识地进行更多操作。

原则

• 更少的提示是更多：尽可能少的提示硬编码到基础设施中，以便客户对提示有最大的控制权。
• 边缘优先：HAL-9100 不需要互联网，因为它专注于开源 LLMs，确保数据和模型完全由用户拥有。
• OpenAI 兼容：充分利用 OpenAI 的设计经验，但支持并不是优先任务。
• 可靠和确定性：专注于默认情况下的可靠性和确定性，因此所有内容都需要测试和基准。
• 灵活性：具备最小的硬编码提示和行为，支持多种模型、基础设施组件和部署选项，同时融入开放源码生态系统。

快速上手

用户可以通过 GitHub Codespaces 快速开始，也可以通过克隆代码库和使用 Anyscale API 快速启动基础设施。

git clone https://github.com/llm-edge/hal-9100
cd hal-9100
npm i openai
docker compose --profile api -f docker/docker-compose.yml up
node examples/quickstart.js

常见问题解答

• HAL-9100 是一个软件，不是托管服务，但可以在用户的基础设施上部署。
• 支持多种 API，例如 ollama、MLC-LLM 和 Perplexity API 等。
• 与 LangChain 的区别在于 HAL-9100 更专注于边缘设备的“软件 3.0”应用。
• HAL-9100 与 OpenAI 无关，但建议使用 Assistants API 以获得更流畅的体验。

HAL-9100 是一个灵活且创新的项目，致力于为边缘计算提供强大的 AI 能力，而不依赖于互联网连接。它为那些需要高隐私、低成本、高效率的用户提供了自由和灵活性，是未来软件发展的一个重要方向。