local.ai

项目简介：local.ai

local.ai 是一个桌面应用，专为本地、私人、安全的人工智能实验设计。它的功能丰富，旨在为用户提供便捷、安全的AI体验。口号是：让每个网页应用都能利用AI，而无需任何开发者或用户承担成本。

项目特色

• 模型API和下载器：local.ai 提供经过验证的模型API以及模型下载器，并附带了推荐硬件规格、模型许可证、Blake3/SHA256 哈希值等详细信息，以确保用户能够快速、安全地使用。

• 笔记应用：应用内置了一个简单的笔记工具，用户可以为每篇笔记设置推理配置。所有笔记将以.mdx格式输出，方便用户进行文件管理和查看。

• 模型推理流服务器：提供类似于OpenAI的 /completion 端点，通过本地服务器实现模型推理的数据流处理。

与 window.ai 的配合使用

local.ai 设计为与 window.ai 配合使用，只需很短的时间即可搭建一个本地推理服务器。二者结合使用，可使任何网页应用能够利用强大的AI功能，而无需互相承担额外的成本。

技术基础

local.ai 利用了 Rustformers/llm rust crate 作为核心组件之一。这个组件不仅性能出色，而且十分可靠，值得用户深入了解。

如何安装

用户可以通过访问 local.ai网站 根据自己的机器架构选择下载合适的安装包，亦或是通过 GitHub发布页面 手动下载构建包。Windows 和 MacOS 的二进制文件由 Plasmo Corp. 签名，这家公司是项目作者 @louisgv 拥有的。

对于有技术能力的用户，也可以选择从源代码进行构建。

你应该知道的小趣事

包的命名

项目名 local.ai 和 LocalAI 名字相似纯属巧合。作者最初获取域名并开始项目时，并不知晓 LocalAI 项目的存在。中途发现了这一点后，选择简单地在名字中加了一个点。

许可证和社区

本项目的桌面/网页应用部分采用 GNU GPLv3 许可证，而客户端 SDK 采用 MIT 许可证。项目团队鼓励开源，并认为任何关于AI的研究和成果都应该是开放的。

local.ai 拥有活跃的社区，用户可通过 GitHub讨论 参与其中，提出问题或分享自己制作的内容。

开发指南

用户需要在本地运行项目，需要以下前置条件：

• Node.js 版本为18或更高
• Rust 版本为1.69或更高
• pnpm 版本为8或更高

只需运行以下命令即可开始开发：

git submodule update --init --recursive
pnpm i
pnpm dev

总而言之，local.ai 是一个功能强大且灵活的工具，为用户提供了一个安全、私密的本地AI实验环境。如果您对AI研发感兴趣，或者希望参与开源项目的贡献，该项目是一个绝佳的选择。