Chatty: 在浏览器中运行的私密AI聊天工具

Chatty:你的私密浏览器AI助手

在人工智能快速发展的今天,如何在享受AI带来便利的同时保护自己的隐私,成为了许多用户关心的问题。Chatty作为一款创新的浏览器AI聊天工具,为这个问题提供了一个优雅的解决方案。它利用WebGPU技术在浏览器中本地运行大型语言模型,让用户能够在自己的设备上进行AI交互,无需将数据传输到外部服务器,从而最大限度地保护了用户隐私。

强大的本地AI能力

Chatty最引人注目的特点是它能够在浏览器中本地运行大型语言模型(LLMs)。这意味着所有的AI处理都在用户自己的硬件上完成,数据不会离开用户的设备。这种设计不仅保护了用户隐私,还带来了离线使用的可能性 - 一旦模型下载完成,用户就可以在没有网络连接的情况下使用Chatty。

目前,Chatty支持多种流行的开源模型,如Gemma、Llama2和3以及Mistral。这些模型涵盖了不同的规模和特点,用户可以根据自己的需求和硬件条件选择合适的模型。值得注意的是,运行这些模型需要一定的硬件配置,比如7B参数的模型需要约6GB的GPU内存,而3B参数的模型则需要约3GB。

丰富的功能特性

除了强大的本地AI能力,Chatty还提供了一系列实用的功能,让用户获得接近主流AI聊天界面的使用体验:

直观的用户界面: Chatty的界面设计借鉴了Gemini和ChatGPT等流行AI界面,让用户能够快速上手。
聊天历史记录: 用户可以方便地访问和管理过去的对话记录。
Markdown和代码高亮: AI返回的消息如果包含Markdown格式或代码片段,会自动进行渲染和高亮显示。
文件对话: 用户可以上传PDF和其他非二进制文件(甚至包括代码文件),然后就这些文件内容向AI提问。这个过程完全在本地完成,文件不会被上传到外部服务器。
自定义记忆: 用户可以添加自定义指令或记忆,让AI提供更加个性化的回答。
对话导出: 支持将聊天记录以JSON或Markdown格式导出保存。
语音输入: 支持通过语音与AI模型进行交互。
响应重生成: 如果对AI的回答不满意,用户可以快速要求重新生成,而无需重新输入问题。
明暗主题切换: 提供亮色和暗色两种主题模式,满足不同用户的偏好。

Chatty界面预览

隐私保护与数据安全

Chatty的设计理念将用户隐私放在首位。由于所有的AI处理都在本地完成,用户的对话内容和上传的文件都不会离开自己的设备。这种设计不仅保护了用户的敏感信息,还让用户能够在没有网络连接的情况下使用AI助手,非常适合需要在保密环境中工作的场景。

技术实现与开源贡献

Chatty项目是基于WebLLM技术构建的,同时利用了HuggingFace和LangChain等开源工具。项目本身也是开源的,欢迎开发者参与贡献。如果你对项目感兴趣,可以访问Chatty的GitHub仓库了解更多信息。

使用指南

要开始使用Chatty,你有两种选择:

在线体验: 访问https://chattyui.com/即可直接使用Chatty。
本地安装: 如果你想在本地运行Chatty,需要先确保你的系统安装了Node.js 18+和npm。然后按以下步骤操作:
```
git clone https://github.com/addyosmani/chatty
cd chatty
npm install
npm run dev
```
完成后,打开浏览器访问 http://localhost:3000 即可开始使用。

未来展望

Chatty团队计划在未来添加更多功能,包括:

支持同时嵌入多个文件,而不是每个会话只能处理一个文件。
引入提示管理系统,让用户可以快速选择和添加不同的系统提示。

结语

Chatty为用户提供了一种新的AI交互方式,将强大的语言模型能力带到了用户的浏览器中。它不仅保护了用户隐私,还提供了丰富的功能和直观的界面,让AI辅助变得更加安全、便捷。无论你是隐私敏感的用户,还是对AI技术感兴趣的开发者,Chatty都值得一试。随着WebGPU技术的进一步普及和优化,我们可以期待看到更多像Chatty这样创新的浏览器AI应用,为用户带来更安全、更私密的AI体验。