超棒的本地AI

如果你尝试过Jan桌面版并且喜欢它，请也查看以下开源和/或本地AI工具和解决方案的精彩集合。

欢迎您随时贡献！

列表

• awesome-local-llms - 开源本地LLM推理项目及其GitHub指标表。
• llama-police - Chip Huyen整理的开源LLM工具列表

推理引擎

推理UI

• oobabooga - 一个用于大型语言模型的Gradio网页界面。
• LM Studio - 发现、下载和运行本地大语言模型。
• LocalAI - LocalAI是一个即插即用的REST API替代品，兼容OpenAI API规范，用于本地推理。
• FireworksAI - 体验世界上最快的LLM推理平台，无需额外费用即可部署您自己的模型。
• faradav - 离线与AI角色聊天，本地运行，零配置。
• GPT4All - 一个免费使用、本地运行、注重隐私的聊天机器人。
• LLMFarm - 使用GGML库在iOS和MacOS上离线运行llama和其他大型语言模型。
• LlamaChat - LlamaChat允许您在Mac上本地运行LLaMa、Alpaca和GPT4All模型进行聊天。
• LLM as a Chatbot Service - 将LLM作为聊天机器人服务。
• FuLLMetalAi - Fullmetal.Ai是一个分布式的自托管大型语言模型（LLMs）网络。
• Automatic1111 - Stable Diffusion网页界面。
• ComfyUI - 一个功能强大且模块化的Stable Diffusion图形用户界面，具有图形/节点界面。
• Wordflow - 在浏览器中运行、分享和发现AI提示。
• petals - 像BitTorrent一样在家运行LLMs。微调和推理速度比卸载快10倍。
• ChatUI - 为HuggingChat应用提供支持的开源代码库。
• AI-Mask - 为网页应用提供模型推理的浏览器扩展。由web-llm和transformers.js支持。
• everything-rag - 通过易于使用的、100%本地的Gradio聊天机器人与Hugging Face Hub上的（几乎）任何LLM进行交互。
• LmScript - SGLang和Outlines的用户界面

平台/完整解决方案

• H2OAI - H2OGPT 最快、最准确的AI云平台。
• BentoML - BentoML是一个用于构建可靠、可扩展和高效的AI应用程序的框架。
• Predibase - LLMs的无服务器LoRA微调和服务。

开发者工具

• Jan Framework - Jan的核心是一个跨平台、本地优先和AI原生的应用框架，可用于构建任何东西。
• Pinecone - AI的长期记忆。
• PoplarML - PoplarML使用最少的工程努力即可部署生产就绪、可扩展的ML系统。
• Datature - 构建和部署视觉AI的一站式平台。
• One AI - 让生成式AI适用于商业。
• Gooey.AI - 创建您自己的无代码AI工作流程。
• Mixo.io - AI网站构建器。
• Safurai - AI代码助手，帮助您节省修改、优化和搜索代码的时间。
• GitFluence - 一个AI驱动的解决方案，帮助您快速找到正确的命令。立即开始使用Git命令生成器，节省时间。
• Haystack - 一个用于构建NLP应用程序（如代理、语义搜索、问答）的框架，使用语言模型。
• LangChain - 一个用于开发由语言模型驱动的应用程序的框架。
• gpt4all - 一个在大量干净的助手数据（包括代码、故事和对话）上训练的聊天机器人。
• LMQL - LMQL是一种针对大型语言模型的查询语言。
• LlamaIndex - 一个数据框架，用于构建基于外部数据的LLM应用程序。
• Phoenix - 由Arize开发的开源ML可观察性工具，在您的笔记本环境中运行。监控和微调LLM、CV和表格模型。
• trypromptly - 在几分钟内创建AI应用和聊天机器人。
• BentoML - BentoML是软件工程师构建AI产品的平台。
• LiteLLM - 使用OpenAI格式调用所有LLM API。

用户工具

• llmcord.py - Discord LLM聊天机器人 - 与您的朋友一起与LLMs交谈！

代理

• SuperAGI - 开源AGI基础设施。
• Auto-GPT - 一个试图让GPT-4完全自主的开源实验性尝试。
• BabyAGI - Baby AGI是一个使用Python开发的自主AI代理,通过OpenAI和Pinecone API运行。
• AgentGPT - 在浏览器中组装、配置和部署自主AI代理。
• HyperWrite - HyperWrite帮助你更智能、更快速、更轻松地工作。
• AI Agents - 提升你生产力的AI代理。
• AgentRunner.ai - 利用GPT-4的力量创建和训练完全自主的AI代理。
• GPT Engineer - 指定你想要构建的内容,AI会询问澄清,然后构建它。
• GPT Prompt Engineer - 自动化提示工程。它生成、测试和排序提示以找到最佳提示。
• MetaGPT - 多代理框架:给出一行需求,返回PRD、设计、任务、代码库。
• Open Interpreter - 让语言模型运行代码。让你的代理编写和执行代码。
• CrewAI - 用于编排角色扮演、自主AI代理的前沿框架。

训练

• FastChat - 用于训练、服务和评估大型语言模型的开放平台。
• DeepSpeed - DeepSpeed是一个深度学习优化库,使分布式训练和推理变得简单、高效和有效。
• BMTrain - 大型模型的高效训练。
• Alpa - Alpa是一个用于训练和服务大规模神经网络的系统。
• Megatron-LM - 正在进行的大规模训练transformer模型的研究。
• Ludwig - 用于构建自定义LLM、神经网络和其他AI模型的低代码框架。
• Nanotron - 极简的大型语言模型3D并行训练。
• TRL - 使用强化学习进行语言模型对齐。
• PEFT - 参数高效微调(LoRA、DoRA、模型合并等)

LLM排行榜

• Open LLM Leaderboard - 旨在跟踪、排名和评估发布的LLM和聊天机器人。
• Chatbot Arena Leaderboard - 一个大型语言模型(LLM)的基准平台,以众包方式进行匿名、随机对战。
• AlpacaEval Leaderboard - 一个自动评估遵循指令的语言模型的工具。
• LLM-Leaderboard-streamlit - 一个联合社区努力为LLM创建一个中心排行榜。
• lmsys.org - 使用Elo评级对野外LLM进行基准测试。

研究

• 注意力就是一切(2017):介绍了原始的transformer模型。它有助于序列到序列的任务,如机器翻译。[论文]
• BERT:用于语言理解的深度双向Transformers预训练(2018):有助于语言建模和预测任务。[论文]
• FlashAttention:具有IO感知的快速且内存高效的精确注意力机制(2022):改进transformer的机制。[论文]
• 通过生成式预训练提高语言理解(2019):OpenAI关于GPT的论文。[论文]
• Cramming:在一天内用单个GPU训练语言模型(2022):论文专注于一种使用最少计算能力提高性能的方法。[论文]
• LaMDA:对话应用的语言模型(2022):LaMDA是谷歌基于Transformer的神经语言模型系列。[论文]
• 通过人类反馈训练语言模型遵循指令(2022):使用人类反馈来对齐LLM。[论文]
• TurboTransformers:Transformer模型的高效GPU服务系统(PPoPP'21) [论文]
• 大型语言模型的快速分布式推理服务(arXiv'23) [论文]
• 基于CPU的Transformer语言模型的高效稀疏推理软件加速器(arXiv'23) [论文]
• 使用分阶段推测解码加速LLM推理(arXiv'23) [论文]
• ZeRO:面向训练万亿参数模型的内存优化(SC'20) [论文]
• TensorGPT:基于张量列分解的LLM嵌入层高效压缩 2023 [论文]

社区

• LocalLLaMA
• 奇点
• ChatGPT编程
• 稳定扩散
• Hugging Face
• JanAI
• oobabooga
• GPT4
• 人工智能
• CrewAI