懂AI
OpenLLMWiki

OpenLLMWiki

开源ChatGPT项目调研与实现指南

ChatPiXiu是一个综合性的开源ChatGPT项目，提供了详细的模型调研和实现指南。该项目涵盖60多个开源ChatGPT替代方案和20多个基础模型，包含通用实现和领域适配两个主要分支。项目还提供了丰富的技术文档，为开发者提供了重要的参考资源。

ChatPiXiu开源ChatGPTLLaMAOpenNLP大语言模型Github开源项目
访问官网GitHub论文文档
<div style="font-size: 1.5rem;"> <a href="./README.md">中文</a> | <a href="./readme_en.md">English</a> </div> </br> <h1 align="center">ChatPiXiu</h1> <div align="center"> <a href="https://github.com/catqaq/ChatPiXiu"> <img src="./docs/imgs/pixiu.png" alt="Logo" height="210"> </a> <p align="center"> <h3>ChatPiXiu: Eat every ChatGPT - Output your own chatbot.</h3> <a href="https://github.com/catqaq/ChatPiXiu/graphs/contributors"> <img alt="GitHub Contributors" src="https://img.shields.io/github/contributors/catqaq/ChatPiXiu" /> </a> <a href="https://github.com/catqaq/ChatPiXiu/issues"> <img alt="Issues" src="https://img.shields.io/github/issues/catqaq/ChatPiXiu?color=0088ff" /> </a> <a href="https://github.com/catqaq/ChatPiXiu/discussions"> <img alt="Issues" src="https://img.shields.io/github/discussions/catqaq/ChatPiXiu?color=0088ff" /> </a> <a href="https://github.com/catqaq/ChatPiXiu/pulls"> <img alt="GitHub pull requests" src="https://img.shields.io/github/issues-pr/catqaq/ChatPiXiu?color=0088ff" /> <a href="https://github.com/catqaq/ChatPiXiu/stargazers"> <img alt="GitHub stars" src="https://img.shields.io/github/stars/catqaq/ChatPiXiu?color=ccf" /> </a> <br/> <em>开源ChatGPT / 全面 / 轻量 / 易用 </em> <br/> <a href="https://zhuanlan.zhihu.com/p/622065348/"><strong>文章解读</strong></a> · <a href="https://zhuanlan.zhihu.com/p/622065348"><strong>视频解读</strong></a> </p> </p> </div>

代码开源，大家放心使用，欢迎贡献! 注意：模型的license取决于模型提供方

最新讯息

  • 2023/04/14：ChatPiXiu项目正式启动：
    • 开源ChatGPT平替调研汇总
  • 2023/05/15：60+开源项目，20+基础模型
  • 2023/08/21：由羡鱼的个人项目catqaq迁移至OpenLLMAI

OpenNLP计划

我们是谁？

我们是羡鱼智能【xianyu.ai】，主要成员是一群来自老和山下、西湖边上的咸鱼们，塘主叫作羡鱼，想在LLMs时代做点有意义的事！我们的口号是：做OpenNLP和OpenX！希望在CloseAI卷死我们之前退出江湖！

也许有一天，等到GPT-X发布的时候，有人会说NLP不存在了，但是我们想证明有人曾经来过、热爱过！在以ChatGPT/GPT4为代表的LLMs时代，在被CloseAI卷死之前，我们发起了OpenNLP计划，宗旨是OpenNLP for everyone!

  • 【P0】OpenTextClassification：打造一流的文本分类项目，已开源
    • 综述：done
    • 开源项目：done
    • papers解读：doing
    • 炼丹术：done
  • 【P0】OpenSE：句嵌入，自然语言处理的核心问题之一，doing
  • 【P0】ChatPiXiu：ChatGPT开源平替及领域适应，doing
  • 【P1】OpenLLMs：大语言模型，doing
  • 【P2】OpenTextTagger：文本标注，分词、NER、词性标注等
  • OpenX：任重而道远

ChatPiXiu项目

ChatPiXiu项目为OpenNLP计划的第2个正式的开源项目，旨在Open ChatGPT for everyone！在以ChatGPT/GPT4为代表的LLMs时代，在被OpenAI卷死之前，做一点有意义的事情！未来有一天，等到GPT-X发布的时候，或许有人会说NLP不存在了，但是我们想证明有人曾来过！

1.开发计划

本项目的开发宗旨，打造全面且实用的ChatGPT模型库和文档库。Eat every ChatGPT - Output your own chatbot!

目前我们正在启动V1版本的开发，整体的开发计划如下，主要包括了文档和代码两类任务，数据的部分我们暂时将其分散到了各个子任务中。

V1版本：资料调研+通用最小实现+领域/任务适配

1.1 文档分支

文档分支主要负责项目文档的建设，包括通用技术文档和项目相关文档。

dev_for_docs：文档分支，主要负责资料调研（算力有限，有调查才有训练权）：

  1. 【P0】开源ChatGPT调研：持续更新，doing
  2. 【P0】训练技术调研：持续更新，doing
  3. 【P0】数据调研：doing
  4. 【P1】部署技术调研：TODO
  5. 【P2】基础模型调研：目前以LLaMA和GLM为主，doing
  6. 【P3】技术解读/教程：doing

1.2 代码分支

代码分支，负责具体的开发工作，包括数据处理、算法开发、算法评测等，分成通用最小实现和领域/任务适应两种，具体的：

dev_for_chatmini：通用最小实现分支，尽可能支持不同的基础模型和训练方式，提供可比较的实现。

  1. 【P0】ChatGPT最小复现：完整的RLHF复现SFT-RM-PPO，doing
  2. 【P0】适配不同的基座模型
  3. 适配不同的PEFT算法
  4. 【P2】探索新的训练方式
  5. 【P3】探索知识迁移：比如蒸馏

dev_for_chatzhihu：知乎及问答领域适配，主要想解决一些知乎使用过程中的痛点，比如问题冗余、回答太多等等。

  1. 【P0】收集知乎数据收集及处理
    1. SFT数据
    2. RLHF数据：答案打分
    3. 摘要数据：答案/观点汇总、摘要
  2. 【P0】基于知乎数据做SFT
  3. 【P1】基于知乎数据做RLHF
  4. 【P2】输出知乎LoRA
  5. 【P3】和知乎热榜聊天的demo

dev_for_chatzhangsan：法律领域适配，张三犯了什么罪？

  1. 【P0】法律领域数据收集及处理
  2. 法律条文解释
  3. 【P1】罪名判定：张三犯了什么罪？

更多领域，敬请期待！

ChatPiXiu-Eat every ChatGPT - Output your own chatbot!

2.加入我们

OpenNLP计划的其他内容尚在筹备中，暂时只开源了本项目和OpenTextClassification项目。欢迎大家积极参与ChatPiXiu的建设和讨论，一起变得更强！

加入方式：

  • 项目建设：可以在前面列出的开发计划中选择自己感兴趣的部分进行开发，建议优先选择高优先级的任务。包括资料调研和算法开发等工作。
  • OpenLLM技术交流群：知识在讨论中发展，QQ群：740679327
  • 技术分享和讨论：输出倒逼输入，欢迎投稿，稿件会同步到本项目的docs目录和知乎专栏OpenNLP. 同时也欢迎大家积极的参与本项目的讨论https://github.com/catqaq/ChatPiXiu/discussions。

开源ChatGPT调研

1.开源ChatGTP平替

注：开源类ChatGPT/LLM汇总，持续更新中，欢迎贡献! 现已超过60+！

项目基础模型lang机构数据集license介绍备注
LLaMALLaMAMultimetaCCNet [67%], C4 [15%], GitHub [4.5%], Wikipedia [4.5%], Books [4.5%], ArXiv [2.5%], Stack Exchange[2%].Apache-2.0 license可能是目前开源ChatGPT用的最多的基础模型支持多语言，但以英文为主
stanford_alpaca AlpacaLLaMAengstanfordalpaca_dataApache-2.0 license指令调优的 LLaMA 模型: An Instruction-following LLaMA Model. 让 OpenAI 的 text-davinci-003 模型以 self-instruct 方式生成 52K 指令样本，SFTFT模型语言以数据为准
ChatLLaMALLaMANebuly+AI-license数据集创建、使用 RLHF 进行高效训练以及推理优化。
Chinese-LLaMA-AlpacaLLaMAmutliymcui-Apache-2.0 licenseChinese LLaMA & Alpaca LLMs; 中文词表扩充
alpaca-loraLLaMAstanfordLLaMA-GPT4 datasetApache-2.0 licenseLoRA
Chinese-alpaca-lora Luotuo-Chinese-LLMLLaMA-LoRA
ChatGLMGLMcn/eng清华1T 标识符的中英双语数据Apache-2.0 license监督微调、反馈自助、人类反馈强化学习PROJECT.md
FastChat VicunaLLaMAengUC Berkeley, CMU, Stanford, UCSD and MBZUAIShareGPT, 70k问答指令数据Apache-2.0 licenseSFT，使用GPT-4作为评判标准，结果显示Vicuna-13B在超过90%的情况下实现了与ChatGPT和Bard相匹敌的能力。
Chinese-VicunaLLaMAcn--Apache-2.0 licenseLoRA
EasyLM Koala考拉LLaMA multiengUC伯克利ChatGPT数据和开源数据（Open Instruction Generalist (OIG)、斯坦福 Alpaca 模型使用的数据集、Anthropic HH、OpenAI WebGPT、OpenAI Summarization）Apache-2.0 licenseSFT/13B/500k条数据
ColossalChatLLaMAColossalAIInstructionWild:104K bilingual datasetsLICENSESFT-RM-RLHF
ChatRWKVRWKVBlinkDL-[Apache-2.0

编辑推荐精选

博思AIPPT

博思AIPPT

AI一键生成PPT，就用博思AIPPT！

博思AIPPT，新一代的AI生成PPT平台，支持智能生成PPT、AI美化PPT、文本&链接生成PPT、导入Word/PDF/Markdown文档生成PPT等，内置海量精美PPT模板，涵盖商务、教育、科技等不同风格，同时针对每个页面提供多种版式，一键自适应切换，完美适配各种办公场景。

AI办公办公工具AI工具博思AIPPTAI生成PPT智能排版海量精品模板AI创作热门
潮际好麦

潮际好麦

AI赋能电商视觉革命，一站式智能商拍平台

潮际好麦深耕服装行业，是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌，以及国内10万+淘宝、天猫、京东等主流平台的品牌商家，为卖家节省将近85%的出图成本，提升约3倍出图效率，让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌，基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构，帮助企业扫清合规障碍，筑牢风控防线，成为您企业专属的AI法律顾问。

SimilarWeb流量提升

SimilarWeb流量提升

稳定高效的流量提升解决方案，助力品牌曝光

稳定高效的流量提升解决方案，助力品牌曝光

Sora2视频免费生成

Sora2视频免费生成

最新版Sora2模型免费使用，一键生成无水印视频

最新版Sora2模型免费使用，一键生成无水印视频

Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手，它拥有超精准的音频识别翻译能力，几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球，无论你是留学生、商务人士、韩剧美剧爱好者，还是出国游玩、多国会议、跨国追星等等，都可以满足你所有需要同传的场景需求，线上线下通用，扫除语言障碍，让全世界的语言交流不再有国界。

讯飞绘文

讯飞绘文

选题、配图、成文，一站式创作，让内容运营更高效

讯飞绘文，一个AI集成平台，支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容，加速品牌传播，提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
TRAE编程

TRAE编程

AI辅助编程，代码自动修复

Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
商汤小浣熊

商汤小浣熊

最强AI数据分析助手

小浣熊家族Raccoon，您的AI智能助手，致力于通过先进的人工智能技术，为用户提供高效、便捷的智能服务。无论是日常咨询还是专业问题解答，小浣熊都能以快速、准确的响应满足您的需求，让您的生活更加智能便捷。

imini AI

imini AI

像人一样思考的AI智能体

imini 是一款超级AI智能体，能根据人类指令，自主思考、自主完成、并且交付结果的AI智能体。

下拉加载更多