#大语言模型
AlignBench入门指南 - 全面评估中文大语言模型对齐水平的基准
1 个月前
xFasterTransformer:高性能大语言模型推理引擎 - 学习资料与资源汇总
1 个月前
相关项目
superagent
Superagent是完全开源的AI助手框架,利用大语言模型、检索增强生成和生成式AI技术,帮助开发者在应用中集成强大的AI助手。功能涵盖文档问答、聊天机器人、内容生成、数据聚合和工作流自动化。由Y Combinator支持,提供Python和Typescript SDK,并附有详细文档和教程。
text-generation-inference
Text Generation Inference (TGI) 是一个部署和服务大型语言模型的工具包。它支持Llama、Falcon、StarCoder、BLOOM、GPT-NeoX等流行的开源模型,提供简便的启动器、分布式追踪、张量并行、多GPU推理加速、令牌流等特性。TGI还支持权重量化和安全张量加载,具备自定义提示生成和微调功能,兼容Nvidia、AMD、Inferentia、Intel GPU、Gaudi和Google TPU等硬件平台。
aidea
AIdea是一款基于Flutter的开源应用,集成了包括OpenAI的GPT-3.5、GPT-4,Anthropic的Claude instant、Claude 2.1,Google的Gemini Pro等多种大语言模型,支持文生图、图生图、超分辨率等功能。该应用还提供了私有化部署选项,适合需要自定义服务端解决方案的用户。
cody
Cody是一款开源AI编码助手,通过搜索和代码库上下文帮助更快地理解、编写和修复代码。支持最新的Claude 3.5 Sonnet和GPT-4o语言模型。Cody提供聊天、自动补全、内联编辑和快捷命令功能,适用于VS Code、JetBrains和网页端。个人和团队均可免费使用,并支持Sourcegraph账户访问免费的大型语言模型。
MaxKB
MaxKB是一款基于LLM大语言模型的开源知识库问答系统,支持本地和公共大模型,提供开箱即用的智能问答体验。它具备文档自动爬取、向量化处理、灵活编排等功能,且可零编码嵌入第三方系统,提高用户满意度。适用于企业复杂业务场景,支持离线安装和快速部署。
Open-Assistant
Open Assistant项目旨在为所有人提供高质量的对话式大语言模型,类似于稳定扩散技术在艺术和图像方面的革命性影响,该项目希望通过改进语言本身来促进创新。完整的oasst2数据集已发布,详情请查看最新博客文章和HuggingFace平台。
LLaMA-Factory
LLaMA-Factory是一个高效的语言模型微调工具,支持多种模型和算法。该平台专注于提高微调速度,支持连续预训练、监督微调和激励建模等策略。LLaMA-Factory利用LoRA技术实现高效训练,并提供详尽的数据监控和快速推理能力。此外,新版本还增加了PiSSA算法,且支持多种开发平台如Colab和DSW,适合高质量文本生成和智能应用开发。
FastGPT
FastGPT是一个先进的问答系统,基于LLM大语言模型,提供开箱即用的数据处理和模型调用能力。它支持可视化工作流编排,适用于复杂的问答场景。同时,FastGPT支持快速部署,具有强大的知识库能力和多模型支持,是企业和开发者的理想选择。
FlexGen
FlexGen通过高效的IO卸载、压缩和大批量处理,实现了在单GPU上高吞吐量运行大语言模型。该系统专为高吞吐量任务设计,如信息提取和数据处理,特别适合成本敏感的环境。虽然FlexGen在小批量任务上速度较慢,但在批量处理和低成本硬件上具有显著优势。