dify
Dify是一款革命性的开源LLM应用开发平台,提供直观的用户界面和强大的AI工作流功能。该平台支持数百种专有和开源LLM,包括GPT、Mistral、Llama3等,同时提供文档摄取、性能监控、工作流构建等全面功能,满足从原型到生产的所有需求。Dify还支持企业级特性,如单点登录和访问控制,提供自托管解决方案,确保快速部署和高效整合。
llama-node
llama-node是一个支持多种大语言模型推理的Node.js库,兼容LLaMA、RWKV等模型。它基于llm、llama.cpp、rwkv.cpp,使用napi-rs实现消息传递。支持模型包括Alpaca、GPT4All等,适用于多平台如macOS、Linux和Windows。项目处于早期阶段,API可能会更新。
api-for-open-llm
api-for-open-llm提供多种开源大模型的后端统一接口,以OpenAI ChatGPT API格式调用支持,如LLaMA、Baichuan等。支持流式响应、文字嵌入等功能,适用于多种应用需求。环境配置简洁,便于快速部署。
X-AnyLabeling
X-AnyLabeling是一个集合先进模型技术的强大标注工具,集成AI推理引擎,支持图像与视频处理。该工具支持单帧与批量预测,适用于分类、检测、分割和OCR等视觉任务,兼容多种标注样式与主流标签格式。通过使用GPU加速推理,X-AnyLabeling 保证高效率和高精度的处理性能,突出其技术优势。
Jlama
Jlama是一款面向Java应用的大型语言模型推理引擎,提供对GPT-2、BERT等模型的支持,集成多种分词器。其功能包括闪电注意力、专家混合,同时支持多种数据类型处理。Jlama借助最新Vector API加速推理,可实现分布式处理,适合集成LLM推理的开发者使用。
fastapi
智元 Fast API 是一个一站式API管理系统,通过统一格式和规范管理多种LLM API,确保功能和性能达到最佳状态。支持OpenAI、百度、阿里云等公司的模型,具有Completion和Image功能。提供易用的用户端和管理端演示,支持集群、多地和跨区部署,并且可以通过Docker轻松安装。适用于各种LLM API使用场景,提升效率与用户体验。
vidur
Vidur是一款高保真且具扩展性的LLM推理模拟器,适用于容量规划和最佳部署配置测试。无需GPU即可研究不同工作负载下的系统性能,支持多种主流模型和配置,提供线路追踪和多种运行环境搭建指导,并记录详细的性能指标日志。该项目欢迎贡献并遵循微软开放源码行为准则。
ialacol
ialacol是一个轻量级的OpenAI API兼容替代方案,支持LLaMa 2、Mistral、StarCoder等多种模型,并提供Kubernetes集群的一键Helm安装。项目具备CUDA加速、流式体验和与GitHub Copilot VSCode扩展的兼容性。通过配置示例和运行指南,可以灵活部署和配置服务,实现快速启动和高效使用。ialacol兼容ctransformers和多种LLMs,适合多种应用场景。
bark.cpp
bark.cpp 是一个用纯 C/C++ 编写的开源项目,实现了 SunoAI 的 bark 模型,用于提供高质量的实时多语言文本到语音转换。该项目无需外部依赖,支持 AVX、AVX2 和 AVX512 指令集,兼容 CPU 和 GPU,并提供 F16/F32 混合精度和多种量化选项。用户可以轻松进行构建、下载模型和转换格式。社区成员可以通过报告问题、提出新功能或提交 pull request 来贡献代码。