#模型支持

X-AnyLabeling入门学习资料汇总 - 强大的AI辅助数据标注工具

2 个月前
Cover of X-AnyLabeling入门学习资料汇总 - 强大的AI辅助数据标注工具

Duck2api: 一个强大的免费API接口工具

2 个月前
Cover of Duck2api: 一个强大的免费API接口工具

bark.cpp: 快速多语种文本转语音的C/C++实现

2 个月前
Cover of bark.cpp: 快速多语种文本转语音的C/C++实现

SD.Next: 自动化实现的先进稳定扩散模型

2 个月前
Cover of SD.Next: 自动化实现的先进稳定扩散模型

Vidur: 微软推出的大规模LLM推理模拟框架

2 个月前
Cover of Vidur: 微软推出的大规模LLM推理模拟框架

llama-node入门学习资料 - Node.js的大语言模型推理库

2 个月前
Cover of llama-node入门学习资料 - Node.js的大语言模型推理库

Raycast API 代理:实现无需订阅使用 Raycast AI 的开源解决方案

2 个月前
Cover of Raycast API 代理:实现无需订阅使用 Raycast AI 的开源解决方案

DeepSpeed-MII: 高吞吐低延迟的模型推理利器

2 个月前
Cover of DeepSpeed-MII: 高吞吐低延迟的模型推理利器

ialacol: 轻量级OpenAI API替代方案在Kubernetes上的应用

2 个月前
Cover of ialacol: 轻量级OpenAI API替代方案在Kubernetes上的应用

API for Open LLMs: 统一开源大语言模型的后端接口

2 个月前
Cover of API for Open LLMs: 统一开源大语言模型的后端接口
相关项目
Project Cover

dify

Dify是一款革命性的开源LLM应用开发平台,提供直观的用户界面和强大的AI工作流功能。该平台支持数百种专有和开源LLM,包括GPT、Mistral、Llama3等,同时提供文档摄取、性能监控、工作流构建等全面功能,满足从原型到生产的所有需求。Dify还支持企业级特性,如单点登录和访问控制,提供自托管解决方案,确保快速部署和高效整合。

Project Cover

llama-node

llama-node是一个支持多种大语言模型推理的Node.js库,兼容LLaMA、RWKV等模型。它基于llm、llama.cpp、rwkv.cpp,使用napi-rs实现消息传递。支持模型包括Alpaca、GPT4All等,适用于多平台如macOS、Linux和Windows。项目处于早期阶段,API可能会更新。

Project Cover

api-for-open-llm

api-for-open-llm提供多种开源大模型的后端统一接口,以OpenAI ChatGPT API格式调用支持,如LLaMA、Baichuan等。支持流式响应、文字嵌入等功能,适用于多种应用需求。环境配置简洁,便于快速部署。

Project Cover

X-AnyLabeling

X-AnyLabeling是一个集合先进模型技术的强大标注工具,集成AI推理引擎,支持图像与视频处理。该工具支持单帧与批量预测,适用于分类、检测、分割和OCR等视觉任务,兼容多种标注样式与主流标签格式。通过使用GPU加速推理,X-AnyLabeling 保证高效率和高精度的处理性能,突出其技术优势。

Project Cover

Jlama

Jlama是一款面向Java应用的大型语言模型推理引擎,提供对GPT-2、BERT等模型的支持,集成多种分词器。其功能包括闪电注意力、专家混合,同时支持多种数据类型处理。Jlama借助最新Vector API加速推理,可实现分布式处理,适合集成LLM推理的开发者使用。

Project Cover

fastapi

智元 Fast API 是一个一站式API管理系统,通过统一格式和规范管理多种LLM API,确保功能和性能达到最佳状态。支持OpenAI、百度、阿里云等公司的模型,具有Completion和Image功能。提供易用的用户端和管理端演示,支持集群、多地和跨区部署,并且可以通过Docker轻松安装。适用于各种LLM API使用场景,提升效率与用户体验。

Project Cover

vidur

Vidur是一款高保真且具扩展性的LLM推理模拟器,适用于容量规划和最佳部署配置测试。无需GPU即可研究不同工作负载下的系统性能,支持多种主流模型和配置,提供线路追踪和多种运行环境搭建指导,并记录详细的性能指标日志。该项目欢迎贡献并遵循微软开放源码行为准则。

Project Cover

ialacol

ialacol是一个轻量级的OpenAI API兼容替代方案,支持LLaMa 2、Mistral、StarCoder等多种模型,并提供Kubernetes集群的一键Helm安装。项目具备CUDA加速、流式体验和与GitHub Copilot VSCode扩展的兼容性。通过配置示例和运行指南,可以灵活部署和配置服务,实现快速启动和高效使用。ialacol兼容ctransformers和多种LLMs,适合多种应用场景。

Project Cover

bark.cpp

bark.cpp 是一个用纯 C/C++ 编写的开源项目,实现了 SunoAI 的 bark 模型,用于提供高质量的实时多语言文本到语音转换。该项目无需外部依赖,支持 AVX、AVX2 和 AVX512 指令集,兼容 CPU 和 GPU,并提供 F16/F32 混合精度和多种量化选项。用户可以轻松进行构建、下载模型和转换格式。社区成员可以通过报告问题、提出新功能或提交 pull request 来贡献代码。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号