推理工具大全：AI推理平台、应用和开源项目集合
llama2.go
llama2.goGo语言
Go语言实现的LLaMA-2本地推理引擎
llama2.c-for-dummies
Llama2.c推理
通俗易懂的大语言模型推理代码解析
awesome-LLM-resourses
大语言模型LLM
中文大语言模型全面资源汇总 数据处理到评估应有尽有
MarkovJunior
MarkovJunior概率编程
基于重写规则的概率编程语言
AutoAWQ
AutoAWQ量化
面向大型语言模型的高效4位量化框架
BLoRA
LoRAGPU优化
批量处理多个LoRA模型以提升GPU利用率
AQLM
AQLM大语言模型
加性量化技术实现大型语言模型高效压缩
AGI-survey
AGI人工智能
人工通用智能研究前沿及未来发展路线图概览
Awesome-LLM-Robotics
大语言模型机器人
机器人和人工智能融合的前沿研究资源汇编
GPU-Benchmarks-on-LLM-Inference
LLaMAGPU
GPU和Apple芯片在LLaMA 3推理性能基准对比
Awesome-Language-Model-on-Graphs
LLM图
图上大语言模型研究进展及资源汇总
ggml
ggml机器学习
C语言开发的机器学习张量库 支持多种AI模型推理
EET
EETTransformer
Transformer模型推理加速引擎
chatglm_finetuning
deep_trainingchatglm-6b
ChatGLM模型微调教程
ao
torchaoPyTorch
优化PyTorch工作流，实现高性能和内存占用减少
max
MAXAI
一套集成的AI库、工具和技术
llama.onnx
LLaMaRWKV
LLaMa和RWKV模型的ONNX实现及独立演示，支持多设备部署
awesome-language-agents
CoALA认知架构
构建和优化语言代理的认知架构和实践
PaddleNLP
PaddleNLP大模型
支持大语言模型开发与部署的开源套件
RAG-Retrieval
RAG-Retrieval微调
使用RAG-Retrieval全面提升信息检索效率与精度
推荐工具精选
AI云服务特惠
懂AI专属折扣关注微信公众号
最新AI工具、AI资讯
独家AI资源、AI项目落地
微信扫一扫关注公众号