懂AI
llm-app-stack

llm-app-stack

全面的大语言模型应用开发资源集合

LLM-App-Stack项目汇总了构建大语言模型应用所需的各类工具和服务。该资源集合涵盖数据管道、嵌入模型、向量数据库、编排工具和API插件等关键组件。项目同时整合了专有和开源的LLM API，以及应用托管平台和云服务选项，为开发者提供了全面的技术栈参考。这一资源库旨在帮助开发者更高效地构建和部署智能应用。

LLM应用程序架构AI开源数据处理Github开源项目
访问官网GitHub

LLM 应用程序栈

又称 LLM 应用程序的新兴架构

2657 新兴 LLM 应用程序栈 R2 清洁版

这是 LLM 应用程序栈每一层可用工具、项目和供应商的列表。

我们的原始文章仅包含了基于用户访谈的最受欢迎选项。这个仓库旨在更加全面，涵盖每个类别中所有可用的选项。我们可能仍然遗漏了一些重要的项目，因此如果您发现有任何遗漏，请开启一个 PR。

我们还包含了 Perplexity 和 Cursor.sh 提示，以使搜索和 Markdown 表格格式化更容易。

目录

  1. 数据管道
  2. 嵌入模型
  3. 向量数据库
  4. playground
  5. 协调器
  6. API / 插件
  7. LLM 缓存
  8. 日志记录 / 监控 / 评估
  9. 验证器
  10. LLM API（专有）
  11. LLM API（开源）
  12. 应用程序托管平台
  13. 云服务提供商
  14. 自有观点的云服务

项目列表

数据管道

名称（网站）描述GithubPip 安装次数
Databricks一个统一的数据平台，用于构建、部署和维护企业数据解决方案，包括专为 AI 构建的产品（如 MosaicML 和 MLflow）<a href=https://github.com/apache/spark><img src="https://img.shields.io/github/stars/apache/spark?style=social" width=90/></a><a href=https://pypi.org/project/pyspark><img src="https://img.shields.io/pypi/dw/pyspark" width=150/></a>
Airflow一个数据管道框架，用于以编程方式编写、调度和监控数据管道和工作流，包括 LLM<a href=https://github.com/apache/airflow><img src="https://img.shields.io/github/stars/apache/airflow?style=social" width=90/></a><a href=https://pypi.org/project/apache-airflow><img src="https://img.shields.io/pypi/dw/apache-airflow" width=150/></a>
Unstructured.io用于预处理 PDF、HTML 和 Word 文档等文档的开源组件，以供 LLM 应用程序使用<a href=https://github.com/Unstructured-IO/unstructured><img src="https://img.shields.io/github/stars/Unstructured-IO/unstructured?style=social" width=90/></a><a href=https://pypi.org/project/unstructured><img src="https://img.shields.io/pypi/dw/unstructured" width=150/></a>
Fivetran一个平台，从各种来源提取、加载和转换数据，用于分析、AI 和运营N/A<a href=https://pypi.org/project/fivetran><img src="https://img.shields.io/pypi/dw/fivetran" width=150/></a>
Airbyte一个开源数据集成引擎，帮助在数据仓库、湖泊和数据库中整合数据<a href=https://github.com/airbytehq/airbyte><img src="https://img.shields.io/github/stars/airbytehq/airbyte?style=social" width=90/></a><a href=https://pypi.org/project/airbyte-cdk><img src="https://img.shields.io/pypi/dw/airbyte-cdk" width=150/></a>
Anyscale一个 AI 计算平台，允许开发人员使用 Ray 扩展数据摄取、预处理、嵌入和推理计算<a href=https://github.com/ray-project/ray><img src="https://img.shields.io/github/stars/ray-project/ray?style=social" width=90/></a><a href=https://pypi.org/project/ray><img src="https://img.shields.io/pypi/dw/ray" width=150/></a>
Alluxio一个开源数据平台，位于计算和存储的交叉点，将数据更接近计算，以加速模型训练和服务，提高 GPU 利用率，并降低 AI 工作负载的成本<a href=https://github.com/Alluxio/alluxio> <img alt="GitHub Repo stars" src="https://img.shields.io/github/stars/alluxio/Alluxio?style=social" width=90></a><a href=https://pypi.org/project/alluxio-python-library/><img alt="PyPI - Downloads" src="https://img.shields.io/pypi/dw/alluxio-python-library" width=150> </a>
<p style="text-align: right;"><a href="#table-of-contents">^ 返回目录 ^</a></p>

嵌入模型

名称（网站）描述GithubPip 安装次数
OpenAI Ada Embedding 2OpenAI 最受欢迎的嵌入模型，用于捕捉文本中的语义关系n/a<a href=https://pypi.org/project/openai><img src="https://img.shields.io/pypi/dw/openai" width=150/></a>
Cohere AI一个独立的商业 LLM 提供商，特别关注语义搜索、主题聚类和垂直应用的嵌入<a href=https://github.com/cohere-ai/notebooks><img src="https://img.shields.io/github/stars/cohere-ai/notebooks?style=social" width=90/></a><a href=https://pypi.org/project/cohere><img src="https://img.shields.io/pypi/dw/cohere" width=150/></a>
Sentence Transformers一个用于句子、文本和图像嵌入的开源 Python 框架<a href=https://github.com/UKPLab/sentence-transformers><img src="https://img.shields.io/github/stars/UKPLab/sentence-transformers?style=social" width=90/></a><a href=https://pypi.org/project/sentence-transformers><img src="https://img.shields.io/pypi/dw/sentence-transformers" width=150/></a>
<p style="text-align: right;"><a href="#table-of-contents">^ 返回目录 ^</a></p>

向量数据库

名称（网站）描述GithubPip 安装次数
Pinecone一个托管的、云原生的向量数据库，具有简单的 API，用于高性能 AI 应用n/a<a href=https://pypi.org/project/pinecone-client><img src="https://img.shields.io/pypi/dw/pinecone-client" width=150/></a>
Weaviate一个开源向量数据库，可存储对象和向量<a href=https://github.com/weaviate/weaviate><img src="https://img.shields.io/github/stars/weaviate/weaviate?style=social" width=90/></a><a href=https://pypi.org/project/weaviate-client><img src="https://img.shields.io/pypi/dw/weaviate-client" width=150/></a>
ChromaDB一个面向开发者的 AI 原生、开源嵌入数据库平台<a href=https://github.com/chroma-core/chroma><img src="https://img.shields.io/github/stars/chroma-core/chroma?style=social" width=90/></a><a href=https://pypi.org/project/chromadb><img src="https://img.shields.io/pypi/dw/chromadb" width=150/></a>
PgvectorPostgres 的开源向量相似度搜索，允许精确和近似最近邻搜索<a href=https://github.com/pgvector/pgvector><img src="https://img.shields.io/github/stars/pgvector/pgvector?style=social" width=90/></a><a href=https://pypi.org/project/pgvector><img src="https://img.shields.io/pypi/dw/pgvector" width=150/></a>
Zilliz (Milvus)一个开源向量数据库，用于开发和维护 AI 应用程序<a href=https://github.com/milvus-io/milvus><img src="https://img.shields.io/github/stars/milvus-io/milvus?style=social" width=90/></a><a href=https://pypi.org/project/pymilvus><img src="https://img.shields.io/pypi/dw/pymilvus" width=150/></a>
Qdrant一个向量数据库和向量相似度搜索引擎<a href=https://github.com/qdrant/qdrant><img src="https://img.shields.io/github/stars/qdrant/qdrant?style=social" width=90/></a><a href=https://pypi.org/project/qdrant-client><img src="https://img.shields.io/pypi/dw/qdrant-client" width=150/></a>
Metal io一个托管服务，供开发人员使用 ML 嵌入构建应用程序N/A<a href=https://pypi.org/project/metal-python><img src="https://img.shields.io/pypi/dw/metal-python" width=150/></a>
LanceDB一个用于 AI 应用程序的无服务器向量数据库<a href=https://github.com/lancedb/lancedb><img src="https://img.shields.io/github/stars/lancedb/lancedb?style=social" width=90/></a><a href=https://pypi.org/project/lancedb><img src="https://img.shields.io/pypi/dw/lancedb" width=150/></a>
<p style="text-align: right;"><a href="#table-of-contents">^ 返回目录 ^</a></p>

游乐场

名称（网站）描述GithubPip 安装量
OpenAI Playground一个基于网络的平台，用于试验 OpenAI 开发的各种机器学习模型不适用不适用
nat.dev一个允许用户使用多个语言模型测试提示并比较其性能的平台<a href=https://github.com/nat/openplayground><img src="https://img.shields.io/github/stars/nat/openplayground?style=social" width=90/></a><a href=https://pypi.org/project/openplayground><img src="https://img.shields.io/pypi/dw/openplayground" width=150/></a>
Humanloop一个帮助开发者在大型语言模型基础上构建应用程序的平台<a href=https://github.com/humanloop/humanloop-tutorial-python><img src="https://img.shields.io/github/stars/humanloop/humanloop-tutorial-python?style=social" width=90/></a><a href=https://pypi.org/project/humanloop><img src="https://img.shields.io/pypi/dw/humanloop" width=150/></a>
Parea AI为 AI 工程师提供的平台和 SDK，提供 LLM 评估、可观察性和版本控制的增强提示游乐场工具。<a href=https://github.com/parea-ai><img src="https://img.shields.io/github/stars/parea-ai/parea-sdk-py?style=social" width=90/></a><a href=https://pypi.org/project/parea-ai/><img src="https://img.shields.io/pypi/dw/parea-ai" width=150/></a>
<p style="text-align: right;"><a href="#table-of-contents">^ 返回目录 ^</a></p>

编排器

名称（网站）描述GithubPip 安装量
Langchain一个开源库，为开发者提供构建 LLM 驱动应用程序的工具<a href=https://github.com/langchain-ai/langchain><img src="https://img.shields.io/github/stars/langchain-ai/langchain?style=social" width=90/></a><a href=https://pypi.org/project/langchain><img src="https://img.shields.io/pypi/dw/langchain" width=150/></a>
LlamaIndex一个数据框架，用于 LLM 应用程序摄取、结构化和访问私有或特定领域的数据<a href=https://github.com/jerryjliu/llama_index><img src="https://img.shields.io/github/stars/jerryjliu/llama_index?style=social" width=90/></a><a href=https://pypi.org/project/llama-index><img src="https://img.shields.io/pypi/dw/llama-index" width=150/></a>
Autogen一个使用可定制、可对话代理自动化和简化 LLM 工作流程的框架，用于复杂 AI 应用<a href=https://github.com/microsoft/autogen><img src="https://img.shields.io/github/stars/microsoft/autogen?style=social" width=90/></a><a href=https://pypi.org/project/pyautogen><img src="https://img.shields.io/pypi/dw/pyautogen" width=150/></a>
Microsoft Semantic Kernel一个轻量级开源编排 SDK<a href=https://github.com/microsoft/semantic-kernel><img src="https://img.shields.io/github/stars/microsoft/semantic-kernel?style=social" width=90/></a><a href=https://pypi.org/project/semantic-kernel><img src="https://img.shields.io/pypi/dw/semantic-kernel" width=150/></a>
HaystackLLM 编排框架，用于构建可定制、生产就绪的 LLM 应用程序<a href=https://github.com/deepset-ai/haystack><img src="https://img.shields.io/github/stars/deepset-ai/haystack?style=social" width=90/></a><a href=https://pypi.org/project/farm-haystack/><img src="https://img.shields.io/pypi/dw/farm-haystack" width=150/></a>
Vercel AI SDK一个开源库，供开发者在 JavaScript 和 TypeScript 中构建流式 UI<a href=https://github.com/vercel/ai><img src="https://img.shields.io/github/stars/vercel-labs/ai?style=social" width=90/></a><a href=https://pypi.org/project/vercel-ai-sdk><img src="https://img.shields.io/npm/dw/ai" width=150/></a>(node/npm)
Vectara AI一个用于 AI 对话的搜索和发现平台，利用您自己的数据<a href=https://github.com/vectara/vectara-ingest><img src="https://img.shields.io/github/stars/vectara/vectara-ingest?style=social" width=90/></a>不适用
ChatGPT一个使用自然语言处理创建类人对话的 AI 聊天机器人不适用不适用
<p style="text-align: right;"><a href="#table-of-contents">^ 返回目录 ^</a></p>

API / 插件

名称（网站）描述GithubPip 安装量
Serp API一个实时 API，用于访问 Google 搜索结果，以及处理代理、解决验证码和解析结构化数据<a href=https://github.com/serpapi/google-search-results-python><img src="https://img.shields.io/github/stars/serpapi/google-search-results-python?style=social" width=90/></a><a href=https://pypi.org/project/google-search-results><img src="https://img.shields.io/pypi/dw/google-search-results" width=150/></a>
Wolfram Alpha API一个基于网络的 API，为各种应用程序的集成提供计算和展示功能不适用<a href=https://pypi.org/project/wolframalpha><img src="https://img.shields.io/pypi/dw/wolframalpha" width=150/></a>
Zapier API AI Plugin一个插件，允许您连接 5,000+ 个应用程序并直接在 ChatGPT 内与它们交互不适用不适用
<p style="text-align: right;"><a href="#table-of-contents">^ 返回目录 ^</a></p>

LLM 缓存

名称（网站）描述GithubPip 安装量
Redis一个内存数据结构存储，用作数据库、缓存、消息代理和流引擎<a href=https://github.com/redis/redis><img src="https://img.shields.io/github/stars/redis/redis?style=social" width=90/></a><a href=https://pypi.org/project/redis/><img src="https://img.shields.io/pypi/dw/redis" width=150/></a>
SQLite一个自包含、无服务器、零配置、事务性 SQL 数据库引擎<a href=https://github.com/sqlite/sqlite><img src="https://img.shields.io/github/stars/sqlite/sqlite?style=social" width=90/></a><a href=https://pypi.org/project/pysqlite3/><img src="https://img.shields.io/pypi/dw/pysqlite3" width=150/></a>
GPTCache一个开源工具，通过实现缓存来存储响应，提高基于 GPT 的应用程序的效率和速度<a href=https://github.com/zilliztech/GPTCache><img src="https://img.shields.io/github/stars/zilliztech/GPTCache?style=social" width=90/></a>不适用
<p style="text-align: right;"><a href="#table-of-contents">^ 返回目录 ^</a></p> ### 日志记录 / 监控 / 评估 | 名称（网站） | 描述 | Github | Pip 安装量 | |------------|------------|------------|------------| | [Braintrust Data](https://www.braintrustdata.com/) | 一个AI产品堆栈，包括评估、提示词游乐场、持续集成、数据集管理，以及通过单一API访问各种AI模型 | <a href=https://github.com/braintrustdata/braintrust-proxy><img src="https://img.shields.io/github/stars/braintrustdata/braintrust-proxy?style=social" width=90/></a> | <a href=https://pypi.org/project/braintrust><img src="https://img.shields.io/pypi/dw/braintrust" width=150/></a> | | [Arize AI](https://arize.com/) | 一个适用于LLM和监督式机器学习的可观察性平台 | <a href=https://github.com/Arize-ai><img src="https://img.shields.io/github/stars/Arize-ai?style=social" width=90/></a> | <a href=https://pypi.org/project/arize><img src="https://img.shields.io/pypi/dw/arize" width=150/></a> | | [Weights & Biases](https://wandb.ai) | 一个用于简化机器学习工作流程的MLOps平台 | <a href=https://github.com/wandb/wandb><img src="https://img.shields.io/github/stars/wandb/wandb?style=social" width=90/></a> | <a href=https://pypi.org/project/wandb><img src="https://img.shields.io/pypi/dw/wandb" width=150/></a> | | [MLflow](https://mlflow.org/docs/latest/llms/index.html#) | 一个用于简化机器学习开发的平台 | <a href=https://github.com/mlflow/mlflow><img src="https://img.shields.io/github/stars/mlflow/mlflow?style=social" width=90/></a> | <a href=https://pypi.org/project/mlflow><img src="https://img.shields.io/pypi/dw/mlflow" width=150/></a> | | [PromptLayer](https://promptlayer.com/) | 一个用于跟踪、管理和共享LLM提示工程的平台 | <a href=https://github.com/MagnivOrg/prompt-layer-library><img src="https://img.shields.io/github/stars/MagnivOrg/prompt-layer-library?style=social" width=90/></a> | <a href=https://pypi.org/project/promptlayer><img src="https://img.shields.io/pypi/dw/promptlayer" width=150/></a> | | [Helicone](https://helicone.ai/) | 一个开源的LLM可观察性平台 | <a href=https://github.com/Helicone/helicone><img src="https://img.shields.io/github/stars/Helicone/helicone?style=social" width=90/></a> | <a href=https://pypi.org/project/helicone><img src="https://img.shields.io/pypi/dw/helicone" width=150/></a> | | [Quotient AI](https://www.quotientai.co/) | Quotient AI是一个平台，用于在研究、开发和生产中评估真实用例的AI产品 | N/A | N/A | | [Portkey AI](https://portkey.ai/) | 一个用于开发、发布、维护和迭代生成式AI应用和功能的平台 | N/A | N/A | | [Freeplay AI](https://freeplay.ai/) | 一个用于为客户原型设计、测试和优化LLM功能的平台 | N/A | N/A | | [Gentrace](https://gentrace.ai/) | 用于评估和观察生成数据的API和SDK，具有AI、启发式和人工评分评估以及生产数据观察等功能 | N/A | <a href=https://pypi.org/project/gentrace-py><img src="https://img.shields.io/pypi/dw/gentrace-py" width=150/></a> | | [Patronus AI](https://www.patronus.ai/) | 一个自动化的LLM评估和基准测试平台，提供在真实场景中测试、评分和评估LLM的工具 | N/A | N/A | | [Autoblocks AI](https://www.autoblocks.ai/) | 一个为快速迭代GenAI产品设计的协作云工作空间，提供提示管理、可观察性、持续评估、微调、原型设计、调试和可扩展数据摄取与搜索等功能，全部在一个与提供商无关的环境中 | N/A | <a href=https://pypi.org/project/autoblocksai><img src="https://img.shields.io/pypi/dw/autoblocksai" width=150/></a> | | [Context AI](https://context.ai/) | 用于LLM发布前评估和发布后分析的工具，具有测试、性能监控、用户对话分析等功能，支持各种模型和库 | N/A | <a href=https://pypi.org/project/context-python><img src="https://img.shields.io/pypi/dw/context-python" width=150/></a> | | [E2b dev](https://e2b.dev/) | 用于部署、测试和监控AI代理的服务，包括一个具有安全、长期运行云环境的沙盒，适用于各种LLM，具有互联网访问等功能 | <a href=https://github.com/e2b-dev/e2b><img src="https://img.shields.io/github/stars/e2b-dev/e2b?style=social" width=90/></a> | <a href=https://pypi.org/project/e2b><img src="https://img.shields.io/pypi/dw/e2b" width=150/></a> | | [Agentops](https://www.agentops.ai/) | 用于评估和开发AI代理的工具包，提供代理开发工具、监控能力和重放分析 | <a href=https://github.com/AgentOps-AI/agentops><img src="https://img.shields.io/github/stars/AgentOps-AI/agentops?style=social" width=90/></a> | <a href=https://pypi.org/project/agentops><img src="https://img.shields.io/pypi/dw/agentops" width=150/></a> | | [Zenoml](https://zenoml.com/) | AI评估平台，支持数据可视化、模型性能分析，以及为各种数据类型创建交互式报告 | <a href=https://github.com/zeno-ml/zeno-build><img src="https://img.shields.io/github/stars/zeno-ml/zeno-build?style=social" width=90/></a> | <a href=https://pypi.org/project/zeno-client><img src="https://img.shields.io/pypi/dw/zeno-client" width=150/></a> | | [Baserun](https://baserun.ai/welcome) | 提供模型配置、提示词游乐场、监控和原型工作流程的工具，以及LLM工作流的全面可视性和端到端测试功能 | <a href=https://github.com/baserun-ai/baserun-py><img src="https://img.shields.io/github/stars/baserun-ai/baserun-py?style=social" width=90/></a> | <a href=https://pypi.org/project/baserun><img src="https://img.shields.io/pypi/dw/baserun" width=90/></a> | | [WhyLabs](https://whylabs.ai/) | 适用于ML和GenAI的AI可观察性平台，包括LLM监控、保护机制和安全性 | <a href=https://github.com/whylabs><img src="https://img.shields.io/github/stars/whylabs?style=social" width=90/></a> | <a href=https://pypi.org/project/whylabs-client><img src="https://img.shields.io/pypi/dw/whylabs-client" width=150/></a> | | [Log10](https://log10.io/) | AI驱动的LLMOps平台，自动优化提示和模型，内置日志记录、调试、指标、反馈、评估和微调功能 | <a href=https://github.com/log10-io/log10><img src="https://img.shields.io/github/stars/log10-io/log10?style=social" width=90/></a><br> | <a href=https://pypi.org/project/log10-io><img src="https://img.shields.io/pypi/dw/log10-io" width=150/></a><br><a href=https://pypi.org/project/llmeval><img src="https://img.shields.io/pypi/dw/llmeval" width=150/></a> | | [promptfoo](https://www.promptfoo.dev/) | 开源LLM评估框架，支持模型/提示/RAG评估、数据集生成、本地模型和自托管 | <a href=https://github.com/promptfoo/promptfoo><img src="https://img.shields.io/github/stars/promptfoo/promptfoo?style=social" width=90/></a> | <a href=https://www.npmjs.com/package/promptfoo><img src="https://img.shields.io/npm/dw/promptfoo" width=150/></a> (node/npm) | | [Parea AI](https://www.parea.ai/) | 为AI工程师提供的平台和SDK，提供LLM评估、可观察性工具和版本控制的增强提示词游乐场 | <a href=https://github.com/parea-ai><img src="https://img.shields.io/github/stars/parea-ai/parea-sdk-py?style=social" width=90/></a> | <a href=https://pypi.org/project/parea-ai/><img src="https://img.shields.io/pypi/dw/parea-ai" width=150/></a> | | [Galileo](https://www.rungalileo.io/) | Galileo是一个用于评估、微调和实时可观察性的平台，由高精度幻觉防护机制驱动 | N/A | N/A | <p style="text-align: right;"><a href="#table-of-contents">^ 返回目录 ^</a></p> ### 验证器 | 名称(网站) | 描述 | Github | Pip 安装量 | |------------|------------|------------|------------| | [Guardrails AI](https://shreyar.github.io/guardrails/) | 一个开源Python包,用于指定结构和类型、验证和纠正LLM的输出 | <a href=https://github.com/ShreyaR/guardrails><img src="https://img.shields.io/github/stars/ShreyaR/guardrails?style=social" width=90/></a> | <a href=https://pypi.org/project/guardrails-ai><img src="https://img.shields.io/pypi/dw/guardrails-ai" width=150/></a> | | [Rebuff](https://github.com/woop/rebuff) | 一个开源框架,旨在检测和防御LLM应用中的提示注入攻击 | <a href=https://github.com/woop/rebuff><img src="https://img.shields.io/github/stars/woop/rebuff?style=social" width=90/></a> | <a href=https://pypi.org/project/rebuff><img src="https://img.shields.io/pypi/dw/rebuff" width=150/></a> | | [Microsoft Guidance](https://github.com/microsoft/guidance) | 一种用于控制LLM的指导语言,提供了一种语法来构建LLM工作流 | <a href=https://github.com/microsoft/guidance><img src="https://img.shields.io/github/stars/microsoft/guidance?style=social" width=90/></a> | <a href=https://pypi.org/project/guidance><img src="https://img.shields.io/pypi/dw/guidance" width=150/></a> | | [LMQL](https://lmql.ai/) | 一个开源编程语言和语言模型交互平台 | <a href=https://github.com/eth-sri/lmql><img src="https://img.shields.io/github/stars/eth-sri/lmql?style=social" width=90/></a> | <a href=https://pypi.org/project/lmql><img src="https://img.shields.io/pypi/dw/lmql" width=150/></a> | | [Outlines](https://outlines-dev.github.io/outlines/) | 一个帮助开发人员引导文本生成的工具,用于构建与外部系统的健壮接口,并保证输出匹配正则表达式或JSON模式 | <a href=https://github.com/outlines-dev/outlines><img src="https://img.shields.io/github/stars/outlines-dev/outlines?style=social" width=90/></a> | <a href=https://pypi.org/project/outlines><img src="https://img.shields.io/pypi/dw/outlines" width=150/></a> | | [LLM Guard](https://github.com/laiyer-ai/llm-guard) | 一个开源的综合工具,旨在加强大型语言模型(LLM)的安全性 | <a href=https://github.com/laiyer-ai/llm-guard><img src="https://img.shields.io/github/stars/laiyer-ai/llm-guard?style=social" width=90/></a> | <a href=https://pypi.org/project/llm-guard><img src="https://img.shields.io/pypi/dw/llm-guard" width=150/></a> | <p style="text-align: right;"><a href="#table-of-contents">^ 返回目录 ^</a></p>

LLM API (专有)

名称(网站)描述GithubPip 安装量
OpenAI一家提供多个领先LLM的公司,包括GPT-3.5和GPT-4系列N/A<a href=https://pypi.org/project/openai><img src="https://img.shields.io/pypi/dw/openai" width=150/></a>
AnthropicClaude的开发者,Claude是基于Anthropic研究的AI助手N/A<a href=https://pypi.org/project/anthropic><img src="https://img.shields.io/pypi/dw/anthropic" width=150/></a>
Cohere AI一个LLM供应商,特别关注用于语义搜索、主题聚类和垂直应用的嵌入<a href=https://github.com/cohere-ai/notebooks><img src="https://img.shields.io/github/stars/cohere-ai/notebooks?style=social" width=90/></a><a href=https://pypi.org/project/cohere><img src="https://img.shields.io/pypi/dw/cohere" width=150/></a>
LLM一个CLI工具和Python库,用于与大型语言模型交互,既可以通过远程API,也可以通过安装在自己机器上运行的模型<a href=https://github.com/simonw/llm><img src="https://img.shields.io/github/stars/simonw/llm?style=social" width=90/></a><a href=https://pypi.org/project/llm/><img src="https://img.shields.io/pypi/dw/llm" width=150/></a>
<p style="text-align: right;"><a href="#table-of-contents">^ 返回目录 ^</a></p>

LLM API (开源)

名称(网站)描述GithubPip 安装量
Hugging Face一个开源AI模型和推理端点的中心,包括领先的基础LLM和LoRAs/微调<a href=https://github.com/huggingface/transformers><img src="https://img.shields.io/github/stars/huggingface/transformers?style=social" width=90/></a><a href=https://pypi.org/project/transformers><img src="https://img.shields.io/pypi/dw/transformers" width=150/></a>
Replicate一个AI托管平台和模型推理中心,允许软件开发人员将AI模型集成到他们的应用中<a href=https://github.com/replicate/cog><img src="https://img.shields.io/github/stars/replicate/cog?style=social" width=90/></a><a href=https://pypi.org/project/replicate><img src="https://img.shields.io/pypi/dw/replicate" width=150/></a>
Anyscale一个AI API和计算平台,允许开发人员使用Ray扩展任何模型的推理、训练和嵌入计算<a href=https://github.com/ray-project/ray><img src="https://img.shields.io/github/stars/ray-project/ray?style=social" width=90/></a><a href=https://pypi.org/project/ray><img src="https://img.shields.io/pypi/dw/ray" width=150/></a>
Ollama在本地运行大型语言模型<a href=https://github.com/ollama/ollama><img src="https://img.shields.io/github/stars/ollama/ollama?style=social" width=90/></a><a href=https://pypi.org/project/ollama/><img src="https://img.shields.io/pypi/dw/ollama" width=150/></a>
GPT4ALL一个开源边缘大型语言模型的生态系统<a href=https://github.com/nomic-ai/gpt4all><img src="https://img.shields.io/github/stars/nomic-ai/gpt4all?style=social" width=90/></a><a href=https://pypi.org/project/gpt4all/><img src="https://img.shields.io/pypi/dw/gpt4all" width=150/></a>
<p style="text-align: right;"><a href="#table-of-contents">^ 返回目录 ^</a></p>

应用托管平台

名称(网站)描述
Vercel一个为前端工程师设计的云平台,内置对LLM应用的一流支持
Netlify一家企业云计算公司,为Web应用和动态网站提供开发平台
SteamshipAI代理和工具的SDK和托管平台,既是包管理器又是AI的包托管服务
Streamlit一个开源Python库,用于创建和共享机器学习和数据科学的自定义Web应用
Modal一个使用modal Python包运行分布式应用程序的平台
<p style="text-align: right;"><a href="#table-of-contents">^ 返回目录 ^</a></p>

云服务提供商

名称(网站)描述
Amazon Web Services一个云计算平台,提供来自全球数据中心的服务
Google Cloud Platform一个云计算平台,提供来自全球数据中心的服务
Microsoft Azure一个云计算平台,提供来自全球数据中心的服务
CoreWeave一个专业的云提供商,在灵活的部署基础设施之上提供GPU
<p style="text-align: right;"><a href="#table-of-contents">^ 返回目录 ^</a></p>

特色云服务

名称(网站)描述
Databricks (MosaicML)Databricks在2023年收购了Mosaic ML,以及其用于高效预训练、微调和推理LLM的工具和平台
Anyscale一个AI计算平台,使开发人员能够使用Ray扩展任何模型的推理、训练和嵌入计算
Modal一个使用Modal Python包运行分布式应用程序的平台
Runpod一个为AI和ML应用设计的云计算平台
OctoML一个计算服务,允许用户运行、调优和扩展生成模型
Baseten一个推理服务,允许用户部署、服务和扩展自定义和开源模型
E2B为AI代理和AI应用程序设计的安全沙盒云环境
<p style="text-align: right;"><a href="#table-of-contents">^ 返回目录 ^</a></p> <br> <br> <br> ## 格式化提示模板 我们能够部分自动化这个过程 - 特别是查找 GitHub 和 PyPI 链接 - 使用这个[Perplexity 搜索提示](https://github.com/a16z-infra/llm-app-stack/blob/main/table_construction_prompts/prompt_1_search.txt)。它大约有 75% 的时间工作正常，每次可以处理约 3 个项目，在每次迭代中从 20-30 个源中提取数据。 <img width="709" alt="image" src="https://github.com/a16z-infra/llm-app-stack/assets/57970926/1e4e53af-22c5-4d65-8bd9-aca776e4e970">

一旦你有了想要添加的数据，如果你不想处理这里的 Markdown 格式，使用像 Cursor 这样的工具可以很容易地正确格式化。

请看下面的提示，它可以作为内联编辑使用，只需确保你突出显示前 4-5 个例子，这样 Cursor 就可以自行推断格式：

<img width="838" alt="image" src="https://github.com/a16z-infra/llm-app-stack/assets/57970926/0518ab5e-82d8-4143-acd8-035ba1fd7a7d"> <p style="text-align: right;"><a href="#table-of-contents">^ 返回目录 ^</a></p>

编辑推荐精选

问小白

问小白

全能AI智能助手，随时解答生活与工作的多样问题

问小白，由元石科技研发的AI智能助手，快速准确地解答各种生活和工作问题，包括但不限于搜索、规划和社交互动，帮助用户在日常生活中提高效率，轻松管理个人事务。

热门AI助手AI对话AI工具聊天机器人
Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手，它拥有超精准的音频识别翻译能力，几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球，无论你是留学生、商务人士、韩剧美剧爱好者，还是出国游玩、多国会议、跨国追星等等，都可以满足你所有需要同传的场景需求，线上线下通用，扫除语言障碍，让全世界的语言交流不再有国界。

讯飞智文

讯飞智文

一键生成PPT和Word，让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目，能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定，还是学生群体的职业生涯规划、实习避坑指南，亦或是活动策划、旅游攻略等内容，它都能提供支持，帮助用户精准表达，轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
讯飞星火

讯飞星火

深度推理能力全新升级，全面对标OpenAI o1

科大讯飞的星火大模型，支持语言理解、知识问答和文本创作等多功能，适用于多种文件和业务场景，提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台，涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能，能为不同需求的用户提供便捷高效的帮助，助力用户轻松获取信息、解决问题，满足多样化使用场景。

热门AI开发模型训练AI工具讯飞星火大模型智能问答内容创作多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目，由多个知名机构联合参与。该项目提供了高效的 LLM（大语言模型）驱动的语音合成方案，支持语音克隆和语音创建功能，可通过命令行界面（CLI）和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数，生成高质量的语音。该项目适用于多种场景，如有声读物制作、智能语音助手开发等。

Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
咔片PPT

咔片PPT

AI助力，做PPT更简单！

咔片是一款轻量化在线演示设计工具，借助 AI 技术，实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT，提供海量模板、智能美化、素材替换等功能，适用于销售、教师、学生等各类人群，能高效制作出高品质 PPT，满足不同场景演示需求。

讯飞绘文

讯飞绘文

选题、配图、成文，一站式创作，让内容运营更高效

讯飞绘文，一个AI集成平台，支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容，加速品牌传播，提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
材料星

材料星

专业的AI公文写作平台，公文写作神器

AI 材料星，专业的 AI 公文写作辅助平台，为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能，支持 30 + 文稿类型生成，助力快速完成领导讲话、工作总结、述职报告等材料，提升办公效率，是体制打工人的得力写作神器。

openai-agents-python

openai-agents-python

OpenAI Agents SDK，助力开发者便捷使用 OpenAI 相关功能。

openai-agents-python 是 OpenAI 推出的一款强大 Python SDK，它为开发者提供了与 OpenAI 模型交互的高效工具，支持工具调用、结果处理、追踪等功能，涵盖多种应用场景，如研究助手、财务研究等，能显著提升开发效率，让开发者更轻松地利用 OpenAI 的技术优势。

下拉加载更多