awesome-llm-json

项目介绍：awesome-llm-json

awesome-llm-json 是一个汇总大语言模型（LLM）生成 JSON 或其他结构化输出资源的精彩列表。该项目为需要使用 LLM 生成多种格式化输出（如 JSON、XML、YAML 等）的用户提供了丰富的资源指南。

术语简介

生成 JSON 有多个术语，分别描述了不同的方法：

• 结构化输出：不论使用何种技术（如函数调用、引导生成），从 LLM 生成任何结构化输出。
• 函数调用：为 LLM 提供一个假设的（或实际的）函数定义，虽然 LLM 实际上并不执行函数，只是通过 JSON 信息指示函数的调用。
• JSON 模式：明确要求 LLM 生成有效的 JSON。
• 工具使用：允许 LLM 选择多种工具，如图像生成、网页搜索以及函数调用。
• 引导生成：限制 LLM 生成遵循特定标准的文本。
• GPT 操作：ChatGPT 根据指定的端点和参数调用操作。

这些术语可能会有些混乱，因此该列表被命名为 "Awesome LLM JSON"。

托管模型

项目列举了支持生成结构化输出的多个托管 API 模型：

• Anthropic 的 Claude 系列模型
• AnyScale 的 Mistral 和 Mixtral 系列模型
• Azure 的各种 GPT 和 Mistral 模型
• 还有来自 Cohere、Fireworks.ai、Google、Groq、Hugging Face TGI、OpenAI、Rysana、Together AI 等多家提供商的模型

这些托管模型支持多种并行函数调用，如同时查询多个城市的天气信息或进行复杂的问答事务。

本地模型

提供了一些本地模型：

• Mistral、C4AI Command R+、Hermes 2 Pro、Gorilla OpenFunctions v2、NexusRaven-V2、Functionary 等
• 这些模型允许本地实现函数调用和 JSON 结构化输出，适合需要进行深度定制和优化的用户。

Python 库

项目中还列举了一系列用于 LLM 的 Python 库：

• DSPy：优化提示和权重的框架。
• LangChain：提供对于工具链和其他工具的集成。
• Pydantic：简化数据结构和 JSON 操作。
• 还有其他如指导、Instruct、Marvin、Outlines、LlamaIndex 等众多库，均为不同的应用场景提供支持。

博客文章

项目推荐了一系列博客文章，帮助深入了解结构化生成、函数调用以及与 Pydantic 等工具的结合和应用。这些文章提供实践经验和性能提升的方法。

视频资源

提供了丰富的视频资源，介绍如何使用工具执行函数调用和生成结构化数据。其中包括如 GPT Extracting Unstructured Data、Hermes 2 Pro Overview 等视频。

Jupyter 笔记本

项目分享了使用 Jupyter Notebook 的示例，展示了通过不同的库和框架进行函数调用和生成结构化数据的演示。

排行榜

项目还包括了 伯克利函数调用排行榜（BFCL），这是一个针对 LLM 在多种编程语言中进行函数调用能力的评估框架，关注简单、多功能并行函数调用及函数相关性检测的表现。

通过这些资源，awesome-llm-json 项目为开发者和研究人员使用大语言模型生成 JSON 和其他结构化输出提供了全面的参考。