json_repair

json_repair 项目介绍

项目概述

json_repair 是一个简单却功能强大的 Python 库，用于修复无效的 JSON 字符串。它能够在保存数据完整性的同时，自动修正常见的 JSON 格式错误。项目的初衷是为了解决在使用大语言模型（LLMs）生成数据时可能遇到的格式问题——例如丢失的引号、缺少的逗号等。

项目动机

在应用大语言模型（LLMs）时，有时会得到格式不正确的 JSON 数据。这些错误可能看似繁杂，但大多数情况下，只需一些轻微的修改即可修复。最初，项目作者在寻找一个轻量级的 Python 包来解决这些问题时未果，因此创建了 json_repair。

尽管 OpenAI 的 API 提供了结构化输出的功能，但在某些情况下，结果仍然无法生成完全有效的 JSON。因此，这个工具仍然是必不可少的，用于覆盖这些小众问题。

支持的用例

json_repair 可以应用于多个常见问题场景中：

1. 修复 JSON 语法错误：解决包括缺少引号、错误的标点符号和未转义字符等问题。

2. 修复格式不正确的 JSON 数组和对象：通过添加必要的元素或默认值修补不完整的数组或对象。

3. 自动填补缺失的 JSON 值：用合理的默认值（如空字符串或 null）填补缺失的字段以确保数据的完整性。

如何使用

首先，通过 pip 安装这个库：

pip install json-repair

在代码中使用如下：

from json_repair import repair_json

good_json_string = repair_json(bad_json_string)
# 如果字符串损坏严重，将返回一个空字符串

您甚至可以用 json_repair 完全替换 json.loads()，以更简便的方式解析 JSON。

注意事项

• 当处理非拉丁字符时，务必传递 ensure_ascii=False 以保留这些字符。
• 在某些情况下，通过设置 return_objects=True 或 skip_json_loads=True 可以提高性能。
• 在命令行界面（CLI）上安装同样简单：

pipx install json-repair

性能考虑

为提高库的可用性，json_repair 避免使用任何快速 JSON 库以免产生外部依赖。用户在提高性能时，可以根据实际需求使用不同的参数。

在其他编程语言中的实现

对应于 json_repair，还有其他编程语言的实现，包括 TypeScript、Go 和 Ruby 等。

开发和发布

这个项目采用严格的测试驱动开发（TDD）和语义版本控制。开发者可以通过增量式更新和提交来触发 GitHub Actions，从而自动发布到 PyPI。

json_repair 是一个专注于实用性和易用性的项目，它不仅帮助开发者在面对格式问题时节省时间，同时也提供了一种处理从 LLM 输出中提取数据的可靠方法。