neosync

项目简介

Neosync 是一个专为开发者设计的开源工具，用于匿名化个人可识别信息 (PII)、生成合成数据以及同步环境，从而改善测试、调试和开发者体验。公司使用 Neosync 来处理以下任务：

1. 安全测试生产数据 - 匿名化敏感的生产数据，以便在本地安全使用，从而获得更好的测试和开发者体验。
2. 本地再现生产错误 - 匿名化并获取生产数据的子集，以便快速高效地在本地再现生产错误。
3. 为底层环境提供高质量数据 - 在生产环境之前捕获错误，通过使用类似生产数据充实你的中台和 QA 环境。
4. 解决合规问题 - 使用匿名化和合成数据来减少合规范围，轻松遵守 HIPAA、GDPR、DPDP 等法规。
5. 为开发数据库初始化数据 - 使用合成数据轻松为单元测试、演示等初始化开发数据库。

功能特点

• 生成合成数据：根据您的数据模式生成合成数据。
• 匿名化现有生产数据：改善开发者体验。
• 获取生产数据库的子集：使用任意 SQL 查询进行本地和 CI 测试。
• 完整的异步流水线：自动处理任务重试、失败和回放，采用事件源模型。
• 数据的参照完整性：自动维护。
• 基于声明式的 GitOps 配置：在 CI 流水线中作为一个步骤对 CI 数据库进行充实。
• 预构建数据转换器：适用于所有主要数据类型。
• 自定义数据转换器：使用 JavaScript 或 LLMs。
• 预构建的集成：支持 Postgres、MySQL、S3。

快速入门

Neosync 采用完全容器化的设置，简化了启动和运行的流程。在项目根目录包含一个 compose.yml 文件，其中包含了生产映像引用，只需几个命令即可运行，无需在系统中构建任何东西。

Neosync 使用新版本的 docker compose 命令，因此需要确保您的机器上已经安装了该命令。

要启动 Neosync，请将代码库克隆到本地目录，确保在您的电脑上安装并运行 Docker，然后执行：

make compose/up

要停止运行，执行：

make compose/down

Neosync 将在 http://localhost:3000 上运行。生产环境的 compose 已预设连接和任务，您可以直接运行生成和同步任务来观察 Neosync 的具体操作。

Kubernetes、认证模式及更多

有关环境变量、Kubernetes 部署和生产就绪指南的更详细信息，请查看我们的文档部分“部署 Neosync”。

资源支持

以下资源可帮助您更好地使用 Neosync：

• 文档 提供全面的文档和指南。
• Discord 用于与社区和 Neosync 团队进行讨论。
• X 获得最新的更新信息。

如何贡献

我们欢迎各种形式的贡献。下面是一些您可以为 Neosync 作出贡献的方法：

• 加入我们的 Discord 频道，随时向我们提问。
• 提交一个 PR（参见我们关于本地开发 Neosync 的说明）。
• 提交功能请求或错误报告。

许可证

我们坚信自由和开源软件，因此这个项目可以在 MIT Expat 许可证下获取。