Milvus Backup: 保护和恢复您的 Milvus 数据

Milvus Backup 简介

Milvus Backup 是 Zilliz 公司为 Milvus 向量数据库开发的一款强大的数据备份和恢复工具。它旨在为 Milvus 用户提供一种简单而有效的方式来保护和恢复他们的宝贵数据。无论是数据迁移、灾难恢复还是版本控制,Milvus Backup 都能满足用户的各种需求。

主要特性

支持通过命令行和 RESTful API 进行操作,适应不同的使用场景
对 Milvus 实例的性能影响极小,可在生产环境中安全使用
支持全量和增量备份,灵活满足不同的备份需求
提供异步备份和恢复功能,适合大规模数据操作
集成 Minio 对象存储,确保备份数据的安全性和可靠性

安装和配置

要开始使用 Milvus Backup,您有两种选择:

从 GitHub Release 页面下载预编译的二进制文件。建议选择标记为 "Latest" 的最新版本。
从源代码编译:

git clone git@github.com:zilliztech/milvus-backup.git
cd milvus-backup
go get
go build

Mac 用户还可以使用 Homebrew 进行安装:

brew install zilliztech/tap/milvus-backup

安装完成后,您需要配置 backup.yaml 文件,主要包括 Milvus 代理和 Minio 集群的访问信息。请注意,配置可能因 Milvus 的部署方式(Docker Compose 或 Kubernetes)而有所不同。

Milvus Backup architecture

使用方法

Milvus Backup 提供了两种主要的使用方式:命令行界面(CLI)和 RESTful API。

命令行界面

使用 CLI 可以快速执行备份和恢复操作。以下是一些常用命令:

创建备份:

./milvus-backup create -n my_backup

列出所有备份:

./milvus-backup list

恢复备份:

./milvus-backup restore -n my_backup -s _recover

RESTful API

启动 API 服务器:

./milvus-backup server

服务器默认监听 8080 端口。您可以通过 -p 参数更改端口。

API 服务启动后,您可以通过 http://localhost:8080/api/v1/docs/index.html 访问 Swagger UI,查看完整的 API 文档。

以下是一些常用的 API 调用示例:

创建备份:

curl --location --request POST 'http://localhost:8080/api/v1/create' \
--header 'Content-Type: application/json' \
--data-raw '{
  "async": true,
  "backup_name": "test_backup",
  "collection_names": [
    "test_collection1","test_collection2"
  ]
}'

列出所有备份:

curl --location --request GET 'http://localhost:8080/api/v1/list' \
--header 'Content-Type: application/json'

恢复备份:

curl --location --request POST 'http://localhost:8080/api/v1/restore' \
--header 'Content-Type: application/json' \
--data-raw '{
    "async": true,
    "collection_names": [
    "test_collection1"
  ],
    "collection_suffix": "_bak",
    "backup_name":"test_backup"
}'