Ambry

Ambry是一个分布式对象存储系统,支持存储数万亿小型不可变对象(50K-100K)以及数十亿大型对象。它专门设计用于在网络公司存储和提供媒体对象。但它也可用作通用存储系统,用于存储数据库备份、搜索索引或业务报告。该系统具有以下特点:

高可用性和水平扩展性
低延迟和高吞吐量
针对小型和大型对象进行优化
成本有效
易于使用

需要至少JDK 1.8。

文档

详细文档可在 https://github.com/linkedin/ambry/wiki 获取

研究

在SIGMOD 2016发表的Ambry论文 -> http://dprg.cs.uiuc.edu/data/files/2016/ambry.pdf

如果您希望我们列出基于Ambry研究的论文,请发邮件至ambrydev@googlegroups.com。

入门

步骤 1:下载代码,构建并准备部署。

要获取最新代码并构建它,请执行以下操作:

$ git clone https://github.com/linkedin/ambry.git 
$ cd ambry
$ ./gradlew allJar
$ cd target
$ mkdir logs

Ambry使用提供有关集群信息的文件来路由来自前端到服务器的请求,以及在服务器之间进行复制。我们将使用包含一个服务器和一个分区的简单集群图。该分区将使用 /tmp 作为挂载点。

步骤 2:部署服务器。

$ nohup java -Dlog4j2.configurationFile=file:../config/log4j2.xml -jar ambry.jar --serverPropsFilePath ../config/server.properties --hardwareLayoutFilePath ../config/HardwareLayout.json --partitionLayoutFilePath ../config/PartitionLayout.json > logs/server.log &

通过此命令,我们配置log4j属性,为服务器提供配置选项和集群定义,并将输出重定向到日志。记下返回的进程ID(serverProcessID),因为它将用于关闭。日志将位于logs/server.log。或者,您可以更改log4j属性以将日志消息写入文件而不是标准输出。

步骤 3:部署前端。

$ nohup java -Dlog4j2.configurationFile=file:../config/log4j2.xml -cp "*" com.github.ambry.frontend.AmbryFrontendMain --serverPropsFilePath ../config/frontend.properties --hardwareLayoutFilePath ../config/HardwareLayout.json --partitionLayoutFilePath ../config/PartitionLayout.json > logs/frontend.log &

记下返回的进程ID(frontendProcessID),因为它将用于关闭。确保前端已准备好接受请求。

$ curl http://localhost:1174/healthCheck
GOOD

日志将位于logs/frontend.log。或者,您可以更改log4j属性以将日志消息写入文件而不是标准输出。

步骤 4:与Ambry互动!

我们现在可以开始将数据存储和检索到Ambry中了。让我们从存储一个简单的图像开始。出于演示目的,我们将使用已复制到target文件夹中的demo.gif图像。

POST

$ curl -i -H "x-ambry-service-id:CUrlUpload"  -H "x-ambry-owner-id:`whoami`" -H "x-ambry-content-type:image/gif" -H "x-ambry-um-description:Demonstration Image" http://localhost:1174/ --data-binary @demo.gif
HTTP/1.1 201 Created
Location: AmbryID
Content-Length: 0

CUrl命令创建一个包含demo.gif二进制数据的POST请求。除了文件数据,我们还提供了作为blob属性的头。这些包括blob大小、服务ID、所有者ID和内容类型。除了这些属性,Ambry还提供了任意用户定义元数据的支持。我们提供x-ambry-um-description作为用户元数据。Ambry不会解释此数据,它仅用于用户注释。响应中的Location头是我们刚刚上传的blob的ID。

GET - Blob信息

现在我们已经存储了一个blob,让我们验证一下上传的blob的一些属性。

$ curl -i http://localhost:1174/AmbryID/BlobInfo
HTTP/1.1 200 OK
x-ambry-blob-size: {Blob size}
x-ambry-service-id: CUrlUpload
x-ambry-creation-time: {Creation time}
x-ambry-private: false
x-ambry-content-type: image/gif
x-ambry-owner-id: {username}
x-ambry-um-desc: Demonstration Image
Content-Length: 0

GET - Blob

既然我们已经验证Ambry能正确返回属性,那么让我们获取实际的blob。

$ curl http://localhost:1174/AmbryID > demo-downloaded.gif
$ diff demo.gif demo-downloaded.gif 
$

这证实了在POST请求中发送的数据与我们在GET中收到的数据完全一致。如果你想看这个图像,只需在浏览器中访问http://localhost:1174/AmbryID就可以看到刚刚上传的图像!

DELETE

Ambry是一个不可变的存储,blob不能更新,但可以删除以使其不可检索。让我们删除刚刚创建的blob。

$ curl -i -X DELETE http://localhost:1174/AmbryID
HTTP/1.1 202 Accepted
Content-Length: 0

您将无法再检索blob属性或数据。

$ curl -i http://localhost:1174/AmbryID/BlobInfo
HTTP/1.1 410 Gone
Content-Type: text/plain; charset=UTF-8
Content-Length: 17
Connection: close

Failure: 410 Gone

步骤 5:停止前端和服务器。

$ kill -15 frontendProcessID
$ kill -15 serverProcessID

您可以查看日志以确认服务已关闭。

其他信息:

除了上面演示的简单API外,Ambry还提供了仅获取用户元数据的GET和HEAD功能。除了演示的二进制数据POST,Ambry还支持通过CUrl或Web表单上传multipart/form-data。其他值得关注的功能包括:

生存时间(TTL): 在POST时,可以通过添加名为x-ambry-ttl的头来提供TTL(以秒为单位)。这意味着Ambry将在TTL到期后停止提供该blob。在GET时,过期的blob的行为与已删除的blob相同。
私有: 在POST时,通过提供值为true的x-ambry-private头可以将blob标记为私有。可以根据blob是公开还是私有来配置API行为。