AutoMQ：通过将持久性分离到S3和EBS实现的云优先Kafka替代方案

</div> <p align="center"> 🔥&nbsp <a href="https://www.automq.com/quick-start#Cloud?utm_source=github_automq_cloud" target="_blank" ><b>免费试用AutoMQ商业版</b></a>&nbsp&nbsp&nbsp 📑&nbsp <a href="https://docs.automq.com/docs/automq-opensource/HSiEwHVfdiO7rWk34vKcVvcvn2Z?utm_source=github" target="_blank" ><b>文档</b></a>&nbsp&nbsp&nbsp 📃&nbsp <a href="https://www.automq.com/blog/introducing-automq-cloud-native-replacement-of-apache-kafka?utm_source=github" target="_blank" ><b>AutoMQ简介</b></a> </p>

---

🍵 AutoMQ与其他流处理平台对比

<table> <tr> <th>特性</th> <th>AutoMQ</th> <th>Apache Kafka</th> <th>Confluent</th> <th>Apache Pulsar</th> <th>Redpanda</th> <th>Warpstream</th> </tr> <tr> <td>Apache Kafka兼容性[1]</td> <td colspan="3">原生Kafka</td> <td>非Kafka</td> <td colspan="2">Kafka协议</td> </tr> <tr> <td>源代码可用性</td> <td>是</td> <td>是</td> <td>否</td> <td>是</td> <td>是</td> <td>否</td> </tr> <tr> <td>无状态Broker</td> <td>是</td> <td>否</td> <td>否</td> <td>是</td> <td>否</td> <td>是</td> </tr> <tr> <td>发布者延迟(P99)</td> <td colspan="5">个位数毫秒延迟</td> <td><a href="https://www.warpstream.com/blog/warpstream-benchmarks-and-tco">> 620毫秒</a></td> </tr> <tr> <td>持续自平衡</td> <td>是</td> <td>否</td> <td>是</td> <td>是</td> <td>是</td> <td>是</td> </tr> <tr> <td>扩缩容</td> <td>秒级</td> <td>小时/天级</td> <td>小时级</td> <td>小时级<br>(缩容);<br> 秒级<br>(扩容)</td> <td>小时级<br>秒级 (仅企业版)</td> <td>秒级</td> </tr> <tr> <td>竞价实例支持</td> <td>是</td> <td>否</td> <td>否</td> <td>否</td> <td>否</td> <td>是</td> </tr> <tr> <td>分区重新分配</td> <td>秒级</td> <td>小时/天级</td> <td>小时级</td> <td>秒级</td> <td>小时级<br>秒级 (仅企业版)</td> <td>秒级</td> </tr> <tr> <td>组件</td> <td>Broker</td> <td colspan="2">Broker<br>Zookeeper<br>(非KRaft)</td> <td>Broker<br>Zookeeper<br>Bookkeeper<br>Proxy(可选)</td> <td>Broker</td> <td>Agent<br>MetadataServer</td> </tr> <tr> <td>持久性</td> <td>由S3/EBS保证[2]</td> <td colspan="2">由ISR保证</td> <td>由Bookkeeper保证</td> <td>由Raft保证</td> <td>由S3保证</td> </tr> <tr> <td>跨可用区网络费用</td> <td>无</td> <td colspan="4">有</td> <td>无</td> </tr> </table>

[1] Apache Kafka兼容性的定义来自这篇博客。

[2] EBS持久性：在Azure、GCP和阿里云上，区域性EBS副本跨多个可用区。在AWS上，通过向不同可用区的EBS和S3 Express One Zone双写确保持久性。

🔶 为什么选择AutoMQ

• 成本效益高：首个真正的云原生流存储系统，为云上最佳成本和效率而设计。参考此报告了解我们如何在云上将Apache Kafka账单削减90%。
• 高可靠性：利用云共享存储服务（EBS和S3）实现零RPO、秒级RTO和99.999999999%的持久性。
• 无服务器：
  • 自动扩缩容：监控集群指标并自动扩缩容以适应您的工作负载，实现按需付费模式。
  • 秒级扩缩容：计算层（Broker）无状态，可在秒级内扩缩容，使AutoMQ成为真正的无服务器解决方案。
  • 无限可扩展：利用云对象存储作为主要存储解决方案，消除存储容量的担忧。
• 低管理成本：内置自动均衡器组件自动在Broker之间调度分区和网络流量，无需手动重新分配分区。
• 高性能：
  • 低延迟：利用高性能EBS作为WAL加速写入，实现个位数毫秒延迟。
  • 高吞吐量：利用预取、批处理和并行技术最大化云对象存储的能力。

  参考AutoMQ性能白皮书了解我们如何实现这一点。

• Apache Kafka的卓越替代品：与Apache Kafka 100%兼容，不丢失任何关键功能，但更便宜、更好。

✨架构

AutoMQ采用共享存储架构，以存储计算分离的方式用名为S3Stream的共享流存储库替换Apache Kafka的存储层，使Broker完全无状态。 与传统的Kafka共享无状态或分层存储架构相比，AutoMQ的计算层（Broker）是真正无状态的，实现了自动扩缩容、自平衡和秒级分区重分配等功能，显著降低了成本并提高了效率。

⛄ 开始使用AutoMQ

在单机上本地部署

curl https://download.automq.com/community_edition/standalone_deployment/install_run.sh | bash

这是运行AutoMQ最简单的方式。你可以在本地机器上体验秒级分区重分配和持续自平衡等功能。了解更多

还有更多部署选项可供选择：

• 在5个节点的Linux上部署
• 在Kubernetes上部署（仅企业版）
• 运行在Ceph / MinIO / CubeFS / HDFS上
• 在阿里云市场上试用AutoMQ
• 在AWS市场上试用AutoMQ

💬 社区

你可以加入以下群组或频道，讨论或询问有关AutoMQ的问题：

• 通过GitHub Issues提问或报告错误
• 通过Slack或微信群讨论AutoMQ或Kafka

👥 如何贡献

如果你发现AutoMQ存在问题，请打开GitHub Issues。 要为AutoMQ做出贡献，请参阅行为准则和贡献指南。 我们有一系列适合新手的问题，可以帮助你入门、获得经验并熟悉我们的贡献流程。要认领一个问题，只需在问题下回复"pick up"，AutoMQ维护者就会将问题分配给你。如果你对"适合新手的问题"有任何疑问，请随时询问。我们将尽最大努力解答你的任何疑问。

AutoMQ商业版

AutoMQ的商业版提供了一个强大且易用的控制平面，帮助你轻松管理集群。同时，与社区版相比，控制平面在可用性和可观察性方面更加强大。

你可以在这里查看社区版和商业版之间的差异。

AutoMQ商业版免费试用

为了让用户无障碍体验AutoMQ商业版的功能，点击这里申请无义务的集群试用，并在留言输入框中注明"AutoMQ Cloud免费试用"。我们会立即在云端为你初始化一个AutoMQ Cloud控制台，并给你控制台的地址。然后，你就可以使用控制台创建AutoMQ集群或进行扩缩容等操作。

无需绑定信用卡，完全免费。我们期待收到你的宝贵反馈，以使我们的产品更好。如果你想进行正式的POC，也可以通过联系我们联系我们。我们将进一步支持你的正式POC。

🙋 联系我们

想了解更多，与我们的产品专家交流。