Amazon MSK 现在提供高达 29 的吞吐量提升和最高 24 的成本降低,支持 AWS G

Amazon MSK 获得 AWS Graviton3 支持,提升 29% 吞吐量与 24% 降低成本

重点内容

  • Amazon MSK 现支持 Graviton3,提升吞吐量的同时降低计算成本。
  • M7g 实例提供最高 29% 的读写吞吐量与最高 24% 的计算成本节省。
  • M7g 实例配备 DDR5 内存,带来更高的内存带宽和存储吞吐量。
  • 使用 M7g 实例,客户能提高 Kafka 工作负载的性能和效率。

在今天的更新中,我们很高兴地宣布,Amazon 管理型流式处理 Apache Kafka(Amazon MSK)现已通过 AWS Graviton3提供更高效的处理能力。新的 M7g 实例为 MSK 提供全新的性能优势,使得 Kafka 负载的吞吐量更高、成本更低。

Amazon MSK 是一种完全托管的服务,允许您利用 Apache Kafka 处理流数据。通过使用 M7g 实例,您可以在运行 MSK集群时获得更好的价格性能。以 M7g.4xlarge 实例为例,与 M5.4xlarge 实例相比,可以实现高达 27% 的 CPU 使用率降低和高达 29% 的读写吞吐量提升。此外,M7g 实例的价格更低,使得计算成本较 M5 实例降低最高 24%。

M7g 实例规格

以下是 Amazon MSK 上 M7g 实例的规格:

名称vCPUs内存网络带宽存储带宽
M7g.large28 GiB最大 12.5 Gbps最大 10 Gbps
M7g.xlarge416 GiB最大 12.5 Gbps最大 10 Gbps
M7g.2xlarge832 GiB最大 15 Gbps最大 10 Gbps
M7g.4xlarge1664 GiB最大 15 Gbps最大 10 Gbps
M7g.8xlarge32128 GiB15 Gbps10 Gbps
M7g.12xlarge48192 GiB22.5 Gbps15 Gbps
M7g.16xlarge64256 GiB30 Gbps20 Gbps

M7g 实例在 Amazon MSK 的应用

越来越多的组织采用 Amazon MSK 进行实时数据捕捉与分析、机器学习(ML)工作流的运行,以及构建事件驱动架构。Amazon MSK能够减少运营开销,提供更高的可用性与耐久性。使用 M7g 实例可以显著节省计算成本,同时提升性能。

我们看到,为了评估 M7g 实例的表现,很多客户执行 Latency 敏感或吞吐量受限的工作负载。在这篇文章中,我们将重点介绍 M7g实例在吞吐量受限工作负载中的表现。通过提供更高的网络和存储吞吐量,M7g 实例每个代理的吞吐量明显高于 M5 集群。

性能比较

我们的测试设置包括 M7g.4xlarge 实例和 M5.4xlarge 实例,均为三节点的集群且分布在不同的可用区,启用了 TLS 加密及 AWS身份与访问管理(IAM)认证。我们生成了一定负载,并进行了比较。通过吞吐量图,可以看到 M7g.4xlarge 实例提供了高达 54 MB/s的写入吞吐量,较 M5 基于代理的 40 MB/s 增加了 29%。

删除)

在资源使用方面,M7g 实例在支持更高吞吐量的同时,CPU 的使用率也更低,平均为 40%,相比之下 M5 的 CPU 使用率为 47%。

![CPU删除)

成本降低,运营负担减轻,更高的弹性

自推出以来,Amazon MSK 已使运行 Kafka工作负载变得更具成本效益,并提高了整体的韧性。客户可以在多个可用区中运行代理,而无需担忧额外的网络费用。此外,借助于 2022年推出的分层存储(Tiered Storage),客户能够以 50% 更低的成本获取几乎无限的存储。

借助 M7g 实例,Amazon MSK 进一步减少了计算成本,同时提供性能的提升。客户在转向 Amazon MSK 后,可以使用 Amazon MSKConnect 和 Amazon MSK Replicator 等特性,降低运营开销并提高弹性。

价格与区域

M7g实例现已在亚太(东京、孟买、新加坡、悉尼)、欧洲(斯德哥尔摩、西班牙、爱尔兰)和美国(弗吉尼亚北部、俄亥俄州、加利福尼亚北部、俄勒冈州)等多个区域提供。有关 Graviton3 实例的定价信息,请参见 。

总结

本文讨论了使用基于 Graviton 的 M7g 实例所实现的性能提升。这些实例在读写吞吐量方面,相比于同尺寸的 M5实例,提供了显著的改善。要开始使用,可以通过 创建新集群,并参考 Amazon MSK 获取更多信息。


作者介绍

![SaiMaddali](https://d2908q01vomqb2.cloudfront.net/b6692ea5df920cad691c20319a6fffd7a4a766b8/2023/11/24/Sai- 删除) Sai Maddali 是 AWS 的高级产品经理,负责 Amazon MSK的产品团队,热衷于理解客户需求,并利用科技提供服务,帮助客户构建创新应用。

![Umesh删除) Umesh Chaudhari 是 AWS 的流媒体解决方案架构师,致力于与客户共同设计和构建实时数据处理系统。

![Lanre删除) Lanre Afod 是 AWS 全球金融服务解决方案架构师,热衷于帮助客户在 AWS 云中构建安全、可扩展、高可用的架构。

Leave a Reply

Required fields are marked *