在今天的更新中,我们很高兴地宣布,Amazon 管理型流式处理 Apache Kafka(Amazon MSK)现已通过 AWS Graviton3提供更高效的处理能力。新的 M7g 实例为 MSK 提供全新的性能优势,使得 Kafka 负载的吞吐量更高、成本更低。
Amazon MSK 是一种完全托管的服务,允许您利用 Apache Kafka 处理流数据。通过使用 M7g 实例,您可以在运行 MSK集群时获得更好的价格性能。以 M7g.4xlarge 实例为例,与 M5.4xlarge 实例相比,可以实现高达 27% 的 CPU 使用率降低和高达 29% 的读写吞吐量提升。此外,M7g 实例的价格更低,使得计算成本较 M5 实例降低最高 24%。
以下是 Amazon MSK 上 M7g 实例的规格:
名称 | vCPUs | 内存 | 网络带宽 | 存储带宽 |
---|---|---|---|---|
M7g.large | 2 | 8 GiB | 最大 12.5 Gbps | 最大 10 Gbps |
M7g.xlarge | 4 | 16 GiB | 最大 12.5 Gbps | 最大 10 Gbps |
M7g.2xlarge | 8 | 32 GiB | 最大 15 Gbps | 最大 10 Gbps |
M7g.4xlarge | 16 | 64 GiB | 最大 15 Gbps | 最大 10 Gbps |
M7g.8xlarge | 32 | 128 GiB | 15 Gbps | 10 Gbps |
M7g.12xlarge | 48 | 192 GiB | 22.5 Gbps | 15 Gbps |
M7g.16xlarge | 64 | 256 GiB | 30 Gbps | 20 Gbps |
越来越多的组织采用 Amazon MSK 进行实时数据捕捉与分析、机器学习(ML)工作流的运行,以及构建事件驱动架构。Amazon MSK能够减少运营开销,提供更高的可用性与耐久性。使用 M7g 实例可以显著节省计算成本,同时提升性能。
我们看到,为了评估 M7g 实例的表现,很多客户执行 Latency 敏感或吞吐量受限的工作负载。在这篇文章中,我们将重点介绍 M7g实例在吞吐量受限工作负载中的表现。通过提供更高的网络和存储吞吐量,M7g 实例每个代理的吞吐量明显高于 M5 集群。
我们的测试设置包括 M7g.4xlarge 实例和 M5.4xlarge 实例,均为三节点的集群且分布在不同的可用区,启用了 TLS 加密及 AWS身份与访问管理(IAM)认证。我们生成了一定负载,并进行了比较。通过吞吐量图,可以看到 M7g.4xlarge 实例提供了高达 54 MB/s的写入吞吐量,较 M5 基于代理的 40 MB/s 增加了 29%。
删除)
在资源使用方面,M7g 实例在支持更高吞吐量的同时,CPU 的使用率也更低,平均为 40%,相比之下 M5 的 CPU 使用率为 47%。
 Sai Maddali 是 AWS 的高级产品经理,负责 Amazon MSK的产品团队,热衷于理解客户需求,并利用科技提供服务,帮助客户构建创新应用。
![Umesh删除) Umesh Chaudhari 是 AWS 的流媒体解决方案架构师,致力于与客户共同设计和构建实时数据处理系统。
![Lanre删除) Lanre Afod 是 AWS 全球金融服务解决方案架构师,热衷于帮助客户在 AWS 云中构建安全、可扩展、高可用的架构。
Leave a Reply