加入收藏 | 设为首页 | 会员中心 | 我要投稿 西安站长网 (https://www.029zz.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 建站 > 正文

对比Flink与Storm性能,分布式实时计算框架该这样选

发布时间:2019-06-28 00:31:30 所属栏目:建站 来源:梦瑶
导读:副标题#e# 一、背景 Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm(以下简称Storm)在美团点评实时计算业务中已有较为成熟的运用,有管理平台、常用 API 和相应的文档,大量实时作业基于 Storm 构建。 Apach

② Identity 单线程作业延迟

对比Flink与Storm性能,分布式实时计算框架该这样选

Identity 单线程作业延迟

采用 outTime - eventTime 作为延迟,图中蓝色折线为 Storm,橙色折线为 Flink。虚线为 99 线,实线为中位数。

从图中可以看出随着数据量逐渐增大,Identity 的延迟逐渐增大。其中 99 线的增大速度比中位数快,Storm 的 增大速度比 Flink 快。

其中 QPS 在 80000 以上的测试数据超过了 Storm 单线程的吞吐能力,无法对 Storm 进行测试,只有 Flink 的曲线。

对比折线最右端的数据可以看出,Storm QPS 接近吞吐时延迟中位数约 100 毫秒,99 线约 700 毫秒,Flink 中位数约 50 毫秒,99 线约 300 毫秒。Flink 在满吞吐时的延迟约为 Storm 的一半。

③ Sleep吞吐量

对比Flink与Storm性能,分布式实时计算框架该这样选

Sleep 吞吐量

从图中可以看出,Sleep 1 毫秒时,Storm 和 Flink 单线程的吞吐均在 900 条/秒左右,且随着并发增大基本呈线性增大。

对比蓝色和橙色的柱形可以发现,此时两个框架的吞吐能力基本一致。

④ Sleep 单线程作业延迟(中位数)

对比Flink与Storm性能,分布式实时计算框架该这样选

Sleep 单线程作业延迟(中位数)

依然采用 outTime - eventTime 作为延迟,从图中可以看出,Sleep 1 毫秒时,Flink 的延迟仍低于 Storm。

⑤ Windowed Word Count 单线程吞吐量

对比Flink与Storm性能,分布式实时计算框架该这样选

Windowed Word Count 单线程吞吐量

单线程执行大小为 10 的计数窗口,吞吐量统计如图。

从图中可以看出,Storm 吞吐约为 1.2 万条/秒,Flink Standalone 约为 4.3 万条/秒。Flink 吞吐依然为 Storm 的 3 倍以上。

(编辑:西安站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读