加入收藏 | 设为首页 | 会员中心 | 我要投稿 西安站长网 (https://www.029zz.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

百分点大数据评测报告:开源OLAP引擎综评(HAWQ、Presto、ClickHouse)

发布时间:2020-01-22 23:30:04 所属栏目:大数据 来源:至顶网至顶Labs频道
导读:副标题#e# 谈到大数据就会联想到Hadoop、Spark整个生态的技术栈。大家都知道开源大数据组件种类众多,其中开源OLAP引擎包含Hive、SparkSQL、Presto、HAWQ、ClickHouse、Impala、Kylin等。当前企业对大数据的研究与应用日趋理性,那么,如何根据业务特点,选

通过对比测试结果可以发现,在相同的数据量查询SQL情况下,ClickHouse对比HAWQ、Presto有数量级的性能优势。由于我们的业务更多是单表的Ad-Hoc查询和分析,因此本次评测最终采用ClickHouse作为我们的OLAP引擎。 

同时,测试过程中我们也发现一些有意思的现象,如:

(1)  HAWQ对查询都是全表扫描,如类似Select * from where c1=xxx limit 10查询,而Presto则对扫描的结果直接返回。

(2)  HAWQ查询会使用到系统缓存,而Presto对这方面并没有特别的优化。表现出的现象就是,在一定的并发度下,HAWQ反而会体现出缓存的优势,而Presto性能则呈现线性下降趋势。 

详细见测试过程的详细记录及图形化的直观展现。

并发1查询性能:

 百分点大数据评测报告:开源OLAP引擎综评(HAWQ、Presto、ClickHouse)

百分点大数据评测报告:开源OLAP引擎综评(HAWQ、Presto、ClickHouse)

并发10查询性能:

百分点大数据评测报告:开源OLAP引擎综评(HAWQ、Presto、ClickHouse)

 

百分点大数据评测报告:开源OLAP引擎综评(HAWQ、Presto、ClickHouse)

 

 

并发20查询性能:

百分点大数据评测报告:开源OLAP引擎综评(HAWQ、Presto、ClickHouse)

4.其它扩展测试

Presto单机多Worker:

百分点大数据评测报告:开源OLAP引擎综评(HAWQ、Presto、ClickHouse)

(编辑:西安站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读