SQL on Hadoop在快手大数据平台的实践与优化

此外，HS2还支持配置多scratch，不同的scratch能设置加载比率，从而实现HDFS的均衡负载。

Hive Stage并发调度异常修复

Hive调度其中存在两个问题。

一、子Task非执行状态为完成情况的时候，若有多轮父Task包含子Task，导致子Task被重复加入调度队列。这种Case，需要将非执行状态修改成初始化状态。

二、当判断子Task是否可执行的过程中，会因为状态检测异常，无法正常加入需要调度的子Task，从而致使查询丢失Stage。而这种Case，我们的做法是在执行完成后，加入一轮Stage的执行结果状态检查，一旦发现有下游Stage没有完成，直接抛出错误，实现查询结果状态的完备性检查。

其它改进

• HS2实现了接口终止查询SQL。利用这个功能，可以及时终止异常SQL。
• metastore JDOQuery查询优化，关键字异常跳过，防止元数据长时间卡顿或者部分异常查询影响元数据。
• 增加开关控制，强制覆盖外表目录，解决insert overwrite外表，文件rename报错的问题。
• hive parquet下推增加关闭配置，避免parquet异常地下推OR条件，导致结果不正确。
• executeForArray函数join超大字符串导致OOM，增加限制优化。
• 增加根据table的schema读取分区数据的功能，避免未级联修改分区schema导致读取数据异常。




SQL on Hadoop平台在使用中遇到的痛点

为什么要开发SQL专家系统

•  部分用户并没有开发经验，无法处理处理引擎返回的报错。
• 有些错误的报错信息不明确，用户无法正确了解错误原因。
• 失败的任务排查成本高，需要对Hadoop整套系统非常熟悉。
• 用户的错误SQL、以及需要优化的SQL，大量具有共通性。人力维护成本高，但系统分析成本低。




SQL专家系统

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!