2019大数据产业峰会|联通大数据李大中：联通大规模数据集群治理实践

5、智能分析集群用户画像与行为预测。这一块我们也做了尝试，采用ALS的理念，使用小波的分析方法，我们认为每天操作它的特征工程会绘制出来一个阴影面积，这个阴影面积有高有低，如果每天的采样点通过计算落在阴影面积内就认为是健康的，如果超出阴影面积而且长期超出的话，一定有很多在这个时间段内不应该做的或者特别敏感的特征做出来了。比方说我们也有数据清理，凌晨2点要进行大量过期日志的清理，这时候可能有大量的RM动作在里头。这个动作如果发生在10点钟，日志里面捞出来大量RM操作的话，那这一定是严重的问题。我们尝试根据这些特征构建一个自动化的东西，建立用户行为异常操作监测机制，发现问题规避故障。

我们的数据治理架构，里面包含的就是namnode的日志还有资源队列等等，还有hab的审计日志等等全部都采集上来进行解析，解析完以后，上面的引擎大家很熟悉了，都是通用的处理引擎，对外构建了两套东西，一个是数据治理构架，SaaS的画像，用户画像、用户异常行为画像、冗余计算画像、右面是元数据，基于自动采集内容进行的元数据管理的这些东西。从体系上来讲，刚才所说的内容是放到这块了，又加入了大数据资产管理的应用，大数据能力开发平台，底层又和ITSM CMDB和devops打通以后构成整体资产管理，是由底层自动化运维的东西和变现的东西有机打为一体，这样就持续保证系统进行稳定运行可供的状态。

三、大规模数据集群治理的效果收益

分享一下治理的成果。前面两个成果是业务支撑能力和租户运营治理，对内支撑正常的业务调度，对外将系统跟外部进行合作建模，这一个东西给公司带来的直接收入每年超过两千万。第三个成果是集群深度治理成果，对于算力和集群精细化的运营和加工，保守数字每年节省的固定资产投入上千万，

最后想谈一下大数据集群治理的实践总结。首先是高层支持力度非常关键，因为这是一项贯穿从采集到最终数据服务全链条，所有干系组织都要参与的工作，不是某个人每个组可以干成的。其次数据治理文化建设是核心，这种文化一定是自下而上自发协同的，不能以KPI的方式管理，因为我们也不知道治理最后要达到怎样的数值。只能采用OKR的方式，关注过程和结果，不断调整目标。第三这个项目治理是一个持久的工作，容易反复，要做好打持久战的准备。最后要拥抱并吃透开源技术，里面好多东西没有产品支撑，自己要深挖，需要有开创性的思维。

以上就是我的一些心得。谢谢大家！

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!