大数据治理需要具备哪些能力和关键技术？

通过大数据治理来提升数据质量的过程中，涉及到很多环节、工作和技术，其中包括：通过合理的技术找出数据问题并找到问题数据；从各个维度监控数据问题，并能通过最直观和快捷的方式反馈给相关责任人；实现问题发现、认责、处理、归档等数据问题的闭环解决流程等。中间主要涉及到以下两个方面：

第一，要想及时全面地找到问题数据，不仅要关注关键点，还要有合适的方法。数据最容易出现质量问题的地方就是数据集成（流动）点，例如：性别在单系统中，有1和0或者男和女表示都行，但是系统间集成时就会有问题。因此，解决数据质量的关键，就在于在集成点检查数据质量。另外，针对大数据量的数据质量检查，即要保证实时性，也要保证不影响业务系统的正常运行，因此在对特别大的数据量进行检查时，要采用抽样检查的方式。

第二，数据问题发现后，还要直观地将数据问题展现出来并及时通知相关人员。因此大数据治理平台应提供实时、全面的数据监控，实现多维度实时的数据资产信息展示：

从作业、模型、物理资源等各方面进行全面的数据资产盘点；

对数据及时性、问题数据量等方面的数据健康环境进行全面的预警。

3、用起来：自助化数据服务构建技术

大数据治理的最终目标是为最终用户提供数据，这需要快速找到数据，并快速建立数据交换的通道。

知识图谱是一种非常好用、直观的数据应用方式。人工智能的知识图谱构建，可以从以下步骤考虑：

基于企业元数据信息，通过自然语言处理、机器学习、模式识别等算法，以及业务规则过滤等方式，实现知识的提取；

以本体形式表示和存储知识，自动构建成起资产知识图谱；

通过知识图谱关系，利用智能搜索、关联查询等手段，为最终用户提供更加精确的数据。

基于元数据的自助数据服务开发，可以简单快速地建立数据通道。通过自助化的数据生产线，数据使用方（业务人员）大大减少了对开发人员依赖，80%以上的数据需求，都能通过自己进行整合开发，最终获取数据。让所有用数据的人能方便得到想要的数据。其中，提供所需数据的自助查询能力、自动生成数据服务、及时稳定的获得数据通道、保证数据安全是实现自助化的大数据生产线的四个关键点。

三、如何选择合适的大数据治理工具？

工欲善其事必先利其器，大数据治理的落地开展离不开工具的支撑。大数据治理工具一般分为两类：一类是单个工具，另一类是集成平台，用于不同的阶段、场景和客户。其中，单独工具有：元数据、数据质量、主数据等，集成平台包括数据资产管理、数据治理平台、自助服务平台等。

下面重点介绍其中两个核心的工具：一个是元数据，另一个是自助数据服务平台；

1、大数据治理的核心——元数据管理工具

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!