弥补MySQL和Redis短板：看HBase怎么确保高可用
发布时间：2019-03-26 16:05:54 所属栏目：建站 来源：张小渔
导读：副标题#e# HBase是一个基于Hadoop面向列的非关系型分布式数据库(NoSQL)，设计概念来源于谷歌的BigTable模型，面向实时读写、随机访问大规模数据集的场景，是一个高可靠性、高性能、高伸缩的分布式存储系统，在大数据相关领域应用广泛。 HBase系统支持对所存
|
在各类业务场景中，都存在跨HBase集群的数据同步的需求，比如数据在离线HBase集群和在线集群同步、多IDC集群数据同步等，对于HBase的数据同步来说，分为全量复制和增量复制两种方式。
HBase数据同步 在知乎HBase平台中，我们采用两种方式进行HBase集群间的数据同步： HBase Snapshot 全量数据复制我们采用了HBaseSnapshot的方式进行;主要应用在离线数据同步在线数据的场景; WALTransfer 主要用于HBase集群之间的的增量数据同步;增量复制我们没有采用HBaseReplication，相关同步方式我们通过自研的WALTransfer组件来对HBase数据进行增量同步; WALTransfer通过读取源数据HBase集群提供WAL文件列表，于HDFS集群中定位对应的WAL文件，将HBase的增量数据按序写入到目的集群，相关的细节我们会在以后的文章中详细解析。 十一、监控 从之前重构后的架构图上我们可以看到，在Kubas服务中我们添加了很多模块，这些模块基本属于HBase平台的监控管理模块。 1、Kubas-Monitor组件 基本的监控模块，采用轮询的方式发现新增HBase集群，通过订阅Zookeeper集群发现HBase集群Master以及Regionserver组。 （编辑：西安站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
