HBase读写底层实现

前言

HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。下面就让我们看看它的读写底层实现的过程。

HBase写的实现过程

图片说明

如图:
1.Client访问Zookeeper,查找ROOT-表,获取.META表信息。从.META表查找,获取目标数据的Region信息,从而找到对应的RegionServer并发送写请求。
2.把数据分别写到HLog和MemStore上各一份:(写操作只写到内存即可,提高HBase的IO性能)
3.MemStore达到一个阈值后则把数据刷成一个HFile文件。
4.当多个HFile文件达到一定大小后,会触发Compact合并操作,合并为一个StoreFile。
5.当StoreFile大小超过一定阈值后,会把当前的Region切分(Split)为两个,并由Hmaster分配到相应的HRegionServer,实现负载均衡。

HBase 读数据流程

1.Client访问Zookeeper,查找ROOT-表,获取.META表信息。从.META表查找,获取存放目标数据的Region信息,从而找到对应的RegionServer并发送读请求。
2.读请求先到MemStore中查找数据,查不到就到BlockCache中查,再查不到就会到StoreFile上读,并把读的结果放入BlockCache。
BlockCache采用LRU策略和分级缓存策略,当BlockCache的大小达到上限后,会触发缓存淘汰机制,将最老的一批数据淘汰掉。

全部评论

相关推荐

难怪不开摄像头,全是简单的性格题,比大疆友善多了
NULL10086:今早上发的测评,我这还没做呢,官网上已经显示挂了
投递大疆等公司7个岗位
点赞 评论 收藏
分享
弦五Strings:他之所以会举报你代课是因为在这种人眼里正常上课就是正义代课就是邪恶,典型二极管思维,处理方法就是私下沟通,你就说你自己家里经济困难或者家里父母生病什么之类的,需要去打工挣钱,用尽孝的正义对冲他认为的上课的正义,他可能就妥协了。
我的实习日记
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务