全国旗舰校区

不同学习城市 同样授课品质

北京

深圳

上海

广州

郑州

大连

武汉

成都

西安

杭州

青岛

重庆

长沙

哈尔滨

南京

太原

沈阳

合肥

贵阳

济南

下一个校区
就在你家门口
+
当前位置:首页  >  技术干货

HBase数据写入流程分析

发布时间:2022-08-25 17:48:00
发布人:qyf

HBase数据写入流程分析

  1、向 zookeeper 发起请求,获得 META 所在的 region,再根据 table、namespace、rowkey 信息去 META 表中找到目标数据对应的 Region 信息以及 Regionserver(ROOT 表从 0.96 版本开始已经被淘汰)

  2、把数据分别写到 HLog 和 MemStore 上各一份

  * MemStore 达到一个阈值后则会把数据刷成一个 StoreFile 文件落到磁盘,同时将内存中的数据删除,并删除 Hlog 中的历史数据。在 Hlog 中做标记点,若 MemStore 中的数据有丢失,则可以从 HLog 上恢复;

  * 当多个 StoreFile 文件达到一定的大小后,会触发 Compact 合并操作,合并为一个 StoreFile,这里同时进行已标记删除数据的版本合并和实际数据的删除。

  * 当 Compact 后,逐步形成越来越大的 StoreFile 后,Region 也会达到 Split 的阈值,会触发 Split 操作,把一个大的 region 分割成两个 region(细粒度来看其实也是 StoreFile 的分割)。

  更多关于“大数据培训”的问题,欢迎咨询千锋教育在线名师。千锋教育多年办学,课程大纲紧跟企业需求,更科学更严谨,每年培养泛IT人才近2万人。不论你是零基础还是想提升,都可以找到适合的班型,千锋教育随时欢迎你来试听。

相关文章

为什么工业控制领域多用PLC?

为什么工业控制领域多用PLC?

2023-10-14
Java为什么不使用多继承??

Java为什么不使用多继承??

2023-10-14
IT驻场与软件外包有什么区别?

IT驻场与软件外包有什么区别?

2023-10-14
ITSS各级别之间有什么联系?

ITSS各级别之间有什么联系?

2023-10-14

最新文章

常见网络安全面试题:Windows常用的命令有哪些?

常见网络安全面试题:Windows常用的命令有哪些?

2023-10-09
常见网络安全面试题:根据设备告警如何展开排查?

常见网络安全面试题:根据设备告警如何展开排查?

2023-10-09
常见网络安全面试题:mysql加固呢?(数据库加固)

常见网络安全面试题:mysql加固呢?(数据库加固)

2023-10-09
常见网络安全面试题:windows和linux加固?(操作系统加固)

常见网络安全面试题:windows和linux加固?(操作系统加固)

2023-10-09
在线咨询 免费试学 教程领取