HBase的Compact流程
发布时间:2022-08-25 17:46:00
发布人:qyf
在 HBase 中每当有 memstore 数据 flush 到磁盘之后,就形成一个 StoreFile,当 StoreFile 的数量达到一定程度后,就需要将 StoreFile 文件来进行 Compact 操作。Compact 的作用如下:
* 清除过期,多余版本的数据。 * 合并文件,减少需要检索的文件数量,提高读数据的效率。
HBase 中实现了两种 Compact 的方式:Minor 和 Major. 这两种 Compact 方式的区别是:
* Minor 操作会获取相邻的部分小StoreFile来执行合并操作,不做清理多版本数据和删除数据的操作,尽量不影响集群的正常工作。 * Major 操作是对 Region下的Store的所有StoreFile执行合并操作,输出成一个StoreFile,这是一个比较耗费资源的操作,所以不宜频繁Major Compact。
更多关于“大数据培训”的问题,欢迎咨询千锋教育在线名师。千锋教育多年办学,课程大纲紧跟企业需求,更科学更严谨,每年培养泛IT人才近2万人。不论你是零基础还是想提升,都可以找到适合的班型,千锋教育随时欢迎你来试听。