全国旗舰校区

不同学习城市 同样授课品质

北京

深圳

上海

广州

郑州

大连

武汉

成都

西安

杭州

青岛

重庆

长沙

哈尔滨

南京

太原

沈阳

合肥

贵阳

济南

下一个校区
就在你家门口
+
当前位置:首页  >  技术干货

什么是持久化数据结构?

发布时间:2023-10-11 07:08:09
发布人:xqq

一、什么是持久化数据结构

持久化存储,其实主要是针对内存数据的,以典型的Redis来说,持久化存储主要有三种方式:

1、RDB

RDB: 保存某个时间点的全量数据快照

触发方式

1. save: 阻塞Redis的服务器进程,直到RDB文件被创建完毕

2. bgsave: fork出子进程来创建RDB文件,不阻塞服务器进程, lastsave 指令可以查看最近的备份时间

3. 根据redis.conf里的save m n配置定时触发(用的是BGSAVE)

4. 主从复制时,主节点自动触发

5. 执行debug relaod命令

6. 执行shutdown且没有开启AOF持久化

2、AOF

AOF: 增量存储命令

触发方式

1. BGREWRITEAOF: 增量追加命令

2. 根据redis.conf里的appendfsync配置定时触发

3. AOF文件重写

3、混合持久化

为解决AOF文件启动加载慢,不利于快速恢复的缺点,RedisV4.0提供了新的持久化方式——混合持久化。

混合持久化的文件内容: [RDB file][AOF tail]

持久化过程:

1. 将重写(rewrite)这一刻之前的数据做RDB快照处理

2. 将RDB快照内容和AOF增量命令先后写入新的AOF临时文件

3. 重写完成后,对AOF临时文件改名,并覆盖旧的AOF文件

在redis重启的时候,可以先加载RDB文件,然后再重放增量的AOF日志就可以完全替代之前的AOF全量文件重放,因此能大幅提高重启效率提高。

延伸阅读:

二、可持久化实际应用

1.几何计算

在几何计算中有许多离线算法,例如悬线扫描法,其基本策略是一次扫描后给出所有询问的回答,在时间复杂度分析相当优异。但在强迫在线的情况下,每次都要进行一次悬线扫描,询问操作的时间复杂度就从对数时间降为线性。

为了解决时间复杂度上的问题,在这里可以引入可持久化的思维。我们将扫描线的时间轴作为一个变动依据,持久化相关的结构,只要我们能将询问在对数时间内穿梭于这个时间轴,必能动态解决先前的问题。

2.字串处理

为了达到非常高效率的合并操作,防止大量重复性字串的生成伴随的效能退化,使得各方面的操作都能远低于线性操作。如C++中的rope就是一个可持久化的数据结构。不只是字串操作。若处理类型有大量重复操作,均可以考虑将数据结构进行可持久化处理,以达到压缩时间开支的效果。

3.版本回溯

实际上就是对应大部分的应用软体中的redo/undo。如果资料库/操作变动为了高效率操作而会配上复杂的结构(并不像 hash, set 反转操作只需要常数或对数时间),那么为了快速回推变动结果,持久化结构就是要减少 redo/undo 的花费。

资料库本身可以常数回推,纪录变动的部分情况即可。而应用层的计算,大部分实作都是砍掉快取,并且重新计算出一份新的结构,有时候回推的变动大小为 m,为了重新计算结构而消耗了 n + m n+mn+m,如果 n nn 和 m mm 的差距非常大,那连续回推的体感就很糟糕。

#it技术干货

相关文章

sybase数据库是用了什么数据结构?

sybase数据库是用了什么数据结构?

2023-10-11
软件架构如何能够满足ASPICE流程?

软件架构如何能够满足ASPICE流程?

2023-10-11
为什么不存在引用的数组?

为什么不存在引用的数组?

2023-10-11
红黑树为什么叫红黑树?

红黑树为什么叫红黑树?

2023-10-11

最新文章

常见网络安全面试题:Windows常用的命令有哪些?

常见网络安全面试题:Windows常用的命令有哪些?

2023-10-09
常见网络安全面试题:根据设备告警如何展开排查?

常见网络安全面试题:根据设备告警如何展开排查?

2023-10-09
常见网络安全面试题:mysql加固呢?(数据库加固)

常见网络安全面试题:mysql加固呢?(数据库加固)

2023-10-09
常见网络安全面试题:windows和linux加固?(操作系统加固)

常见网络安全面试题:windows和linux加固?(操作系统加固)

2023-10-09
在线咨询 免费试学 教程领取