主备NameNode一致性原理
发布时间:2022-09-02 15:41:18
发布人:wjy
hadoop采用QJM共享存储机制来确保主备NameNode的元数据尽量一致。 1. 启动一组奇数的JournalNode节点,主NameNode将操作日志并行写入本地和所有JournalNode节点,当超过一半JournalNode节点写入成功时判定为成功,遵循Paxos协议。 2. 备NN会定时检查JournalNode上的EditLog,将它拉回本地 3. 备NN会定期将本地的FS镜像文件和EditLog合并成新的镜像文件(保存最新的内存状态),传回主NN 4. 主NN更新本地的镜像文件,删除旧的日志 5. 发生主备切换时,选取最好的JN同步最新日志到本地(日志恢复机制),更新到最近状态
下一篇Hadoop如何防止脑裂