使用Active NameNode,StandbyNameNode两个节点解决单点问题。两个结点通过JounalNode共享状态(主备一致) 通过ZKFC选举Active实现自动切换(防止脑裂)
1. 环形缓冲区其实是一个字节数组,在MapTask.MapOutputBuffer中定义的。数组中存放着key、value的序列化数据和key、value的元数据信息2. key/value的元数据存储的格式是int类型,每个key/value对应一个元数据,元数据由4个int组成
可以使用OpenResty进行接收数据,相比较Nginx的话,要好用的多,并且安全,操作简单,OpenResty是Nginx和Lua脚本的整合版,可以对接前端埋点和后端的redis、kafka等等进行消息处理,并且更为稳定。
无名管道概念:无名管道是一种特殊类型的文件,在应用层体现为两个打开的文件描述符。
1、数据只能从管道的一端写入,从另一端读出。2、写入管道中的数据遵循先入先出的规则。3、管道所传送的数据是无格式的,这要求管道的读出方与写入方必须事先约定好数据的格式,如多少字节算一个 消息等。