面试——走进企业的主要途径，无论是知名企业还是一般的小企业，都是要经过面试官层层把控的，尤其是对于大数据技术人才的招聘，更是要好几轮，要面对不同级别的面试官。

　　想要从众多的应聘者中脱颖而出还是有一定的难度的。那话又说回来，怎么才能赢得面试官的青睐?怎么样才能拿下心仪的工作?不怕，千锋大数据培训班的老师来帮忙，千锋独家秘制的大数据开发面试题免费分享，让你笑傲江湖。

　　1.hadoop运行原理

　　包括HDFS和Mapreduce两部分。

　　1)HDFS自动保存多个副本，移动计算。缺点是小文件存取占用namenode内存，写入只支持追加，不能随机修改。

　　它存储的逻辑空间称为block，文件的权限类似linux。整体架构分三种节点，NN,SNN,DN

　　NN 负责读写操作保存metadata(Ownership Permission blockinfo)

　　SNN 负责辅助NN合并fsimage和edits，减少nn启动时间

　　DN 负责存数据，每个数据(文件)分割成若干block，每个block默认3个副本。启动后像NN发送心跳保持联系

　　NN保存的metadata在hdfs启动后加载到计算机内存，除block位置信息的metadata保存在OS文件系统中的fsimage文件中，对metadata的操作日志保存在OS文件系统中的edits文件中。block位置信息是hdfs启动后由DN上报NN再加载到内存的。

　　HDFS的安全模式：直到NN完全加载完metadata之前的这段时间。期间不能写入文件，DN检查各个block完整性，并修复。

　　2)MapReduce

　　离线计算框架，过程分为split map shuffle reduce四个过程

　　架构节点有：Jobtracker TaskTracker

　　Split将文件分割，传输到mapper，mapper接收KV形式的数据，经过处理，再传到shuffle过程。

　　Shuffle先进行HashPartition或者自定义的partition，会有数据倾斜和reduce的负载均衡问题;再进行排序，默认按字典排序;为减少mapper输出数据，再根据key进行合并，相同key的数据value会被合并;末后分组形成(key,value{})形式的数据，输出到下一阶段

　　Reduce输入的数据就变成了，key+迭代器形式的数据，再进行处理

　　2.MapReduce原理

　　逻辑上：

　　1、split

　　2、map

　　3、shuffle

　　4、reduce

　　四个过程

　　物理上：

　　JobTracker节点：JobTracker创建每一个Task(即MapTask和ReduceTask)

　　并将它们分发到各个TaskTracker服务中去执行。负责调度Job的每一个子任务task运行于TaskTracker上。

　　TaskTracker节点：运行在多个节点上的slaver服务。TaskTracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务。TaskTracker都需要运行在HDFS的DataNode上

　　3.hdfs存储机制

　　1) client端发送写文件请求，namenode检查文件是否存在，如果已存在，直接返回错误信息，否则，发送给client一些可用namenode节点

　　2) client将文件分块，并行存储到不同节点上datanode上，发送完成后，client同时发送信息给namenode和datanode

　　3) namenode收到的client信息后，发送确信信息给datanode

　　4) datanode同时收到namenode和datanode的确认信息后，提交写操作。

　　4.用mr设计一个分组排重计数算法

　　输入文件格式:二级域名,一级频道,二级频道,访问ip地址,访问者id

　　需求:按照二级域名,一级频道,二级频道分组,计算pageview数,计算独立ip数和独立访问者id数。

　　大数据产业已进入发展的“快车道”，急需大量优秀的大数据人才作为后盾。能够在大数据行业崛起的初期进入到这个行业当中来，才有机会成为时代的弄潮儿。技术在手，天下任我走;面试题我有，打遍天下无敌手!千锋大数据开发面试题免费分享，快去寻找自己心仪的工作吧!