HDFS笔记

Hadoop 分布式 文件系统。特点：性能高、效率高、速度快 可以在廉价的机器上运行的 可容错 文件系统。 当集群中有机器挂掉时，HDFS会自动将挂掉的机器上的任务分配给正常的机器，使任务继续保持正常工作。

，Chukwa Chukwa可以将各种各样类型的数据收集成适合Hadoop处理的文件保存在HDFS中供Hadoop进行各种MapReduce操作。Chukwa本身也提供了很多内置的功能，帮助我们进行数据的收集和整理。

所以Hive是用进行数据提取转换加载的，而且它可以把SQL转换为MapReduce任务，而Hive的表就是HDFS的目录或者文件。

Java的学习课程：对Java有基本认知。学习Java基础，包括Java语言、Java语法和各种基本算法，了解代码从写好到实现之间的流程。数据库开发，主要包括SQL基础、JDBC编程和JDBC高级应用。

一边看视频，一边记笔记，把重点都记下来，还一边跟着老师敲代码，为了能尽早学会Java。每天都坚持学5-6个小时。经常学到晚上一点多才睡觉。星期六，日不用上班，每天7点多起床，学到晚上11，12点。

cs201 全栈软件工程师免费下载 链接：https：//pan.baidu.com/s/1uvC9DjwH3O3qemDwhmO_OA 提取码：djxg 全栈工程师是指掌握多种技能，胜任前端与后端，能利用多种技能独立完成产品的人。

hadoop常用shell命令怎么用

使用方法：hadoop fs -cat URI [URI …]将路径指定文件的内容输出到stdout。

root用户根目录下的.profile文件）-input，-output这是都是执行hadoop命令的参数。

hadoop查看每个目录的路径需要验证数据。点击shell命令，hadoopfscountq目录ps，查看目录下总的大小。dfscount目录ps，一样的，hadoopfsdu目录ps，查看目录下每个子目录的路径。

常见的在伪分布式环境下使用的Shell命令包括：start-dfs.sh启动分布式文件系统、start-yarn.sh启动资源管理器、hadoop fs操作分布式文件系统、hadoop jar运行Hadoop任务等。

打开Linux终端，输入以下命令来创建一个用户。su password：useradd hadoop passwd hadoop New passwd：Retype new passwd SSH设置和密钥生成 SSH设置需要在集群上做不同的操作，如启动，停止，分布式守护shell操作。

完成Hadoop的安装以后，再安装Spark（Local模式）。使用hadoop用户名登录进入Linux系统，启动Hadoop，参照相关Hadoop书籍或网络资料，或者也可以参考本教程官网的“实验指南”栏目的“HDFS操作常用Shell命令”。

如何在linux脚本中执行hdfs命令

1、通过“-get 文件按1 文件2”命令将HDFS中某目录下的文件复制到本地系统的某文件中，并对该文件重新命名。

2、打开Vmware虚拟机，打开三个虚拟机。打开SecureCRT软件，分别连接到三个虚拟机中，在其中书写linux命令。在master虚拟机中，进入hadoop/bin目录。

3、实验：在master上执行 ssh hadoop2 实现无密码登陆。3 配置Hadoop 1拷贝hadoop 将hadoop-0.tar.gz ，拷贝到usr/local 文件夹下，然后解压。

4、HDFS支持权限控制，但支持较弱。HDFS的设计是基于POSIX模型的，支持按用户、用户组、其他用户的读写执行控制权限。

5、安装hadoop 1 因为hadoop是基于java的，所以要保证hadoop能找到在本地系统中大路径，即正确设置java的环境变量。