hadoop上传文件夹到hdfs
发布时间:2023-03-15 10:02:00
发布人:wjy
要将本地文件夹上传到Hadoop分布式文件系统(HDFS),可以使用以下命令:
hadoop fs -put /本地文件夹路径 /HDFS目标路径
例如,如果要将本地文件夹“/home/user/data”上传到HDFS的“/user/hadoop/data”目录下,可以使用以下命令:
hadoop fs -put /home/user/data /user/hadoop/data
执行该命令后,Hadoop会将本地文件夹“/home/user/data”中的所有文件和子文件夹上传到HDFS的“/user/hadoop/data”目录下。
需要注意的是,如果HDFS目标路径不存在,Hadoop会自动创建该目录。如果目标路径已经存在,则会将本地文件夹中的文件覆盖到目标路径下的同名文件。如果需要避免覆盖文件,可以在上传文件夹时使用“-n”的参数,例如:
hadoop fs -put -n /home/user/data /user/hadoop/data
该命令会将本地文件夹中的文件上传到HDFS的“/user/hadoop/data”目录下,如果遇到同名文件,则跳过不上传,不会覆盖已有文件。