全国旗舰校区

不同学习城市 同样授课品质

北京

深圳

上海

广州

郑州

大连

武汉

成都

西安

杭州

青岛

重庆

长沙

哈尔滨

南京

太原

沈阳

合肥

贵阳

济南

下一个校区
就在你家门口
+
当前位置:首页  >  技术干货

fs.defaultfs详解

发布时间:2023-11-23 15:50:03
发布人:xqq

一、fs.defaultfs是什么

fs.defaultfs是Hadoop分布式文件系统中默认的文件系统URI。

在Hadoop集群中,有许多不同的文件系统可供选择,包括HDFS(Hadoop分布式文件系统)、S3、本地文件系统等等。fs.defaultfs指定我们在使用Hadoop分布式文件系统API时使用哪个文件系统。

例如,在以下示例代码中,如果我们未指定URI,则所使用的文件系统将为fs.defaultfs所配置的文件系统:


FileSystem fs = FileSystem.get(conf);

二、fs.defaultfs与Spark Jar文件处理

当我们使用Spark处理Hadoop文件系统中的Jar文件时,需要使用fs.defaultfs指定所选文件系统而不是本地文件系统。

以下是示例代码:


SparkConf conf = new SparkConf().setAppName("MyApp")
                                 .setMaster("local")
                                 .set("spark.jars", "hdfs://localhost:9000/path/to/your.jar")
                                 .set("spark.driver.extraClassPath", "hdfs://localhost:9000/path/to/your.jar")
                                 .set("spark.executor.extraClassPath", "hdfs://localhost:9000/path/to/your.jar")
                                 .set("fs.defaultfs", "hdfs://localhost:9000");
JavaSparkContext jsc = new JavaSparkContext(conf);

三、fs.defaultfs未设置的影响

如果您没有设置fs.defaultfs,则可能会在使用HDFS之外的文件系统时遇到问题。

例如,如果您试图使用以下代码创建一个在本地文件系统上的文件:


FileSystem fs = FileSystem.get(new Configuration());
Path path = new Path("/path/to/file");
FSDataOutputStream out = fs.create(path);

你可能会遇到如下异常:

java.lang.IllegalArgumentException: Wrong FS: file:/path/to/file, expected: hdfs://localhost:9000

这个异常是因为使用了配置为“fs.defaultfs”所描述的默认文件系统(在本例中为HDFS)。

四、使用fs.defaultfs创建ViewFS中的文件

ViewFS是一个允许用户将多个Hadoop文件系统视为单个文件系统的软件.

如果您想要在ViewFS中创建文件,请使用以下代码示例:


Configuration conf = new Configuration();
conf.set("fs.defaultfs", "viewfs://cmbc/");
FileSystem fs = FileSystem.get(conf);
Path path = new Path("/path/to/file");
FSDataOutputStream out = fs.create(path);
out.writeBytes("Hello World!");
out.close();

这里,“fs.defaultfs”指向ViewFS的默认文件系统。

请注意,“cmbc”是所需的ViewFs mount table的名称。mount table是一个XML文件,描述了如何将Hadoop文件系统挂在到ViewFS的命名空间。

五、fs.defaultfs和fs.defaultFs的区别

请注意,fs.defaultfs和fs.defaultFs是不同的配置属性。

fs.defaultFs是旧版的配置属性,而fs.defaultfs是新版的配置属性。

fs.defaultFs 提供了与fs.defaultfs相同的功能,但它已被弃用,不建议使用。

因此,为了保持兼容性,请使用fs.defaultfs而不是fs.defaultFs。

六、结论

在Hadoop分布式集群中,选择正确的文件系统非常重要。fs.defaultfs设置用于指定使用哪个文件系统,它可以与HDFS、ViewFS等文件系统一起使用。

Spark用户需要指定fs.defaultfs来确保能够使用Spark处理Hadoop文件系统中的jar文件。fs.defaultfs未设置可能会在使用HDFS之外的文件系统时遇到问题。

fs.defaultfs与fs.defaultFs是不同的配置属性,建议使用新版fs.defaultfs。

fs.defaultfs

相关文章

从多个方面Kibana删除索引

从多个方面Kibana删除索引

2023-11-23
c#region的综合使用介绍

c#region的综合使用介绍

2023-11-23
Vue Proxy代理原理详解

Vue Proxy代理原理详解

2023-11-23
linux查看wwn好,linux命令查看

linux查看wwn好,linux命令查看

2023-11-23

最新文章

武汉新媒体行业公司排名

武汉新媒体行业公司排名

2023-11-01
武汉新媒体就业现状好吗

武汉新媒体就业现状好吗

2023-11-01
武汉全媒体行业发展现状及趋势

武汉全媒体行业发展现状及趋势

2023-10-31
武汉全媒体现状

武汉全媒体现状

2023-10-31
在线咨询 免费试学 教程领取