怎么使用Shell脚本判断HDFS文件/目录是否存在

这篇文章主要介绍“怎么使用Shell脚本判断HDFS文件/目录是否存在”，在日常操作中，相信很多人在怎么使用Shell脚本判断HDFS文件/目录是否存在问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”怎么使用Shell脚本判断HDFS文件/目录是否存在”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

创新互联公司是一家专注于成都做网站、成都网站制作与策划设计,华蓥网站建设哪家好?创新互联公司做网站,专注于网站建设十载,网设计领域的专业建站公司;建站业务涵盖:华蓥等地区。华蓥做网站价格咨询:18982081108

1 文档编写目的

本文主要讲述如何使用Shell脚本判断HDFS文件或目录是否存在，算是一个小技巧吧，这几天做PoC的时候感觉还挺有用的。因为HDFS设计的是“一次写入，多次读取”，不可以修改数据，只能追加或者删除，所以，如果目标文件或目录在HDFS上已经存在的话，则无法创建成功。

测试环境：

操作系统版本为Redhat7.2

CM和CDH版本为5.11.2

文章目录结构：

1. 文档编写目的

2. 测试原理

3. Shell脚本测试

3.1 测试路径是否存在

3.2 测试目录是否存在

3.3 测试文件是否存在

4. 总结

2 测试原理

通过hadoop fs -test来判断文件或者目录是否存在，一次只能传递一个测试参数。

Usage: hadoop fs -test -[defsz] URI

-test: Only one test flag is allowed

Options:

-d: if the path is a directory, return 0.

-e: if the path exists, return 0.

-f: if the path is a file, return 0.

-s: if the path is not empty, return 0.

-z: if the file is zero length, return 0.

比如判断HDFS上的某个文件目录是否存在，可以执行如下命令：

hadoopfs -test -d $path #判断目录是否存在

hadoopfs -test -e $path #判断路径（文件或者目录）是否存在

3 Shell脚本测试

3.1 测试路径是否存在

1、准备测试目录，包含一个文件和一个文件夹

[root@bigdata60 ~]# hadoop fs -ls /user/wdtest

Found 2 items

drwxr-xr-x - fusionuser wdtest 0 2018-07-03 13:26 /user/wdtest/.fusion

-rw-r--r-- 3 fusionuser wdtest 908 2018-07-06 22:37 /user/wdtest/hosts

怎么使用Shell脚本判断HDFS文件/目录是否存在

2、编写测试脚本如下：

#!/bin/sh

path=$1

hadoop fs -test -e $path

if [ $? -eq 0 ]; then

echo "Path is exist!"

else

echo "Path is not exist!"

3、执行“./etest.sh /user/wdtest”命令，运行测试脚本，验证输出结果

怎么使用Shell脚本判断HDFS文件/目录是否存在

3.2 测试目录是否存在

1、编写测试脚本如下：

#!/bin/sh

path=$1

hadoop fs -test -d $path

if [ $? -eq 0 ]; then

echo "Directory is exist!"

else

echo "Directory is not exist!"

2、分别执行“./dtest.sh /user/wdtest”命令和“./dtest.sh /user/wdtest/aa”命令，运行测试脚本，验证输出结果

怎么使用Shell脚本判断HDFS文件/目录是否存在

3.3 测试文件是否存在

1、编写测试脚本如下：

#!/bin/sh

path=$1

hadoop fs -test -f $path

if [ $? -eq 0 ]; then

echo "File is exist!"

else

echo "File is not exist!"

2、分别执行“./ftest.sh /user/wdtest/hosts”命令和“./dtest.sh /user/wdtest/host”命令，运行测试脚本，验证输出结果

怎么使用Shell脚本判断HDFS文件/目录是否存在

4 总结

1、通过hadoop fs -test -[defsz] URI 可以判断HDFS文件或目录是否存在，-test一次只能传递一个测试参数，不能执行类似 hadoop fs -test -dfURI或者hadoop fs -test -d -f URI这种命令；

2、hadoop fs -test -[defsz] URI 返回值是不输出的，需要通过“$?”这个特殊变量获取返回值；

3、-s和-z命令我测试过，但觉得不怎么常用，所以没在文章中讲述，有兴趣可以自己测一下，比较简单，更换一下脚本参数即可；

4、判断HDFS文件目录是否存在后，可以执行比如创建、删除目录或文件等操作，当然还有一些更高级的玩法，这里就不演示了。

到此，关于“怎么使用Shell脚本判断HDFS文件/目录是否存在”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联网站，小编会继续努力为大家带来更多实用的文章！

网站标题：怎么使用Shell脚本判断HDFS文件/目录是否存在
浏览地址：http://lszwz.com/article/ppejgd.html

乐山网站建设