HDFS文件系統基本信息

HDFS作為分散式存儲的文件系統，有其對數據的路徑表達方式。
HDFS同Linux系統一樣，均是以/作為根目錄的組織形式

1. Linux： /usr/local/hello.txt
2. HDFS： /usr/local/hello.txt

命令行

# 老版本用法
hadoop fs [generic options]

# 新版本用法
hdfs dfs [generic options]

創建文件夾

hadoop fs -mkdir [-p] <path>
hdfs dfs -mkdir [-p] <path>

path 為待創建的目錄
-p選項的行為與Linux mkdir -p一致，它會沿著路徑創建父目錄。

查看指定目錄下內容

hadoop fs -ls [-h] [-R] [<path> ...]
hdfs dfs -ls [-h] [-R] [<path> ...]

path 指定目錄路徑
-h 人性化顯示文件size
-R 遞歸查看指定目錄及其子目錄

上傳文件到HDFS指定目錄下

hadoop fs -put [-f] [-p] <localsrc> ... <dst>
hdfs dfs -put [-f] [-p] <localsrc> ... <dst>

-f 覆蓋目標文件（已存在下）
-p 保留訪問和修改時間，所有權和許可權。
localsrc 本地文件系統（客戶端所在機器）
dst 目標文件系統（HDFS）

查看HDFS文件內容

hadoop fs -cat <src> ...
hdfs dfs -cat <src> ...

讀取指定文件全部內容，顯示在標準輸出控制台。
讀取大文件可以使用管道符配合more
hadoop fs -cat <src> | more
hdfs dfs -cat <src> | more

下載HDFS文件

hadoop fs -get [-f] [-p] <src> ... <localdst>
hdfs dfs -get [-f] [-p] <src> ... <localdst>

下載文件到本地文件系統指定目錄，localdst必須是目錄
-f 覆蓋目標文件（已存在下）
-p 保留訪問和修改時間，所有權和許可權。

拷貝HDFS文件

hadoop fs -cp [-f] <src> ... <dst>
hdfs dfs -cp [-f] <src> ... <dst>

-f 如果存在則force覆蓋目標文件

HDFS數據移動操作

hadoop fs -mv <src> ... <dst>
hdfs dfs -mv <src> ... <dst>

移動文件到指定文件夾下
可以使用該命令移動數據，重命名文件的名稱

HDFS數據操作(追加和刪除)

追加數據到HDFS文件中

hadoop fs -appendToFile <localsrc> ... <dst>
hdfs dfs -appendToFile <localsrc> ... <dst>

將所有給定本地文件的內容追加到給定dst文件。
dst如果文件不存在，將創建該文件。
如果<localSrc>為-，則輸入為從標準輸入中讀取。

HDFS數據刪除操作

hadoop fs -rm -r [-skipTrash] URI [URI ...]
hdfs dfs -rm -r [-skipTrash] URI [URI ...]

刪除指定路徑的文件或文件夾
-skipTrash 跳過回收站，直接刪除

開啟回收站功能

回收站功能預設關閉，如果要開啟需要在core-site.xml內配置：
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
 
<property>
<name>fs.trash.checkpoint.interval</name>
<value>120</value>
</property>

# fs.trash.interval 保留分鐘數, 1440就是一天
# fs.trash.checkpoint.interval 多久掃描一次
無需重啟集群，在哪個機器配置的，在哪個機器執行命令就生效。
回收站預設位置在：/user/用戶名(hadoop)/.Trash

HDFS WEB瀏覽

http://node1:9870/explorer.html#/

HDFS shell其它命令

https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/FileSystemShell.html