HDFS Commands Guide HDFS Commands Guide. 1 3.1概述... 1 3.2 用戶命令... 1 3.2.1 classpath. 1 3.2.2 dfs. 1 3.2.3 envvars. 1 3.2.4 fetchdt. 1 3.2.5 fsck. 1 3. ...
HDFS Commands Guide
3.1概述
所有HDFS命令都是用hdfs調用。運行hdfs可以輸出所有的命令。
語法：hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND_OPTIONS]
Hadoop 有一些通用的選項：
|
COMMAND_OPTIONS |
Description |
|
SHELL_OPTIONS |
Shell命令選項集合. 命令文檔 Commands Manual |
|
GENERIC_OPTIONS |
支持多個命令的選項，haddoop命令文檔 Commands Manual |
|
COMMAND COMMAND_OPTIONS |
這種命令及他們的選項，包括了 User Commands 和 Administration Commands |
3.2 用戶命令
用於用戶hadoop cluster
3.2.1 classpath
語法：hdfs classpath [--glob |--jar <path> |-h |--help]
|
COMMAND_OPTION |
Description |
|
--glob |
expand wildcards |
|
--jar path |
Classpath指向一個jar包 |
|
-h, --help |
print help |
列印classpath需要獲取hadoop的jar包並且需要的lib。如果調用不帶參數，會輸出命令腳本setup的classpath，classpath包含了通配符。其他的選項列印classpath通配符擴展後的classpath，或者把classpath寫入到jar包的manifest。
3.2.2 dfs
語法：hdfs dfs [COMMAND [COMMAND_OPTIONS]]
在hadoop支持的文件系統上，運行文件系統命令。各種COMMAND_OPTIONS可以在 File System Shell Guide 查看。
3.2.3 envvars
語法：hdfs envvars
輸出hadoop環境變數
3.2.4 fetchdt
語法hdfs fetchdt <opts> <token_file_path>
|
COMMAND_OPTION |
Description |
|
--webservice NN_Url |
連接到nn的url(starts with http or https) |
|
--renewer name |
刷新nameoftoken |
|
--cancel |
取消token |
|
--renew |
刷新token，token必須已經通過fetched–renewername獲取 |
|
|
列印token |
|
token_file_path |
保存token的路徑 |
從namenode 獲取token，具體查看：fetchdt
3.2.5 fsck
hdfs fsck <path>
[-list-corruptfileblocks |
[-move | -delete | -openforwrite]
[-files [-blocks [-locations | -racks | -replicaDetails | -upgradedomains]]]
[-includeSnapshots] [-showprogress]
[-storagepolicies] [-maintenance]
[-blockId <blk_Id>]
|
COMMAND_OPTION |
Description |
|
path |
開始檢查這個路徑 |
|
-delete |
刪除損壞的文件 |
|
-files |
列印已經被檢查的文件 |
|
-files -blocks |
列印blockreport |
|
-files -blocks -locations |
列印每個block的位置 |
|
-files -blocks -racks |
列印datanode位置的拓撲 |
|
-files -blocks -replicaDetails |
列印每個副本的細節 |
|
-files -blocks -upgradedomains |
列印每個block的upgradedomain |
|
-includeSnapshots |
如果path或者子目錄表明瞭快照表目錄，快照表目錄包含了快照數據 |
|
-list-corruptfileblocks |
列印丟失的塊或者文件 |
|
-move |
移動損壞的文件到/lost+found |
|
-openforwrite |
以寫入方式打開的文件 |
|
-showprogress |
Print out dots for progress in output. Default is OFF (no progress). |
|
-storagepolicies |
輸出塊的存儲策略 |
|
-maintenance |
輸出維護的node狀態細節 |
|
-blockId |
輸出塊的信息 |
運行HDFS文件系統檢查工具，具體查看： fsck
3.2.6 getconf
hdfs getconf -namenodes
hdfs getconf -secondaryNameNodes
hdfs getconf -backupNodes
hdfs getconf -includeFile
hdfs getconf -excludeFile
hdfs getconf -nnRpcAddresses
hdfs getconf -confKey [key]
|
COMMAND_OPTION |
Description |
|
-namenodes |
獲取集群的namenodes |
|
-secondaryNameNodes |
獲取集群的secondarynamenodes |
|
-backupNodes |
獲取集群的backupnodes |
|
-includeFile |
允許Datanode join到集群的文件列表 |
|
-excludeFile |
不允許datanodejoin到集群的文件列表 |
|
-nnRpcAddresses |
namenode rpc 地址 |
|
-confKey [key] |
從配置文件中獲取指定的key |
3.2.7 groups
hdfs groups [username ...]
返回給定用戶或多個用戶的group信息。
3.2.8 httpfs
hdfs httpfs
啟動httpfs服務，HDFS HTTP網關
3.2.9 lsSnapshottableDir
hdfs lsSnapshottableDir [-help]
獲取snapshottable目錄。當以super user用戶運行，會返回所有的snapshottable目錄。否則範圍屬於該用戶所有的目錄。
3.2.10 jmxget
hdfs jmxget [-localVM ConnectorURL | -port port | -server mbeanserver | -service service]
|
COMMAND_OPTION |
Description |
|
-help |
print help |
|
-localVM ConnectorURL |
connect to the VM on the same machine |
|
-port mbean server port |
specify mbean server port, if missing it will try to connect to MBean Server in the same VM |
|
-server |
specify mbean server (localhost by default) |
|
-service NameNode|DataNode |
specify jmx service. NameNode by default. |
Dump 服務的jmx信息
3.2.11 oev
hdfs oev [OPTIONS] -i INPUT_FILE -o OUTPUT_FILE
輸入：
|
COMMAND_OPTION |
Description |
|
-i,--inputFile arg |
edits file to process, xml 尾碼表示xml文件,任何其他文件名錶示bianry文件 |
|
-o,--outputFile arg |
輸出的文件名. 如果文件已經存在，那麼就會被覆蓋，文件的格式由-p決定。 |
選項：
|
COMMAND_OPTION |
Description |
|
-f,--fix-txids |
重新編號事務id，修複gap或者不可用的事務id |
|
-h,--help |
顯示使用的信息並且退出 |
|
-r,--recover |
  更多相關文章
一周排行
 所有分類
|