在這裡我給大家繼續分享一些關於HDFS分散式文件的經驗哈,其中包括一些hdfs的基本的shell命令的操作,再加上hdfs java程式設計。在前面我已經寫了關於如何去搭建hadoop這樣一個大數據平臺,還沒搭好環境的童鞋可以轉到我寫的這篇文章 "Hadoop在Ubuntu的安裝" ,接下來就開始我 ...
在這裡我給大家繼續分享一些關於HDFS分散式文件的經驗哈,其中包括一些hdfs的基本的shell命令的操作,再加上hdfs java程式設計。在前面我已經寫了關於如何去搭建hadoop這樣一個大數據平臺,還沒搭好環境的童鞋可以轉到我寫的這篇文章Hadoop在Ubuntu的安裝,接下來就開始我們本次的經驗分享啦。
HDFS的Shell命令操作
HDFS的格式化與啟動
首次使用HDFS時,需要使用format 命令進行格式化
./bin/hdfs namenode -format
使用start-dfs.sh命令啟動HDFS,可 使用JPS命令查看是否成功啟動
./sbin/start-dfs.sh
下麵的圖片是啟動失敗的截圖,那麼怎麼解決這個問題呢。
HDFS啟動失敗
首先需要停止hdfs,這也是操作完hdfs的必要步驟。
./sbin/stop-dfs.sh
刪除tmp/dfs目錄下的data文件夾
rm -r ./tmp/dfs/data
最後重新執行HDFS的格式化與啟動操作。
啟動成功包括出現NameNode、SecondDaryNameNode、以及DataNode。
HDFS支持的命令
查看hdfs支持的所有命令
./bin/hdfs dfs
Ps:查看hadoop下put
的使用方法
./bin/hadoop fs -help put
HDFS文件系統中目錄創建操作
創建用戶目錄
Hadoop系統安裝好以後,第一次使用HDFS時,需要首先在HDFS中創建用戶目錄。
./bin/hdfs dfs -mkdir -p /user/hadoop
用查詢命令查看我們在路徑user下麵創建的文件夾hadoop
./bin/hdfs dfs -ls /user
創建二級目錄
在hadoop目錄下再創建一個input文件夾
./bin/hdfs dfs -mkdir /user/hadoop/input
根目錄下創建目錄
在hadoop根目錄下創建一個input文件夾
./bin/hdfs dfs -mkdir /input
HDFS文件系統中目錄刪除操作
刪除在hadoop根目錄下麵創建的input文件夾
./bin/hdfs dfs -rm -r /input
可以看到,hadoop根目錄下的input文件夾已經被我們成功刪除,現在只有存在user目錄。
Hadoop的文件操作
創建文件的方式
在當前環境目錄下創建hello.txt文件,這裡介紹兩種方法。
number one
touch hello.txt
打開hello.txt文件,並寫入如下內容並保存。
hello world
gedit hello.txt
number t two
利用vim編輯創建hello.txt。
vim hello.txt
關於vim怎麼建立簡單的文本文件我就不在這裡解釋了,不會的童鞋可以找找度娘。
傳輸文件
利用put命令將創建的hello.txt文件上傳到user/hadoop/input的目錄
./bin/hdfs dfs -put ./hello.txt /user/hadoop/input
/bin/hdfs dfs -ls /user/hadoop/input
在user/hadoop/input目錄下利用cat命令查看hello.txt文件內容
./bin/hdfs dfs -cat /user/hadoop/input/hello.txt
HDFS中的文件下載到本地文件系統
使用-get命令將HDFS中的hello.txt文件下載到本地文件系統中的/home/hadoop/Desktop這個目錄下:
./bin/hdfs dfs -get /user/hadoop/input/hello.txt /home/hadoop/Desktop
本次給大家分享的內容就到這裡啦,覺得還不錯的點個贊支持一下小編,你的肯定就是小編前進的動力。另外如果想瞭解更多電腦專業的知識和技巧的,獻上我的個人博客北徯,另外需要各種資料的童鞋,可以關註我的微信公眾號北徯,免費的PPT模板,各種資料等你來領。