上傳hadoop-3.3.4.tar.gz到/export/server 解壓 tar -zxvf hadoop-3.3.4.tar.gz -C /export/server/ # 快捷方式 ln -s /export/server/hadoop-3.3.4 hadoop Hadoop安裝包目錄結構 ...
上傳hadoop-3.3.4.tar.gz到/export/server
解壓
tar -zxvf hadoop-3.3.4.tar.gz -C /export/server/
# 快捷方式
ln -s /export/server/hadoop-3.3.4 hadoop
Hadoop安裝包目錄結構
| 目錄 | 說明 |
|---|---|
| bin | 存放Hadoop的各類程式（命令） |
| etc | 存放Hadoop的配置文件 |
| sbin | 管理員程式（super bin） |
| include | C語言的一些頭文件 |
| lib | 存放Linux系統的動態鏈接庫（.so文件） |
| libexec | 存放配置Hadoop系統的腳本文件（.sh和.cmd） |
| licenses-binary | 存放許可證文件 |
| share | 存放二進位源碼（Java jar包） |
配置集群
- workers：配置從節點（DataNode）有哪些
- hadoop-env.sh：配置Hadoop的相關環境變數
- core-site.xml：Hadoop核心配置文件
- hdfs-site.xml：HDFS核心配置文件
這些文件均存在與 HADOOP_HOME/etc/hadoop文件夾中。
HADOOP_HOME:/export/server/hadoop, 這個後期配置成環境變數
cd /export/server/hadoop/etc/hadoop/
# 配置workers文件
vim workers
# 填入node1 node2 node 3
# 配置hadoop-env.sh文件
# 填入以下內容
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
# 配置core-site.xml文件
# 在文件內部填入如下內容
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:8020</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
</configuration>
| Key | 含義 | 值 | 備註 |
|---|---|---|---|
| fs.defaultFS | HDFS文件系統的網路通訊路徑 | hdfs://node1:8020 | 協議為hdfs://,namenode為node1,namenode通訊埠為8020 |
| io.file.buffer.size | io操作文件緩衝區大小 | 131072 bit |
hdfs://node1:8020為整個HDFS內部的通訊地址，應用協議為hdfs://（Hadoop內置協議）
表明DataNode將和node1的8020埠通訊，node1是NameNode所在機器
此配置固定了node1必須啟動NameNode進程
# 配置hdfs-site.xml文件
# 在文件內部填入如下內容
<configuration>
<property>
<name>dfs.datanode.data.dir.perm</name>
<value>700</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/nn</value>
</property>
<property>
<name>dfs.namenode.hosts</name>
<value>node1,node2,node3</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>268435456</value>
</property>
<property>
<name>dfs.namenode.handler.count</name>
<value>100</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/dn</value>
</property>
</configuration>
hdfs-site.xml 簡單說明:
| Key | 含義 | 值 |
|---|---|---|
| dfs.datanode.data.dir.perm | hdfs文件系統，預設創建的文件許可權設置 | 700，即：rwx------ |
| dfs.namenode.name.dir | NameNode元數據的存儲位置 | /data/nn，在node1節點的/data/nn目錄下 |
| dfs.namenode.hosts | NameNode允許哪幾個節點的DataNode連接（即允許加入集群） | node1、node2、node3，這三台伺服器被授權 |
| dfs.blocksize | hdfs預設塊大小 | 268435456（256MB） |
| dfs.namenode.handler.count | namenode處理的併發線程數 | 100，以100個並行度處理文件系統的管理任務 |
| dfs.datanode.data.dir | 從節點DataNode的數據存儲目錄 | /data/dn，即數據存放在node1、node2、node3，三台機器的/data/dn內 |
# namenode數據存放node1的/data/nn
# datanode數據存放node1、node2、node3的/data/dn
# 在node1節點執行：
mkdir -p /data/nn
mkdir /data/dn
# 在node2和node3節點：
mkdir -p /data/dn
分發Hadoop文件夾
cd /export/server
scp -r hadoop-3.3.4 node2:$PWD
scp -r hadoop-3.3.4 node3:$PWD
# 登陸node2/3分別執行創建軟連接命令
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop
配置環境變數
# 為了方便以後的操作把常用的hadoop命令配置成環境變數 [node1/2/3都配置]
vim /etc/profile
# 在/etc/profile文件底部追加如下內容
export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
# 環境變數配置好了可以執行 hadoop version看看效果
hadoop version
#輸出如下
Hadoop 3.3.4
Source code repository https://github.com/apache/hadoop.git -r a585a73c3e02ac62350c136643a5e7f6095a3dbb
Compiled by stevel on 2022-07-29T12:32Z
Compiled with protoc 3.7.1
From source with checksum fb9dd8918a7b8a5b430d61af858f6ec
This command was run using /export/server/hadoop-3.3.4/share/hadoop/common/hadoop-common-3.3.4.jar
授權hadoop用戶
# 為了確保全全，hadoop系統不以root用戶啟動，我們以普通用戶hadoop來啟動整個Hadoop服務
# (之前說過創建hadoop,並配置hadoop用戶之間的免密登陸)
# 以root賬戶執行下麵的命令,(node 1/2/3都要執行)
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export
格式化文件系統
# 確保以hadoop用戶執行
su - hadoop
# 格式化namenode
# 因為我們在前面配置了環境變數,因此可以直接hadoop命令來操作,簡單粗暴
hadoop namenode -format
Hadoop 啟動
# 一鍵啟動hdfs集群
start-dfs.sh
# 一鍵關閉hdfs集群
stop-dfs.sh
windows下的hosts文件也映射下
192.168.88.131 node1
192.168.88.132 node2
192.168.88.133 node3
最後打開 http://node1:9870/
可以看到集群狀態
快照
執行init 0 命令,把三台虛擬機關機在虛擬機上拍攝快照.
