Hadoop-集群網路配置 總體目標：完成zookeeper+Hadoop+Hbase 整合平臺搭建 進度：1：集群網路屬性配置2：集群免密碼登陸配置3：JDK的安裝4：Zookeeper的安裝5：Hadoop普通集群模式的安裝6：Hbase普通模式的安裝7：Hadoop HA集群模式的安裝 8：H ...
Hadoop-集群網路配置
總體目標：完成zookeeper+Hadoop+Hbase 整合平臺搭建進度：
1：集群網路屬性配置
2：集群免密碼登陸配置
3：JDK的安裝
4：Zookeeper的安裝
5：Hadoop普通集群模式的安裝
6：Hbase普通模式的安裝
7：Hadoop HA集群模式的安裝
一. 集群網路屬性配置
環境：1.五台獨立PC機或虛擬機2.主機之間有有效的網路連接
3.每台主機記憶體2G以上,磁碟50G 4.所有主機上已安裝CentOS 7.4_64操作系統 五台主機網路選擇：
1.靜態網路配置：
註意：1）該項的所有操作步驟需要使用root用戶進行。 2）該項需要在集群中每台主機上進行單獨設置。
進入網路配置文件目錄：cd /etc/sysconfig/network-scripts/
i插入，Esc退出編輯模式，:wq保存退出。
NM_CONTROLLED=no
# 設置該網路為開機自動啟動
ONBOOT=yes
# 設置採用靜態IP模式
BOOTPROTO=static
#該網路的IP地址，可以使用DHCP獲得的IP地址，也可以自行規劃
IPADDR=192.168.10.111
#該網路的子網掩碼
NETMASK=255.255.255.0
#該網路的網關地址
GATEWAY=192.168.10.1
輸入完成後 Esc 退出編輯模式，:wq 保存退出。
#service network restart #ip addr
2.主機名配置：
註意： 1）該項的所有操作步驟需要使用root用戶進行。2）該項需要在集群中每台主機上進行單獨設置。
3）若在安裝系統時已經設置了正確的主機名，可以跳過此項內容。 命令：
#cd /etc/
#vi hostname
（把原來的一行直接刪掉，在末尾添加修改後的主機名Cluster-01，第二台主機改名Cluster-02，後面亦是如此）
#reboot
#hostname
3.防火牆配置：
註意：
1）該項的所有操作步驟需要使用root用戶進行。
2）該項需要在集群中每台主機上進行單獨設置。
3）CentOS 7.2操作系統預設使用的防火牆為firewall，不再是傳統的iptables。
有兩種方法，請根據工作需要還是實驗需要來選擇：
1）如果是生產環境請務必按照第一種方案配置防火牆策略
2）實驗環境就用第二種方法直接關閉防火牆。
方法1：配置防火牆策略
命令：
#firewall-cmd --zone=public --add-port=埠號/tcp --permanent
#firewall-cmd --reload
下麵是埠號：
Zookeeper的常用埠：2181、2888、3888。
Hadoop的常用埠：8019、8020、8030、8031、8032、8033、8040、8041、8042、8088、8480、8485、9000、10020、19888、50010、50020、50070、50075、50470、50475。
HBase的常用埠：2181、2888、3888、60000、60010、60020、60030。HBase的常用埠和Zookeeper有重覆是因為HBase自帶Zookeeper組件，使用獨立Zookeeper時這些埠不會被啟用，也就不會造成埠衝突。
Hive的常用埠：9083、10000。
MySQL Cluster的常用埠：1186、2202、3306。
方法2：關閉防火牆
命令：
#systemctl stop firewalld.service
#systemctl disable firewalld.service
#systemctl status firewalld.service
4.主機地址映射配置：
該項的所有操作步驟需要使用root用戶進行。
命令：
#cd /etc/
#vi hosts
#在末尾添加添加集群中所有主機的IP地址與主機名的映射關係，ip是自定義的要改為自己設置的ip地址
192.168.10.111 Cluster-01
192.168.10.112 Cluster-02
192.168.10.113 Cluster-03
192.168.10.114 Cluster-04
192.168.10.115 Cluster-05
將配置文件“hosts”發送給集群中所有其它主機，發送目標用戶為“root”，發送目標路徑為“/etc”，遠程傳輸文件方法：
#scp -r /etc/hosts [email protected]:/etc
5.免密碼登陸配置：
註意：
1）該項的所有操作步驟使用每台集群主機新建一個用戶名相同的專門用於集群的用戶hadoop或者admin進行，我們實驗中採用admin。
2）每台主機都要進行本項操作。5台互相登錄免密碼。
第一步：新建一個集群統一用戶admin,並創建密碼admin.
命令：
#useradd admin
#passwd admin
#新建用於集群的admin用戶，每台主機都建一個
第二步：免密碼登錄設置
命令：
#ssh-keygen -t rsa
生成本機系統當前登錄用戶的公鑰和私鑰文件
#l.
顯示~目錄下隱藏文件
#cd .ssh
進入.ssh目錄
#ls
顯示目標列表，這裡可以看到id_rsa.pub公鑰文件
#ssh-copy-id -i ~/.ssh/id_rsa.pub admin@Cluster-02
將公鑰文件拷貝給需要進行免密碼登錄的目標主機和目標用戶
第三步：驗證免密登陸：
命令：
#ssh admin@Cluster-02
如果沒有提示讓你輸入Cluster-02的
admin用戶的密碼，則說明配置正確。
