Hadoop集群搭建(一)(上篇中講到了Linux虛擬機的安裝) 一、安裝所需插件(以hadoop2.6.4為例,如果需要可以到官方網站進行下載:http://hadoop.apache.org) hadoop2.6.4插件、已經裝好的虛擬機(CentOS,這個百度一下自行安裝)、虛擬機安裝後將其克 ...
Hadoop集群搭建(一)(上篇中講到了Linux虛擬機的安裝)
一、安裝所需插件(以hadoop2.6.4為例,如果需要可以到官方網站進行下載:http://hadoop.apache.org)
hadoop2.6.4插件、已經裝好的虛擬機(CentOS,這個百度一下自行安裝)、虛擬機安裝後將其克隆成三個即可。
二、安裝過程
1、配置伺服器
1個主節點:sunshine(192.168.83.133),2個(從)子節點:sunshineMin(192.168.83.134),
sunshineMax(192.168.83.135)。
在linux命令下進入到/etc/sysconfig/network-scripts/ifcfg-eth0路徑下配置本機靜態IP,和ifconfig命令下的IP等配置一樣。(三台虛擬機的靜態IP配置一樣,設置靜態IP是為了防止突然斷網等情況的出現導致IP出現變動,從而對集群有影響)
2、配置主節點名(192.168.83.133)
vi /etc/sysconfig/network
添加內容:
NETWORKING=yes
HOSTNAME=sunshine(自己的主機名,可以自己設置)
3、配置兩檯子節點名(192.168.83.134)和(192.168.83.135)
vi /etc/sysconfig/network
添加內容:
NETWORKING=yes
HOSTNAME=sunshineMin(自己的主機名,可以自己設置)
vi /etc/sysconfig/network
添加內容:
NETWORKING=yes
HOSTNAME=sunshineMax(自己的主機名,可以自己設置)
4、配置hosts
打開主節點的hosts文件,要將文件的前兩行註釋掉 (註釋當前主機的信息)併在文件中添加所有hadoop集群的主機信息。
vi /etc/hosts
192.168.83.133 sunshine
192.168.83.134 sunshineMin
192.168.83.135 sunshineMax
保存之後,將主節點的hosts分別拷貝到其他兩個子節點
scp /etc/hosts [email protected]:/etc/
scp /etc/hosts [email protected]:/etc/
然後分別執行(重啟伺服器也可以不執行下麵的語句): /bin/hostname hostname
例如:master上執行/bin/hostname master,使之生效。
接下來的Hadoop集群安裝中配置ssh無密碼訪問,jdk的安裝以及Hadoop的安裝與配置請看Hadoop集群搭建(二)!