一、準備工作: CentOS鏡像:http://mirrors.163.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso 二、用VMware搭建虛擬機集群 1.規劃 master:1核、4G記憶體 slave1:1核、2G記憶體 slave2:1 ...
一、準備工作:
CentOS鏡像:http://mirrors.163.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso
二、用VMware搭建虛擬機集群
1.規劃
master:1核、4G記憶體
slave1:1核、2G記憶體
slave2:1核、2G記憶體
2.搭建一個樣板虛擬機
接下來進入安裝,期間需設置語言、密碼。
選擇語言,我這裡選擇英文,您也可以下拉選擇中文
等待數秒。。。
選擇軟體安裝(重要)
這裡給出中文翻譯,參考選擇
等待數秒,設置安裝位置
點擊一下就行
點進去自行設置密碼、用戶
完成,重啟
然後
網路進去後在配置
————————————
3登錄進入CentOS,進行相關配置
設置ip地址
註意:這裡的ip,子網掩碼,網關,DNS是根據我的筆記本電腦上的網路情況設定的,請您根據您的實際情況設置
這是我windows筆記本網路
設置主機名
a.打開終端,以root登錄
[root@localhost spark]# vi /etc/sysconfig/network
添加或修改:
NETWORKING=yes
HOSTNAME=slave3
b.
[root@localhost spark]# vi /etc/hosts
添加:
192.168.1.191 master
192.168.1.192 slave1
192.168.1.193 slave2
(slave1、2 見下文)
關閉防火牆和SELinux(Hadoop和Spark運行時需要通過埠通信,關閉其就不會受到阻攔)
查看系統
[root@localhost spark]# rpm -q centos-release centos-release-7-4.1708.el7.centos.x86_64
CentOS 7 查看防火牆狀態
[root@localhost spark]# firewall-cmd --state running
關閉並禁止開機啟動防火牆
[root@localhost spark]# systemctl stop firewalld.service [root@localhost spark]# systemctl disable firewalld.service Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service. Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service. [root@localhost spark]# firewall-cmd --state not running
關閉SELinux
[root@localhost spark]# vi /etc/selinux/config
修改:SELINUX=disabled
重啟
————————
更新OpenSSL(防止編譯過程無法通過ssh連接節點)
[root@localhost spark]# yum update openssl
更改OpenSSL配置(確認使用RSA演算法)
[root@localhost spark]# vi /etc/ssh/sshd_config
設置以下三項:
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
重啟ssh
[root@localhost spark]# service sshd restart
下載安裝scala
未完待續。。。