在進入大數據領域來,一直使用微軟的Azure HDInsight,當前在中國區僅支持在Windows系統上部署集群,雖然創建的過程很簡單,但對於開發人員來說,就是一個黑盒子,在更深入的研究和開發擴展的過程中,遇到了不少麻煩。因此準備在本地手工搭建自己的HDP2.4集群進行研究和學習, 第一步通過VM ...
在進入大數據領域來,一直使用微軟的Azure HDInsight,當前在中國區僅支持在Windows系統上部署集群,雖然創建的過程很簡單,但對於開發人員來說,就是一個黑盒子,在更深入的研究和開發擴展的過程中,遇到了不少麻煩。因此準備在本地手工搭建自己的HDP2.4集群進行研究和學習, 第一步通過VMWare創建虛擬機節點,安裝操作系統,通過對比選擇Centos7。
安裝過程:
- 軟體下載
- 創建虛擬機
- Centos配置
下載軟體包:
- 虛擬機工具軟體: VMware-workstation-full-12.0.1-3160714.exe
- Centos安裝程式: CentOS-7-x86_64-DVD-1511.iso
- Java安裝程式: jdk-8u91-linux-x64.rpm
註意:
- HDP2.4 與Centos7中文版有衝突,所以在Centos7安裝的過程中,必須選擇英文版
安裝過程:
- 啟動VMware Workstation, 在VM管理界面選擇 "Create a New Virture Machine"
- 按嚮導選擇OS鏡像文件(即你下載到本地的 CentOS-7-x86_64-DVD-1511.iso 文件),如圖
- 點擊嚮導下一步:輸入虛擬機名及本地存儲路徑。
- 點擊嚮導下一步:輸入分配給虛擬機的磁碟大小,選中“Store virtual disk as a single file" (這樣文件夾下會比較乾凈)
- 點擊嚮導下一步:按預設設置,點擊”完成“,進入初始化安裝界面。(當滑鼠移動虛擬機安裝界面時,可能出現找不著滑鼠的現象,按Ctrl+Alt鍵)
- 初始化結束後,進入安裝嚮導界面,如圖(註意我上面說的,一定選擇英文)
- 點擊嚮導"Continue" (一次點擊不行就點擊兩次:))
- 設置時間、時區 (亞洲、香港)
- "SoftWare Selection", 對於習慣於Windows的新手,可選擇Gonme Desktop(帶桌面版的linux),我選擇預設的Mininal Install
- 選擇磁碟分區,如果不掛接附加盤,點擊此選項後,在彈出的頁面,連續兩次點擊“Done"
- 此時安裝配置設置完成,"Begin Installation"按紐可用,點擊開始安裝
- 安裝過程中,在如上圖的界面,點擊“Root Password"圖標,給Root用戶設置密碼
- 點擊”User Creation", 在彈出的界面,新建一個用戶,同時設置用戶管理員許可權
- 等待幾分鐘後,系統安裝完成,會提示重啟機器
- 在VM管理界面,選中名為hdp1的機器,點擊右鍵-->選擇"Settings....", 在彈出界面中,選擇網路連接方式為”Bridged",如下圖:
- 重啟後輸入用戶名和密碼後成功進入系統,則表示安裝成功