hadoop要求有多台機子進行後續的數據處理,作為屌絲一枚,怎麼才能搭建一個合適的環境學習hadoop?這就是本篇將要介紹的 前期準備。 搭建環境沒啥好說的,說一下搭建環境多需要的吧 硬體:電腦 (win7系統) 軟體: 虛擬機軟體VMware Workstation Pro 操作系統Centos
hadoop要求有多台機子進行後續的數據處理,作為屌絲一枚,怎麼才能搭建一個合適的環境學習hadoop?這就是本篇將要介紹的----前期準備。
搭建環境沒啥好說的,說一下搭建環境多需要的吧
硬體:電腦 (win7系統)
軟體: 虛擬機軟體VMware Workstation Pro
操作系統Centos 6.7
終端模擬軟體XShell
反向代理軟體ngrok
安裝配置VMware以及安裝Centos系統就不介紹了,現在主要講解下麵的一些配置
1.SSH服務
直接在虛擬機裡面操作有些麻煩,開啟ssh服務以後就可以在win7系統上通過工具進行連接
首先打開終端,輸入 rpm -qa |grep ssh 查找當前系統是否已經安裝ssh
如果沒有安裝,可以通過yum install ssh進行安裝
安裝完成之,通過service sshd start命令啟動ssh服務
通過iptables stop命令將防火牆關閉
可以通過ifup eth0(自己的網卡配置)開啟網卡
ifconfig查看IP
打開XShell,點擊新建打開新建回話視窗
將centos的IP填寫到主機框,埠預設是22,自己修改的話就換成自己的埠
連接是需要輸入centos的用戶名和密碼
2.反向代理
通過命令 cd / 進入根目錄
創建代理軟體存放的文件夾 mkdir ngrok
進入ngrok目錄 cd ngrok
將linux版本的ngrok軟體包下載到win7
xshell輸入 yum install lrzsz 安裝文件上傳下載工具
輸入 rz -E 確定後選擇剛下載的ngrok
unzip linux_amd64.zip解壓文件
進入解壓後的目錄 cd linux_amd64
編輯ngrok.xml文件vim ngrok.cfg
server_addr: "tunnel.qydev.com:4443" trust_host_root_certs: false tunnels: ssh: remote_port: 2222 proto: tcp: "22"
保存退出,這是修改後的文件內容
進入虛擬機裡面的系統命令行
通過命令 ./ngrok -config=ngrok.cfg start ssh開啟服務
其中有一行tcp://tunnel.qydev.com:2222 -> 127.0.0.1:22
現在就可以新建xshell回話將主機 tunnel.qydev.com 埠2222,以及主機用戶名登錄系統了,外網可以訪問。
到這兒,基本上的就差不多了,可以將想一起學習hadoop的朋友的電腦通過上面的配置啟動起來。這就有了集群的基礎---多臺電腦網路間訪問。