1.獨立模式(standalone|local) nothing! 本地文件系統。 不需要啟用單獨進程。 2.pesudo(偽分佈模式) 等同於完全分散式，只有一個節點。 SSH: //(Socket), //public + private /server : sshd ps -Af | grep ...
1.獨立模式(standalone|local)
nothing!
本地文件系統。
不需要啟用單獨進程。
2.pesudo(偽分佈模式)
等同於完全分散式，只有一個節點。
SSH: //(Socket),
//public + private
/server : sshd ps -Af | grep sshd
//clint : ssh
//ssh-keygen:生成公私秘鑰。
//authorized_keys 需要使用644
//ssh 192.168.231.201 yes
[配置文件]
core-site.xml //fs.defaultFS=hdfs://localhost/ 預設8020
hdfs-site.xml //replication=1 偽分佈就一個節點
mapred-site.xml //
yarn-site.xml //
3.full distributed(完全分散式)
=================================================================
分散式啟動配置
在etc目錄下將hadoop 賦值三份 本地 偽分散式 完全分散式
使用偽分散式模式
1 進入local-hadoop 修改core-site.xml文件
2. 把原來的hadoop文件夾刪掉 創建符號鏈接到local-hadoop
創建符號鏈接: ln -s pesudo-hadoop hadoop
以下會具體啟動
=================================================================
配置hadoop，使用符號連接的方式，讓三種配置形態共存。
讓命令行提示符顯式完整路徑
---------------------------
1.編輯profile文件，添加環境變數PS1
[/etc/profile]
export PS1='[\u@\h `pwd`]\$'
2.source
$>source /etc/profile
1.創建三個配置目錄,內容等同於hadoop目錄
${hadoop_home}/etc/local-hadoop
${hadoop_home}/etc/pesudo-hadoop
${hadoop_home}/etc/full-hadoop
2.創建符號連接
$>ln -s
3.對hdfs進行格式化 (任何目錄下都可以)
$>hadoop namenode -format
4.修改hadoop配置文件，手動指定JAVA_HOME環境變數
註意如果不配置會出現以下情況
[${hadoop_home}/etc/hadoop/hadoop-env.sh]
...
vi hadoop-env.sh
export JAVA_HOME=/opt/jdk8
...
5.啟動hadoop的所有進程
$>start-all.sh
6.啟動完成後，出現以下進程
$>jps
33702 NameNode
33792 DataNode
33954 SecondaryNameNode
29041 ResourceManager
34191 NodeManager
7.查看hdfs文件系統
$>hdfs dfs -ls /
8.創建目錄
$>hdfs dfs -mkdir -p /user/local/hadoop
9. 查看埠是否啟動
netstat -ano | grep 50070
10.通過webui查看hadoop的文件系統
http://localhost:50070/ (訪問的時候註意埠號是否開放)
11.停止hadoop所有進程
$>stop-all.sh
12.centos防火牆操作
[cnetos 6.8]
配置防火牆放行50070埠，允許其它主機訪問。
vim /etc/sysconfig/iptables
更改ip
cd /etc/sysconfig/network-scripts/
重啟網路服務
service network restart
重啟防火牆
service iptables restart
臨時關閉/開啟防火牆
service iptables stop/start
查看防火牆狀態
service iptables status
查看埠
netstat -tunpl | grep50070
hadoop的埠
-----------------
50070 //namenode http port
50075 //datanode http port
50090 //2namenode http port 輔助名稱節點埠
8020 //namenode rpc port
50010 //datanode rpc port
hadoop四大模塊
-------------------
common
hdfs //namenode + datanode + secondarynamenode
mapred
yarn //resourcemanager + nodemanager
啟動腳本
-------------------
1.start-all.sh //啟動所有進程
2.stop-all.sh //停止所有進程
3.start-dfs.sh // （分散式文件系統）
4.start-yarn.sh
[hdfs] start-dfs.sh stop-dfs.sh
NN (namenode 名稱節點)
DN (datanode數據節點）
2NN (2namenode賦值文名稱節點)
[yarn] start-yarn.sh stop-yarn.sh
RM
NM
偽分佈模式到此結束
