hadoop 完全分散式搭建總結

来源:https://www.cnblogs.com/YuanWeiBlogger/archive/2019/09/09/11494882.html
-Advertisement-
Play Games

完全分散式 1.配置文件 [core-site.xml] hdfs 地址 fs.defaultFS=hdfs://s129:8020/ [hdfs-site.xml] 副本 replication=1 //偽分佈 replication=3 //完全分佈 [mapred-site.xml] yarn ...


完全分散式---------------

1.配置文件

[core-site.xml]

　　 hdfs 地址 fs.defaultFS=hdfs://s129:8020/

[hdfs-site.xml] 副本
　　replication=1 //偽分佈
　　replication=3 //完全分佈

[mapred-site.xml] yarn框架
　　mapreduce.framework.name=yarn

[yarn-site.xml] 資源管理器主機名
　　rm.name=s129

[slaves]
　　s128
　　s127
　　s126

2.分發文件
a)ssh
　　openssh-server //sshd
　　openssh-clients //ssh
　　openssh //ssh-keygen

b)scp/rsync

3.格式化文件系統
　　$>hadoop namenode -format

4.啟動hadoop所有進程
　　//start-dfs.sh + start-yarn.sh
$>start-all.sh

5.xcall.sh jps

創建符號連接 ln -s xxxx xx

　　ln -s /opt/jdk8/bin/java java

　　ln -s /opt/jdk8/bin/jps jps

 

 

　　/usr/local/bin/jps
　　/usr/local/bin/java

6.查看jps進程
       $>xcall.sh jps

　　 或

　　$>netstat -tunpl | grep  埠號

7.關閉centos的防火牆
　　$>sudo service firewalld stop // <=6.5 start/stop/status/restart
　　$>sudo systemctl stop firewalld // 7.0 停止 start/stop/status/restart

　　$>sudo systemctl disable firewalld //關閉
　　$>sudo systemctl enable firewalld //啟用


7.最終通過webui
　　http://s201:50070/

 

符號連接
----------------
1.修改符號連接的owner
　　$>chown -h centos:centos xxx //-h:針對連接本身，而不是所指文件.

2.修改符號鏈接
　　$>ln -sfT index.html index //覆蓋原有的連接。

 

運行命令

start-all.sh 啟動所有的Hadoop守護進程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
stop-all.sh 停止所有的Hadoop守護進程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
start-dfs.sh 啟動Hadoop HDFS守護進程NameNode、SecondaryNameNode和DataNode
stop-dfs.sh 停止Hadoop HDFS守護進程NameNode、SecondaryNameNode和DataNode
hadoop-daemons.sh start namenode 單獨啟動NameNode守護進程
hadoop-daemons.sh stop namenode 單獨停止NameNode守護進程
hadoop-daemons.sh start datanode 單獨啟動DataNode守護進程
hadoop-daemons.sh stop datanode 單獨停止DataNode守護進程
hadoop-daemons.sh start secondarynamenode 單獨啟動SecondaryNameNode守護進程
hadoop-daemons.sh stop secondarynamenode 單獨停止SecondaryNameNode守護進程
start-mapred.sh 啟動Hadoop MapReduce守護進程JobTracker和TaskTracker
stop-mapred.sh 停止Hadoop MapReduce守護進程JobTracker和TaskTracker
hadoop-daemons.sh start jobtracker 單獨啟動JobTracker守護進程
hadoop-daemons.sh stop jobtracker 單獨停止JobTracker守護進程
hadoop-daemons.sh start tasktracker 單獨啟動TaskTracker守護進程
hadoop-daemons.sh stop tasktracker 單獨啟動TaskTracker守護進程

 

hadoop模塊
-------------------
common //
hdfs //
mapreduce //
yarn //


進程
------------------
[hdfs]start-dfs.sh
NameNode NN
DataNode DN
SecondaryNamenode 2NN

[yarn]start-yarn.sh
ResourceMananger RM
NodeManager NM


腳本分析
-------------------
sbin/start-all.sh
--------------
libexec/hadoop-config.sh
start-dfs.sh
start-yarn.sh

sbin/start-dfs.sh
--------------
libexec/hadoop-config.sh
sbin/hadoop-daemons.sh --config .. --hostname .. start namenode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start datanode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start sescondarynamenode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start zkfc ... //

sbin/start-yarn.sh
--------------
libexec/yarn-config.sh
bin/yarn-daemon.sh start resourcemanager
bin/yarn-daemons.sh start nodemanager

sbin/hadoop-daemons.sh
----------------------
libexec/hadoop-config.sh

slaves

hadoop-daemon.sh

sbin/hadoop-daemon.sh
-----------------------
libexec/hadoop-config.sh
bin/hdfs ....

sbin/yarn-daemon.sh
-----------------------
libexec/yarn-config.sh
bin/yarn


bin/hadoop
------------------------
hadoop verion //版本
hadoop fs //文件系統客戶端.
hadoop jar //
hadoop classpath
hadoop checknative


bin/hdfs
------------------------
dfs // === hadoop fs
classpath
namenode -format
secondarynamenode
namenode
journalnode
zkfc
datanode
dfsadmin
haadmin
fsck
balancer
jmxget
mover

oiv
oiv_legacy
oev
fetchdt
getconf
groups
snapshotDiff

lsSnapshottableDir

portmap
nfs3
cacheadmin
crypto
storagepolicies
version

hdfs常用命令
--------------------

 

hdfs dfs -ls /  （查看文件系統列表）


$>hdfs dfs -mkdir /usr/local/hadoop/ （創建目錄）
$>hdfs dfs -ls -r /usr/local/hadoop/ （查看）
$>hdfs dfs -lsr /usr/local/hadoop/（遞歸查看）
$>hdfs dfs -put jdk-8u191-linux-x64.tar.gz /usr/local/hadoop/  （複製文件）
$>hdfs dfs -get  /usr/local/hadoop/ xxxx （獲取文件）
$>hdfs dfs -rm -r -f /usr/local/hadoop/ （刪除）

no route
--------------------
關閉防火牆。
$>su root
$>xcall.sh "service firewalld stop"
$>xcall.sh "systemctl disable firewalld"


hdfs
--------------------
500G
1024G = 2T/4T
切割。


定址時間:10ms左右
磁碟速率 : 100M /s

64M
128M //讓定址時間占用讀取時間的1%.

1ms
1 / 100


size = 181260798
block-0 : 134217728
block-1 : 47043070
--------------------

b0.no : 1073741829
b1.no : 1073741830

HA
-----------------------
high availability,高可用性。通常用幾個9衡量。
99.999%
SPOF:
-----------------------
single point of failure,單點故障。解決：多配置節點至少兩個

 


secondarynamenode 輔助名稱節點 （定期抓取名稱節點數據 不高可用）
----------------------

HDFS

 

 

 

 

 


找到所有的配置文件
----------------------
1.tar開hadoop-2.7.3.tar.gz
hadoop-2.7.3\share\hadoop\common\hadoop-common-2.7.3.jar\core-default.xml
hadoop-2.7.3\share\hadoop\hdfs\hadoop-hdfs-2.7.3.jar\hdfs-default.xml
hadoop-2.7.3\share\hadoop\mapreduce\hadoop-mapreduce-client-core-2.7.3.jar\mapred-default.xml
hadoop-2.7.3\share\hadoop\yarn\hadoop-yarn-common-2.7.3.jar\yarn-site.xml


本地模式
-----------
[core-site.xml]
fs.defaultFS=file:/// //預設值

配置hadoop臨時目錄
---------------------
1.配置[core-site.xml]文件
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://s129/</value>
</property>
<!--- 配置新的本地目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop</value>
</property>
</configuration>


//以下屬性均由hadoop.tmp.dir決定,在hdfs-site.xml文件中配置。

 


dfs.namenode.name.dir=file://${hadoop.tmp.dir}/dfs/name
dfs.datanode.data.dir=file://${hadoop.tmp.dir}/dfs/data
dfs.datanode.data.dir=file://${hadoop.tmp.dir}/dfs/data

dfs.namenode.checkpoint.dir=file://${hadoop.tmp.dir}/dfs/namesecondary
dfs.namenode.checkpoint.dir=file://${hadoop.tmp.dir}/dfs/namesecondary


2.分發core-site.xml文件
$>xsync core-site.xml

3.格式化文件系統,只對namenode的本地目錄進行初始化。
$>hadoop namenode -format //hdfs namenode -format

4.啟動hadoop
$>start-dfs.sh


使用xcall.sh在所有節點上創建jps符號連接，指向/soft/jdk/bin/jps
------------------------------------------------------------------

 

 


1.切換到root用戶
$>su root
2.創建符號連接
$>xcall.sh "ln -sfT /soft/jdk/bin/jps /usr/local/bin/jps"
3.修改jps符號連接的owner
$>xcall.sh "chown -h centos:centos /usr/local/bin/jps"
4.查看所有主機上的java進程
$>xcall.sh jps


在centos桌面版中安裝eclipse 在虛擬機中編寫代碼
----------------------------
1.下載eclipse linux版 
eclipse-jee-mars-R-linux-gtk-x86_64.tar.gz
2.tar開到/soft下,
$>tar -xzvf eclipse-jee-mars-R-linux-gtk-x86_64.tar.gz -C /soft
3.啟動eclipse
$>cd /soft/eclipse
$>./eclipse & //後臺啟動
4.創建桌面快捷方式
$>ln -s /soft/eclipse/eclipse ~/Desktop/eclipse
5.

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • centos7.6 安裝Mysql5.7
    #安裝Mysqlwget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpmyum localinstall mysql57-community-release-el7-8.noarch.rpmyum repolis ...
  • 大數據常用軟體安裝指南
    一、基礎軟體安裝 1. "Linux 環境下 JDK 安裝" 2. "Linux 環境下 Python 安裝" 3. "虛擬機靜態 IP 及多 IP 配置" 二、Hadoop 1. "Hadoop 單機環境搭建" 2. "Hadoop 集群環境搭建" 3. "基於 Zookeeper 搭建 Hado ...
  • 瞭解 DML、DDL、DCL
    一、DML DML（Data Manipulation Language）數據操縱語言： 最經常用到的 SELECT、UPDATE、INSERT、DELETE。 主要用來對資料庫的數據進行一些操作 二、DDL DDL（Data Definition Language）資料庫定義語言： DDL主要是用 ...
  • MySQL學習——操作表裡的數據
    MySQL學習——操作表裡的數據 摘要：本文主要學習了使用DML語句操作表裡數據的方法。 插入數據 語法 通過傳入數據插入： 通過查詢數據插入： 實例 更新數據 語法 實例 刪除數據 語法 實例 數據查詢 語法 說明 實例 查詢所有成績： 查詢電腦的成績： 查詢成績不及格的學生、課程、成績： 查詢 ...
  • Oracle - SPM固定執行計劃
    1. 通過dbms_xplan.display_cursor查看指定sql都有哪些執行計劃 SQL> select * from table(dbms_xplan.display_cursor('&sql_id',null,'TYPICAL PEEKED_BINDS')); 2. 查詢該sql的歷史 ...
  • 解決hql無法使用mysql方法的問題——以date_add()為例
    一.前言 最近在做一個定時任務,具體為定時清理掉mysql中存儲的,一個月前的數據.而在hql語句中,就需要調用mysql的date_add()方法. 但是在hibernate中,是不允許使用各個SQL特有的方法的. 但是需求上是需要的.那麼就可以自定義一個Mysql Dialect(方言),然後增 ...
  • 快速構建第一個Flink工程
    本文簡述通過maven和gradle快速構建的Flink工程。建議安裝好Flink以後構建自己的Flink項目，安裝與示例運行請查看： "Flink快速入門 安裝與示例運行" . 在安裝好Flink以後，只要快速構建Flink工程，並完成相關代碼開發，就可以輕鬆入手Flink。 構建工具 Flink ...
  • linux定時備份mysql並同步到其它伺服器
    數據在任何一家公司裡面都是最核心的資產，定期備份則是為了保證資料庫出現問題的時候能夠及時回滾到最近的備份點，將損失縮小到最小 這篇文章將會兩部分來說明：1、mysql的定期備份；2、同步到其它伺服器 mysql 備份 備份還原某個資料庫 備份還原 備份到壓縮文件從壓縮文件導入 crontab定時備份 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類