hadoop 完全分散式部署

来源:https://www.cnblogs.com/yangtao481/archive/2019/12/30/12120070.html
-Advertisement-
Play Games

一.實驗環境準備 需要準備四台Linux操作系統的伺服器，配置參數最好一樣，由於我的虛擬機是之前偽分散式部署而來的，因此我的環境都一致，並且每天虛擬機預設都是Hadoop偽分散式喲！1>.NameNode伺服器（172.20.20.228） 2>.DataNode伺服器（172.20.20.226- ...


一.實驗環境準備
　　需要準備四台Linux操作系統的伺服器，配置參數最好一樣，由於我的虛擬機是之前偽分散式部署而來的，因此我的環境都一致，並且每天虛擬機預設都是Hadoop偽分散式喲！
1>.NameNode伺服器（172.20.20.228）

2>.DataNode伺服器（172.20.20.226-220）

  二.修改Hadoop的配置文件

　　修改的配置文件路徑是我之前拷貝的full目錄，絕對路徑是：“/tosp/opt/hadoop”,修改這個目錄下的文件之後，我們將hadoop目錄連接過來即可，當你需要偽分散式或者本地模式的時候只需要改變軟連接指向的目錄即可，這樣就輕鬆實現了三種模式配置文件和平相處的局面。

1>.core-site.xml 配置文件

複製代碼 
[root@cdh14 ~]$ more /tosp/opt/hadoop/etc/hadoop/core-site.xml 
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
                <property>
                        <name>fs.defaultFS</name>
                        <value>hdfs://cdh14:9000</value>
                </property>
                <property>
                        <name>hadoop.tmp.dir</name>
                        <value>/tosp/opt/hadoop</value>
                </property>
</configuration>

<!--

core-site.xml配置文件的作用：
    用於定義系統級別的參數，如HDFS URL、Hadoop的臨時
目錄以及用於rack-aware集群中的配置文件的配置等，此中的參
數定義會覆蓋core-default.xml文件中的預設配置。

fs.defaultFS 參數的作用：
        #聲明namenode的地址，相當於聲明hdfs文件系統。

hadoop.tmp.dir 參數的作用：
        #聲明hadoop工作目錄的地址。

-->
[root@cdh14 ~]$
複製代碼

2>.hdfs-site.xml 配置文件

複製代碼 
[root@cdh14 ~]$ more /tosp/opt/hadoop/etc/hadoop/hdfs-site.xml 
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
</configuration>

<!--
hdfs-site.xml 配置文件的作用：
        #HDFS的相關設定，如文件副本的個數、塊大小及是否使用強制許可權
等，此中的參數定義會覆蓋hdfs-default.xml文件中的預設配置.

dfs.replication 參數的作用：
        #為了數據可用性及冗餘的目的，HDFS會在多個節點上保存同一個數據
塊的多個副本，其預設為3個。而只有一個節點的偽分散式環境中其僅用
保存一個副本即可，這可以通過dfs.replication屬性進行定義。它是一個
軟體級備份。

-->
[root@cdh14 ~]$
複製代碼

3>.mapred-site.xml 配置文件

複製代碼 
[root@cdh14 ~]$ more /tosp/opt/hadoop/etc/hadoop/mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

<!--
mapred-site.xml 配置文件的作用：
        #HDFS的相關設定，如reduce任務的預設個數、任務所能夠使用記憶體
的預設上下限等，此中的參數定義會覆蓋mapred-default.xml文件中的
預設配置.

mapreduce.framework.name 參數的作用：
        #指定MapReduce的計算框架，有三種可選，第一種：local(本地),第
二種是classic(hadoop一代執行框架),第三種是yarn(二代執行框架)，我
們這裡配置用目前版本最新的計算框架yarn即可。

-->
[root@cdh14 ~]$
複製代碼

4>.yarn-site.xml配置文件

複製代碼 
[root@cdh14 ~]$ more /tosp/opt/hadoop/etc/hadoop/yarn-site.xml 
<?xml version="1.0"?>
<configuration>
                <property>
                        <name>yarn.resourcemanager.hostname</name>
                        <value>cdh14</value>
                </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

<!--

yarn-site.xml配置文件的作用：
        #主要用於配置調度器級別的參數.
yarn.resourcemanager.hostname 參數的作用：
        #指定資源管理器(resourcemanager)的主機名
yarn.nodemanager.aux-services 參數的作用：
        #指定nodemanager使用shuffle

-->
[root@cdh14 ~]$
複製代碼

 5>.slaves配置文件

[root@cdh14 ~]$ more /tosp/opt/hadoop/etc/hadoop/slaves 
#該配置文件的作用：是NameNode用與記錄需要連接哪些DataNode伺服器節點，用與啟動或停止服務時發送遠程命令指令的目標主機。
cdh14
cdh12
cdh11
cdh10
cdh9
cdh8
cdh7
[root@cdh14 ~]$

 

三.在NameNode節點上配置免密碼登錄各DataNode節點

1>.在本地上生成公私秘鑰對(生成之前，把上次部署偽分散式的秘鑰刪除掉)

複製代碼 
[root@cdh14 ~]$ rm -rf ~/.ssh/*
[root@cdh14 ~]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
Generating public/private rsa key pair.
Your identification has been saved in /home/root/.ssh/id_rsa.
Your public key has been saved in /home/root/.ssh/id_rsa.pub.
The key fingerprint is:
a3:a4:ae:d8:f7:7f:a2:b6:d6:15:74:29:de:fb:14:08 root@cdh14
The key's randomart image is:
+--[ RSA 2048]----+
|             .   |
|          E o    |
|         o = .   |
|          o o .  |
|      . S  . . . |
|     o . .. . .  |
|    . .. .   o   |
| o .. o o .   .  |
|. oo.+++.o       |
+-----------------+
[root@cdh14 ~]$
複製代碼

2>.使用ssh-copy-id命令分配公鑰到DataNode伺服器（172.20.20.228）

複製代碼 
[root@cdh14 ~]$ ssh-copy-id root@cdh14
The authenticity of host 'cdh14 (172.16.30.101)' can't be established.
ECDSA key fingerprint is fa:25:bc:03:7e:99:eb:12:1e:bc:a8:c9:ce:39:ba:7b.
Are you sure you want to continue connecting (yes/no)? yes
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
root@cdh14's password: 

Number of key(s) added: 1

Now try logging into the machine, with:   "ssh 'root@cdh14'"
and check to make sure that only the key(s) you wanted were added.

[root@cdh14 ~]$ ssh cdh14
Last login: Fri May 25 18:35:40 2018 from 172.16.30.1
[root@cdh14 ~]$ who
root pts/0        2018-05-25 18:35 (172.16.30.1)
root pts/1        2018-05-25 19:17 (cdh14)
[root@cdh14 ~]$ exit 
logout
Connection to cdh14 closed.
[root@cdh14 ~]$ who
root pts/0        2018-05-25 18:35 (172.16.30.1)
[root@cdh14 ~]$
複製代碼

3>.使用ssh-copy-id命令分配公鑰到DataNode伺服器（172.20.20.226-220）

複製代碼 
[root@cdh14 ~]$ ssh-copy-id root@chd12-cdh7
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
root@s102's password: 

Number of key(s) added: 1

Now try logging into the machine, with:   "ssh 'root@s102'"
and check to make sure that only the key(s) you wanted were added.

[root@cdh14 ~]$ ssh s102
Last login: Fri May 25 18:35:42 2018 from 172.16.30.1
[root@s102 ~]$ who
root pts/0        2018-05-25 18:35 (172.16.30.1)
root pts/1        2018-05-25 19:19 (cdh14)
[root@s102 ~]$ exit 
logout
Connection to s102 closed.
[root@cdh14 ~]$ who
root pts/0        2018-05-25 18:35 (172.16.30.1)
[root@cdh14 ~]$
複製代碼

 

　　註意：以上是普通使配置免密登錄，root用戶配置方法一致，最好也配置上root用戶的免密登錄，因為下文我會執行相應的shell腳本。

五.啟動服務並驗證是否成功

1>.格式化文件系統

root@cdh14 ~]$ hdfs namenode -format

2>.啟動hadoop

[root@cdh14 ~]$ start-all.sh

3>.用自定義腳本驗證NameNode和DataNode是否已經正常啟動

[root@cdh14 ~]$ jps 

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • C# WPF計算器界面（Calculator Design With Animations）
    時間如流水，只能流去不流回！ 點贊再看，養成習慣，這是您給我創作的動力！ 本文 Dotnet9 https://dotnet9.com 已收錄，站長樂於分享dotnet相關技術，比如Winform、WPF、ASP.NET Core、Xamarin.Forms等，亦有C++桌面相關的Qt Quick和 ...
  • 2020 中國 .NET 開發者調查問卷
    隨著.NET Core 3.1的發佈，國內2019 中國.NET開發者峰會在上海的成功舉辦。從技術採用生命周期的角度來說，隨著.NET Core 3.1的發佈，有越來越多的廠商開始採用.NET Core, .NET Core 正在跨越技術鴻溝。.NET Core 正是順應應用程式現代化，應用程式容器... ...
  • abp(net core)+easyui+efcore實現倉儲管理系統——ABP WebAPI與EasyUI結合增刪改查之六(三十二)
    在上一篇文章 abp(net core)+easyui+efcore實現倉儲管理系統——ABP WebAPI與EasyUI結合增刪改查之五(三十一) 中我們實現了新增組織部門信息功能，不過還存在一些BUG。今天我們來繼續完善組織部門信息新增功能，併進行測試。 ...
  • asp.net core 3.x Endpoint終結點路由1-基本介紹和使用
    前言 我是從.net 4.5直接跳到.net core 3.x的，感覺asp.net這套東西最初是從4.5中的owin形成的。目前官方文檔重點是講路由，沒有特別說明與傳統路由的區別，本篇主要介紹終結點路由的相關概念和如何使用，不會詳細介紹路由，這個參考官方文檔就ok了。如果將來有機會研究到底層再深度 ...
  • 使用 HttpClient 進行表單提交時，遇到的問題
    問題 在開發微信支付的小微商戶進件介面時，需要通過表單來上傳身份證圖片等數據。在微信支付介面文檔也說明瞭，需要使用 multipart/form data 的方式發送請求。.NET 提供了 類型，幫助我們構建表單請求，故有以下代碼： 按照微信支付官方文檔提交之後，一直提示參數錯誤，百思不得其解。 原 ...
  • 1、微服務--為什麼有consul，consul註冊，心跳檢測，服務發現
    一、為什麼有consul？ 在微服務，每1個服務都是集群式的，訂單服務在10台伺服器上都有，那麼用戶的請求到達，獲取哪台伺服器的訂單服務呢？如果10臺中的有的訂單服務掛了怎麼辦？10台伺服器扛不住了，水平擴展又新增加了1台伺服器提供訂單服務，怎麼讓用戶請求知道有新的伺服器提供服務了？這時候就需要Co ...
  • [轉]三分鐘學會.NET Core Jwt 策略授權認證
    "[轉]三分鐘學會.NET Core Jwt 策略授權認證" 一.前言 " " 大家好我又回來了，前幾天講過一個關於Jwt的身份驗證最簡單的案例，但是功能還是不夠強大，不適用於真正的項目，是的，在真正面對複雜而又苛刻的客戶中，我們會不知所措，就現在需要將認證授權這一塊也變的複雜而又實用起來，那在專業 ...
  • Linux學習筆記：磁碟分區
    本文更新於2019 12 30。操作系統為Debian 8.9 (jessie)。 以下假設新磁碟為/dev/sdb，要創建一個分區/dev/sdb1，文件系統類型為xfs。請根據實際情況，自行選擇。 使用parted進行分區 1. 安裝parted 1. 使用 查看磁碟/dev/sdb（請使用實際 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類