hadoop 2.7.2 + zookeeper 高可用集群部署

来源:http://www.cnblogs.com/lsjwq/archive/2016/12/08/6145386.html
-Advertisement-
Play Games

一．環境說明 虛擬機：vmware 11 操作系統：Ubuntu 16.04 Hadoop版本：2.7.2 Zookeeper版本：3.4.9 二．節點部署說明 三．Hosts增加配置 sudo gedit /etc/hosts wxzz-pc、wxzz-pc0、wxzz-pc1、wxzz-pc2均 ...


一．環境說明

虛擬機：vmware 11

操作系統：Ubuntu 16.04

Hadoop版本：2.7.2

Zookeeper版本：3.4.9

二．節點部署說明

三．Hosts增加配置

sudo gedit /etc/hosts

wxzz-pc、wxzz-pc0、wxzz-pc1、wxzz-pc2均配置如下：

127.0.0.1 localhost
192.168.72.132 wxzz-pc
192.168.72.138 wxzz-pc0
192.168.72.135 wxzz-pc1
192.168.72.136 wxzz-pc2

 四.zookeeper上配置

Zoo.cfg配置文件內容如下：

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper-3.4.9/tmp/dataDir
dataLogDir=/opt/zookeeper-3.4.9/tmp/logs/
clientPort=2181
server.1=wxzz-pc:2182:2183
server.2=wxzz-pc0:2182:2183
server.3=wxzz-pc1:2182:2183

 在/opt/zookeeper-3.4.9/tmp/dataDir下新建”myid”文件，wxzz-pc、wxzz-pc0、wxzz-pc1三台虛擬機中myid文件分別對應的內容為：1、2、3，也就是server.X=wxzz-pc:2182:2183，對應X的數值。

五．Hadoop配置

1．core-site.xml 配置

<configuration>
        <property>
           <name>fs.defaultFS</name>
           <value>hdfs://myhadoop:8020</value>
        </property>
        <property>
           <name>hadoop.tmp.dir</name>
           <value>/opt/hadoop-2.7.2/tmp/hadoop-${user.name}</value>
        </property>
        <property>
           <name>ha.zookeeper.quorum</name>
           <value>wxzz-pc:2181,wxzz-pc0:2181,wxzz-pc1:2181</value>
        </property>
</configuration>

2. hdfs-site.xml 配置

<configuration>
     <property>
        <name>dfs.replication</name>
        <value>2</value>
     </property>
     <property> 
         <name>dfs.block.size</name> 
         <value>10485760</value> 
     </property>
     <property>
       <name>hadoop.tmp.dir</name>
       <value>/opt/hadoop-2.7.2/tmp/hadoop-${user.name}</value>
     </property>
     <property>
       <name>dfs.namenode.name.dir</name>
       <value>${hadoop.tmp.dir}/dfs/name</value>
     </property>
    <property>
       <name>dfs.datanode.data.dir</name>
       <value>${hadoop.tmp.dir}/dfs/data</value>
     </property>
     <property> 
         <name>dfs.permissions</name> 
         <value>false</value> 
     </property> 
     <property> 
        <name>dfs.permissions.enabled</name> 
        <value>false</value> 
     </property> 
     <property>   
       <name>dfs.webhdfs.enabled</name>   
       <value>true</value>   
    </property>
     <property>
       <name>dfs.nameservices</name>
       <value>myhadoop</value>
     </property>
     <property>
       <name>dfs.ha.namenodes.myhadoop</name>
       <value>nn1,nn2</value>
     </property>
     <property>
       <name>dfs.namenode.rpc-address.myhadoop.nn1</name>
       <value>wxzz-pc:8020</value>
     </property>
     <property>
       <name>dfs.namenode.http-address.myhadoop.nn1</name>
       <value>wxzz-pc:50070</value>
     </property>
      <property>
       <name>dfs.namenode.rpc-address.myhadoop.nn2</name>
       <value>wxzz-pc0:8020</value>
     </property>
    <property>
       <name>dfs.namenode.http-address.myhadoop.nn2</name>
       <value>wxzz-pc0:50070</value>
     </property>
    <property>
        <name>dfs.namenode.servicerpc-address.myhadoop.nn1</name>
        <value>wxzz-pc:53310</value>
     </property>
     <property>
        <name>dfs.namenode.servicerpc-address.cluster1.nn2</name>
        <value>wxzz-pc0:53310</value>
     </property>
     <property>
        <name>dfs.ha.automatic-failover.enabled.cluster1</name>
        <value>true</value>
     </property>
     <property>
            <name>dfs.namenode.shared.edits.dir</name>
             <value>qjournal://wxzz-pc:8485;wxzz-pc0:8485;wxzz-pc1:8485/myhadoop</value>
     </property>
    <property>
        <name>dfs.client.failover.proxy.provider.myhadoop</name>  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
     </property>
     <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/hadoop-2.7.2/journal</value>
     </property>
     <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
     </property>
     <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/opt/hadoop-2.7.2/.ssh/id_rsa</value>
     </property>
    <property>
       <name>dfs.ha.fencing.ssh.connect-timeout</name>
       <value>1000</value>
     </property>
     <property>
       <name>dfs.namenode.handler.count</name>
       <value>10</value>
     </property>
    <property>
       <name>dfs.ha.automatic-failover.enabled.myhadoop</name>
       <value>true</value>
     </property>
</configuration>

3. mapred-site.xml 配置

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
      <name>mapreduce.jobhistory.address</name>
      <value>0.0.0.0:10020</value>
    </property>
    <property>
      <name>mapreduce.jobhistory.webapp.address</name>
      <value>0.0.0.0:19888</value>
    </property>
</configuration>

4．yarn-site.xml 配置

<configuration>
        <property>
           <name>yarn.resourcemanager.ha.enabled</name>
           <value>true</value>
        </property>
        <property>
           <name>yarn.resourcemanager.cluster-id</name>
           <value>rm-id</value>
        </property>
        <property>
           <name>yarn.resourcemanager.ha.rm-ids</name>
           <value>rm1,rm2</value>
        </property>
        <property>
           <name>yarn.resourcemanager.hostname.rm1</name>
           <value>wxzz-pc</value>
        </property>
        <property>
           <name>yarn.resourcemanager.hostname.rm2</name>
           <value>wxzz-pc0</value>
        </property>
        <property>
           <name>yarn.resourcemanager.zk-address</name>
           <value>wxzz-pc:2181,wxzz-pc0:2181,wxzz-pc1:2181</value>
        </property>
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
</configuration>

六．服務啟動

1.在各個Journal Node節點上，輸入以下命令啟動Journal Node

         sbin/hadoop-daemon.sh start journalnode

2.在[nn1]上，進行格式化，並啟動

         bin/hdfs namenode -format

         sbin/hadoop-daemon.sh start namenode

3.在[nn2]上，同步[nn1]的元數據信息，並啟動

         bin/hdfs namenode -bootstrapStandby

         sbin/hadoop-daemon.sh start namenode

   經過以上3步，[nn1]和[nn2]均處在standby狀態

4.[nn1]節點上，將其轉換為active狀態

         bin/hdfs haadmin –transitionToActive --forcemanual nn1

5.在[nn1]上，啟動所有datanode

         sbin/hadoop-daemons.sh start datanode

6.在[nn1]上，啟動yarn

         sbin/start-yarn.sh

如果要關閉集群，在[nn1]上輸入sbin/stop-all.sh即可。以後每次啟動的時候，需要按照上面的步驟啟動，不過不需要執行2 的格式化操作。

七．運行效果

管理界面：

 

命令行效果：

 

1.[連載]《C#通訊（串口和網路）框架的設計與實現》

2.[開源]C#跨平臺物聯網通訊框架ServerSuperIO（SSIO）介紹

2.應用SuperIO（SIO）和開源跨平臺物聯網框架ServerSuperIO（SSIO）構建系統的整體方案

3.C#工業物聯網和集成系統解決方案的技術路線（數據源、數據採集、數據上傳與接收、ActiveMQ、Mongodb、WebApi、手機App）

5.ServerSuperIO開源地址：https://github.com/wxzz/ServerSuperIO

物聯網&集成技術(.NET) QQ群：54256083 

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在Ubuntu中建立MySQL資料庫
    最近在做一個關於雲計算安全系統的項目，需要用到MySQL資料庫，現在把建立資料庫的步驟記錄下來。 一、用命令在Ubuntu上安裝MySQL # sudo apt-get update # sudo apt-get upgrade # sudo apt-get -f install 1. sudo a ...
  • window下使用Redis Cluster部署Redis集群
    日常的項目很多時候都需要用到緩存。redis算是一個比較好的選擇。一般情況下做一個主從就可以滿足一些比較小的項目需要。有些時候也需要用到集群。 使用時候可以先瞭解redis cluster的原理http://www.cnblogs.com/foxmailed/p/3630875.html 一、環境 ...
  • MySQL解壓版配置步驟
    1. mysql 5.7.14 winx64\bin配置到Path中 2. 在解壓路徑下複製my default.ini,修改名稱為my.ini 3. 在my.ini添加如下 [mysqld] basedir=C:\\software\Mysql\mysql 5.7.14 winx64 datadi ...
  • Storm UI 說明
    原文： http://blog.sina.com.cn/s/blog_5c51172c0102v26g.html ...
  • MySql踩坑總結
    `衣帶漸寬終不悔，為伊消得人憔悴，眾里尋他千百度，驀然迴首，那人卻在燈火闌珊處`好通順的句子哈哈 轉了那麼多彎，才明白問題就在一個地方。睡覺之前想明白了問題，還是經驗太少。王國維的治學三境界： 昨夜西風凋碧樹，獨上高樓，望盡天涯路 衣帶漸寬終不悔，為伊消得人憔悴 眾里尋他千百度，驀然迴首，那人卻在燈 ...
  • 聊聊因數分解機模型的基本形式和一些變化
    因數分解機(Factorization Machine, 簡稱FM)是一種不錯的CTR預估模型，也是我們現在在使用的廣告點擊率預估模型，比起著名的Logistic Regression, FM能夠把握一些組合的高階特征，因此擁有更強的表現力。 在做點擊率預估時，我們的特征往往來自於用戶(user)、 ...
  • 資料庫---實驗四 oracle的安全性和完整性控制
    實驗內容： 實驗分析： 在本次資料庫實驗中，我完成了實驗要求。本次實驗內容是關於sql語言進行用戶許可權的授予和回收，實體完整性，參照完整性及用戶定義的完整性的定義。在課堂上，老師講授了oracle的安全性和完整性控制相關知識，我也用筆練習寫了sql語句，但是感覺印象還不是很深刻，有些不太理解。在實驗 ...
  • 資料庫---實驗三 嵌套查詢和視圖操作
    實驗分析： 在本次資料庫實驗中，我完成了實驗要求。本次實驗內容是關於嵌套查詢，在課堂上，老師講授了嵌套查詢相關知識，我也用筆練習寫了sql語句，但是感覺印象還不是很深刻，有些不太理解。在實驗課中我練習了sql語句，對課堂上所學的知識有了更深的理解，收穫很多。實驗中，我遇到了一些問題，通過查詢資料和老 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類