hadoop-2.0.0-cdh4.1.2升級到hadoop-2.7.2

来源:http://www.cnblogs.com/wsl222000/archive/2016/04/19/5409110.html
-Advertisement-
Play Games

升級前準備: 配置好新的hadoop-2.7.2到各個集群伺服器上 配置好新的環境變數備用 開始升級: 1.停止hive、hbase、zookeeper等相關服務 2.檢查文件(如果文件太多太費時間可以不做) 檢查元數據塊(過濾所有以小圓點開始的行): 3.停止hadoop集群 4.修改環境變數 s ...


升級前準備:

配置好新的hadoop-2.7.2到各個集群伺服器上

配置好新的環境變數備用

 

開始升級:

1.停止hive、hbase、zookeeper等相關服務

2.檢查文件(如果文件太多太費時間可以不做)

hadoop dfsadmin -safemode enter

檢查元數據塊(過濾所有以小圓點開始的行):

hadoop fsck / -files -blocks -locations |grep -v -E '^\.' > old-fsck.log
hadoop dfsadmin -safemode leave

3.停止hadoop集群

$HADOOP_HOME/bin/stop-all.sh

4.修改環境變數

source /etc/profile 各個集群都執行
echo $HADOOP_HOME 看是否是新的hadoop目錄了

5.開始升級

hadoop-daemon.sh start namenode -upgrade 啟動namenode升級

hadoop-daemons.sh start datanode 啟動各個數據節點

打開日誌文件觀察有誤錯誤,如果報記憶體溢出,修改hadoop-env.sh 文件的export HADOOP_HEAPSIZE,HADOOP_CLIENT_OPTS參數值和yarn-env.sh文件JAVA_HEAP_MAX參數值

打開50070埠web頁面觀察升級過程

等所有數據節點全部升級完成後,檢查數據完整性(此過程根據集群數量得等一段時間)

hadoop fsck /

 

有問題回滾命令:

hadoop-daemon.sh start namenode -rollback 

hadoop-daemons.sh start datanode –rollback

6.提交升級

運行一段時間後,觀察沒有問題,可以提交升級

hdfs dfsadmin -finalizeUpgrade

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 簡介: 如何使用 Zabbix 監控 Nginx 狀態 ? 1、獲取 Nginx 狀態( HTTP Stub Status ) ## 查看編譯時有沒有加入狀態監控模塊,如果沒有需要單獨載入 2、配置 nginx.conf ## 在虛擬主機 server {} 中加入上面配置,也可以單獨定義一個專門用 ...
  • 1.開啟關閉伺服器(即時生效): service iptasbles start service iptasbles stop 1.開啟關閉伺服器(即時生效): service iptasbles start service iptasbles stop 2.在開啟了防火牆時,做如下設置,開啟相關端 ...
  • 向腳本傳遞參數 運行: 特殊參數: 算術運算: 原生bash不支持簡單的數學運算,但是可以通過其他命令來實現,比如awk和expr 文件測試運算符: -r file :文件是否可讀 -w file: 文件是否可寫 -x file: 文件是否可執行 echo命令: 流程式控制制: if的語法: for的語 ...
  • 1. 問題描述: 從桌面快捷方式代開chrome、 firefox、 IE exploer時,出現毒霸網址。 2. 解決方案: 未成功: win+R-->gpedit.msc-->進入組策略,更改ie設置不好使 成功 : 刪除桌面快捷方式, 進入瀏覽器安裝目錄, 找到exe文件, 重新生成快捷方式, ...
  • 1、應用場景 在Windows或者linux操作系統中,我們在啟動一個tomcat伺服器時,經常會發現8080埠已經被占用的錯誤,而我們又不知道如何停止這個tomcat伺服器。 2、window環境下殺死進程 1、首先查找到占用8080埠的進程號PID是多少(tomcat預設是8080埠,假如 ...
  • centOs7的一個巨大的變動就是用systemd取代了原來的System V init。systemd是一個完整的軟體包,安裝完成後有很多物理文件組成,大致分佈為,配置文件位於/etc/systemd這個目錄下,配置工具命令位於/bin,和/sbin這兩個目錄下,預先準備的備用配置文件位於/lib ...
  • 使用SSH需要公私鑰對的配置, 十分繁瑣. 為了隨時隨地在任何設備上快速登錄遠程Linux主機, 將選擇使用telnet對其進行連接. 警告:telnet的傳輸為明文, 如果被截獲(root)用戶密碼可能會泄露. Windows OS上的telnet服務配置 Win+X鍵, 選擇程式和功能(亦可在控 ...
  • 網頁中經常需要顯示圖片給用戶看,對網站本身來說有的圖片是從本地圖片伺服器來的,但是一旦數量多了以後,磁碟空間又是一個問題。 所以有時就希望顯示其他網站的Image,直接把其他網站的圖片顯示在我的網站上。但並不是所有的外網Image 都能直接連接過來顯示。 很多情況下網站開發人員就會遇到 403 fo ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...