讀者來信 | 如何判斷HBase Major Compact是否執行完畢?(已解決)

来源:https://www.cnblogs.com/zpb2016/archive/2020/04/09/12668662.html
-Advertisement-
Play Games

前言: 之前有朋友加好友與我探討一些問題,我覺得這些問題倒挺有價值的;於是就想在本公眾號開設一個問答專欄,方便技術交流與分享,專欄名就定為: 《讀者來信》 。歡迎關註本人微信公眾號《HBase工作筆記》,掃描文末二維碼解鎖更多姿勢! 來信人:羅 銘 小猿提問 如何判斷HBase Major Comp ...


前言:之前有朋友加好友與我探討一些問題,我覺得這些問題倒挺有價值的;於是就想在本公眾號開設一個問答專欄,方便技術交流與分享,專欄名就定為:《讀者來信》。歡迎關註本人微信公眾號《HBase工作筆記》,掃描文末二維碼解鎖更多姿勢!

來信人:羅*銘

小猿提問

如何判斷HBase Major Compact是否執行完畢?

小猿解答

這裡提供兩種查看方式:
一種是HBase WebUI 界面; 另外一種是HBase Shell命令行 。
我們下麵看一下。

1. HBase WebUI

點擊Web首頁Compactions按鈕查看每一個RS Compact完成情況;
點擊ServerName進入RS Web頁後點擊Compaction Metrics可查看該RS上每一個Region Compact 完成情況。

2. HBase Shell

通過Shell方式查看同WebUI查看大同小異,只不過沒有將這些指標可視化而已。如果有興趣,可以自己採集這些指標做一個漂亮的監控界面~

通過命令 status 'simple' 可查看HBase RS級別的一些指標,其中 compactionProgressPct=1.0 即表明RS Compact完成。如下:

hbase(main):002:0> status 'simple'
active master:  xxx.xx.xx.xx:6000 1539254611835
1 backup masters
    xxx.xx.xx.xx:6000 1539254627238
4 live servers
    xxx.xx.xx.xx:6002 1575619570126
        requestsPerSecond=211.0, 
		numberOfOnlineRegions=293, 
		usedHeapMB=4861, 
		maxHeapMB=16384, 
		numberOfStores=293, 
		numberOfStorefiles=432, 
		storefileUncompressedSizeMB=97691, 
		storefileSizeMB=35689, 
		compressionRatio=0.3653, 
		memstoreSizeMB=891, 
		storefileIndexSizeMB=0, 
		readRequestsCount=738897443, 
		writeRequestsCount=717989941, 
		rootIndexSizeKB=5413, 
		totalStaticIndexSizeKB=149724, 
		totalStaticBloomSizeKB=63325, 
		totalCompactingKVs=1389414755, 
		currentCompactedKVs=1389414755, 
		compactionProgressPct=1.0, 
		coprocessors=[HBaseSimHashSetBuildSystem, MultiRowMutationEndpoint]
    xxx.xx.xx.xx:6002 1575619966048
        ...

0 dead servers
Aggregate load: 962, regions: 1176

通過命令 status 'detailed' 可查看HBase RS Region 級別的一些指標,其中 compactionProgressPct=1.0 即表明RS Compact完成。如下:

hbase(main):002:0> status 'detailed'
active master:  xxx.xx.xx.xx:6000 1539254611835
1 backup masters
    xxx.xx.xx.xx:6000 1539254627238
4 live servers
    xxx.xx.xx.xx:6002 1575619570126
		"namespace:table,20,1577443984105.518a1fbd9dd64e5956e591fa23556f48."
            numberOfStores=1, 
			numberOfStorefiles=1, 
			storefileUncompressedSizeMB=0, 
			lastMajorCompactionTimestamp=0, 
			storefileSizeMB=0, 
			memstoreSizeMB=0, 
			storefileIndexSizeMB=0, 
			readRequestsCount=0, 
			writeRequestsCount=0, 
			rootIndexSizeKB=0, 
			totalStaticIndexSizeKB=0, 
			totalStaticBloomSizeKB=0, 
			totalCompactingKVs=332285, 
			currentCompactedKVs=332285, 
			compactionProgressPct=1.0, 
			completeSequenceId=-1, 
			dataLocality=1.0
        "namespace:table,1f,1577443984105.61c4ba95dbed1eb52da78c448e2f4bbf."
            ...

0 dead servers

知識點補充

1. 計算公式

在上面的Shell命令行輸出中我們還看到有兩個與Compact相關的指標,分別是totalCompactingKVscurrentCompactedKVs。其實指標 compactionProgressPct 正是由二者計算得來,如下:

float compactionProgressPct = Float.NaN;
  if( this.totalCompactingKVs > 0 ) {
    compactionProgressPct = Float.valueOf(
        this.currentCompactedKVs / this.totalCompactingKVs);
  }

2. 小版本bug

可能有的朋友會發現自己家的 HBase compactionProgressPct 指標出現了大於100% 情況,或是 currentCompactedKVs>totalCompactingKVs 等情況,其實這是HBase小版本出現的一個bug,該bug在 2.0.0-beta 版本中才修複完畢。相關jira 如下:

  • HBASE-19767
  • HBASE-15906
  • HBASE-11979

掃描二維碼關註博主公眾號

轉載請註明出處!歡迎關註本人微信公眾號【HBase工作筆記】


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 《windows美化系列》第一篇:桌面管理 大家好,我是修複! 今天開個新坑,告訴大家我美化windows的技巧。 今天是第一篇,教大家如何管理桌面。 不多說直接放圖 這就是我的桌面,只有一個臨時的文件夾,是不是一塵不染? 你們可能會問:修複,你桌面一個快捷方式都沒有,那你是怎麼打開軟體的啊? 嘿嘿 ...
  • 回到目錄 共基放大電路的形式比較簡單,其特點是輸入阻抗低、輸出阻抗高,電壓放大倍數可以非常大,但是電流放大倍數略小於1。本小節我們對共基放大電路進行詳細的交流分析。 共基放大電路典型如下圖所示: 圖4-5.01 註意在上圖中的各個電壓電流符號,有的僅含交流分量,有的同時包含交流分量和直流分量。集電極 ...
  • Linux Web伺服器集群 首先需要準備四台機器,分別為以下伺服器 NAS-Server-0 IP:192.168.254.10 Web-Server-1 IP:192.168.254.11 Web-Server-2 IP:192.168.254.12 Web-Server-3 IP:192.16 ...
  • SQL Server中STATISTICS IO物理讀和邏輯讀的誤區 大家知道,SQL Server中可以利用下麵命令查看某個語句讀寫IO的情況 SET STATISTICS IO ON 那麼這個命令的結果顯示的物理讀、邏輯讀的IO單位大小是多少,比如結果顯示有 物理讀取 1 次 是代表 對硬碟做了 ...
  • MySQL加密和解密實例詳解 有多種前端加密演算法可用於數據加密、解密,這是一種簡單的資料庫級別的數據加密、解密解決方案。 以MySQL資料庫為例,它內建了相應的加密函數(AES_ENCRYPT() )和解密函數(AES_DECRYPT())。 1.建表:建表時註意數據的類型 CREATE TABLE ...
  • SQL語言 使用Navicate圖形化界面工具 官網地址: "http://www.navicat.com.cn/download/direct download?product=navicat_mysql_cs_x64.exe&location=1&support=Y" 網盤地址: https:/ ...
  • MySql介紹 1. MySQL是一個關係型資料庫管理系統,由瑞典MySQL AB公司開發,目前屬於Oracle公司。MySQL是一種關聯資料庫管理系統,關聯資料庫將數據保存在不同的表中,而不是將所有數據放在一個大倉庫內,這樣就增加了速度並提高了靈活性。 2. Mysql是開源的,所以你不需要支付額 ...
  • 資料庫介紹 什麼是資料庫 資料庫是是按照數據結構來組織、存儲和管理數據的倉庫 資料庫的發展史 最早的資料庫: 通過大量的分類、比較和表格繪製的機器運行數百萬穿孔卡片來進行數據的處理,其運行結果在紙上列印出來或者製成新的穿孔卡片。 而數據管理就是對所有這些穿孔卡片進行物理的儲存和處理。 現在的資料庫 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...