面試題百日百刷-HBase HRegionServer宕機如何處理

来源:https://www.cnblogs.com/demosoftware/archive/2023/04/07/17297476.html
-Advertisement-
Play Games

鎖屏面試題百日百刷,每個工作日堅持更新面試題。鎖屏面試題app、小程式現已上線,官網地址:https://www.demosoftware.cn。已收錄了每日更新的面試題的所有內容,還包含特色的解鎖屏幕複習面試題、每日編程題目郵件推送等功能。讓你在面試中先人一步!接下來的是今日的面試題: 1.HBa ...


鎖屏面試題百日百刷,每個工作日堅持更新面試題。鎖屏面試題app、小程式現已上線,官網地址:https://www.demosoftware.cn。已收錄了每日更新的面試題的所有內容,還包含特色的解鎖屏幕複習面試題、每日編程題目郵件推送等功能。讓你在面試中先人一步!接下來的是今日的面試題:

 

1.HBase的導入導出方式?

1)導入:bin/hbase org.apache.hadoop.hbase.mapreduce.Driver import 表名 路徑

路徑:來源

本地路徑 file:///path

HDFS hdfs://cluster1/path

2)導出:bin/hbase org.apache.hadoop.hbase.mapreduce.Driver export 表名 路徑

路徑:目的地

本地路徑 file:///path

HDFS hdfs://cluster1/path

2.Region如何預建分區?

預分區的目的主要是在創建表的時候指定分區數,提前規劃表有多個分區,以及每個分區的區間範圍,這樣在存儲的時候rowkey按照分區的區間存儲,可以避免region熱點問題。

通常有兩種方案:

方案1:shell 方法

create 'tb_splits', {NAME => 'cf',VERSIONS=> 3},{SPLITS => ['10','20','30']}

方案2: JAVA程式控制

· 取樣,先隨機生成一定數量的rowkey,將取樣數據按升序排序放到一個集合里;

· 根據預分區的region個數,對整個集合平均分割,即是相關的splitKeys;

· HBaseAdmin.createTable(HTableDescriptor tableDescriptor,byte[][]splitkeys)可以指定預分區的splitKey,即是指定region間的rowkey臨界值。

3.HRegionServer宕機如何處理?

1)ZooKeeper會監控HRegionServer的上下線情況,當ZK發現某個HRegionServer宕機之後會通知HMaster

進行失效備援;

2)該HRegionServer會停止對外提供服務,就是它所負責的region暫時停止對外提供服務;

3)HMaster會將該HRegionServer所負責的region轉移到其他HRegionServer上,並且會對HRegionServer上存在memstore中還未持久化到磁碟中的數據進行恢復;

4) 這個恢復的工作是由WAL重播來完成,這個過程如下:

· wal實際上就是一個文件,存在/hbase/WAL/對應RegionServer路徑下。

· 宕機發生時,讀取該RegionServer所對應的路徑下的wal文件,然後根據不同的region切分成不同的臨時文件recover.edits。

· 當region被分配到新的RegionServer中,RegionServer讀取region時會進行是否存在recover.edits,如果有則進行恢復。

4.HBase讀寫流程?

讀:

① HRegionServer保存著meta表以及表數據,要訪問表數據,首先Client先去訪問zookeeper,從zookeeper裡面獲取meta表所在的位置信息,即找到這個meta表在哪個HRegionServer上保存著。

② 接著Client通過剛纔獲取到的HRegionServer的IP來訪問Meta表所在的HRegionServer,從而讀取到Meta,進而獲取到Meta表中存放的元數據。

③ Client通過元數據中存儲的信息,訪問對應的HRegionServer,然後掃描所在HRegionServer的Memstore和Storefile來查詢數據。

④ 最後HRegionServer把查詢到的數據響應給Client。

寫:

① Client先訪問zookeeper,找到Meta表,並獲取Meta表元數據。

② 確定當前將要寫入的數據所對應的HRegion和HRegionServer伺服器。

③ Client向該HRegionServer伺服器發起寫入數據請求,然後HRegionServer收到請求並響應。

④ Client先把數據寫入到HLog,以防止數據丟失。

⑤ 然後將數據寫入到Memstore。

⑥ 如果HLog和Memstore均寫入成功,則這條數據寫入成功

⑦ 如果Memstore達到閾值,會把Memstore中的數據flush到Storefile中。

⑧ 當Storefile越來越多,會觸發Compact合併操作,把過多的Storefile合併成一個大的Storefile。

⑨ 當Storefile越來越大,Region也會越來越大,達到閾值後,會觸發Split操作,將Region一分為二。

 
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1、避免在迴圈中進行查詢操作: 避免在迴圈中進行查詢操作,可以將查詢結果緩存到記憶體中,然後對記憶體中的數據進行操作,可以提高性能。這種方式適合集合數據量少的數據,否則利大於弊。 // 不建議的方式:在迴圈中進行查詢操作 foreach (var item in itemList) { var resu ...
  • 一:背景 1. 講故事 上周看了一位訓練營朋友的dump,據朋友說他的程式卡死了,看完之後發現是一例經典的死鎖問題,蠻有意思,這個案例算是學習 .NET高級調試 入門級的案例,這裡和大家分享一下。 二:WinDbg 分析 1. 程式為什麼會卡死 因為是窗體程式,所以看主線程的線程棧就好了,如果卡在 ...
  • 最近小編同事面試遇到了一道面試題,題目是有個int數組,把輸入包含的指定元素刪除。這道題主要考察C#基礎知識和編碼動手能力。小編將以如下幾種方法實現,供大家參考。(註:文末還有擴展問題。) 1、使用臨時數組copy後替換 這種方法涉及創建一個比原始數組小一個元素的新數組。然後,將原始數組複製到新數組 ...
  • #1、熟悉Linux的文件系統結構 Linux的文件系統結構其實是一個樹形的分層組織結構,如下圖: Linux系統目錄結構及目錄路徑: ##1.1、文件系統層次結構標準 Linux是開源的操作系統,各個Linux發行機構都可以按照自己的需求對Linux系統的文件系統進行相應的裁剪,所以各個Linux ...
  • 如文章標題,我們安裝的Linux開發環境是**:Windows-VMware-Ubuntu環境** 配置,即在windows系統下安裝VMware虛擬機,之後在VMware中配置安裝Linux系統的常用發行版——Ubuntu系統。 沒有在一臺伺服器或者一臺電腦上直接安裝linux系統(比如直接主機安 ...
  • ​ 嵌入式軟體(如航空電子和汽車系統)的設計、開發、測試和驗證正變得越來越複雜。傳統的文檔驅動式環境中,一旦開發人員之間缺乏協調,軟體程式生命周期的質量和成本就會受到嚴重影響,顯然已經無法應對日益複雜的嵌入式軟體生產。 正確使用基於模型的設計(Model-Based Design,以下簡稱MBD)方 ...
  • 無論是Window,MacOs,Linux均採用多用戶的管理模式進行許可權管理。 在Linux系統中,擁有最大許可權的賬戶名為:root(超級管理員)。 root用戶擁有最大的系統操作許可權,而普通用戶在許多地方的許可權是受限的。 普通用戶一般在HOME目錄是不受限制的,一旦出了HOME目錄,大多地方,僅有 ...
  • 主要內容 晶元介紹 開發環境 編程舉例 晶元介紹 什麼是NodeMCU? NodeMCU,是一個開源的物聯網平臺。 它使用Lua腳本語言編程。該平臺基於eLua 開源項目,底層使用ESP8266 sdk 0.9.5版本。該平臺使用了很多開源項目, 例如 lua-cjson, spiffs. Node ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...