面試題百日百刷-HBase HRegionServer宕機如何處理

来源:https://www.cnblogs.com/demosoftware/archive/2023/04/07/17297476.html
-Advertisement-
Play Games

鎖屏面試題百日百刷,每個工作日堅持更新面試題。鎖屏面試題app、小程式現已上線,官網地址:https://www.demosoftware.cn。已收錄了每日更新的面試題的所有內容,還包含特色的解鎖屏幕複習面試題、每日編程題目郵件推送等功能。讓你在面試中先人一步!接下來的是今日的面試題: 1.HBa ...


鎖屏面試題百日百刷,每個工作日堅持更新面試題。鎖屏面試題app、小程式現已上線,官網地址:https://www.demosoftware.cn。已收錄了每日更新的面試題的所有內容,還包含特色的解鎖屏幕複習面試題、每日編程題目郵件推送等功能。讓你在面試中先人一步!接下來的是今日的面試題:

 

1.HBase的導入導出方式?

1)導入:bin/hbase org.apache.hadoop.hbase.mapreduce.Driver import 表名 路徑

路徑:來源

本地路徑 file:///path

HDFS hdfs://cluster1/path

2)導出:bin/hbase org.apache.hadoop.hbase.mapreduce.Driver export 表名 路徑

路徑:目的地

本地路徑 file:///path

HDFS hdfs://cluster1/path

2.Region如何預建分區?

預分區的目的主要是在創建表的時候指定分區數,提前規劃表有多個分區,以及每個分區的區間範圍,這樣在存儲的時候rowkey按照分區的區間存儲,可以避免region熱點問題。

通常有兩種方案:

方案1:shell 方法

create 'tb_splits', {NAME => 'cf',VERSIONS=> 3},{SPLITS => ['10','20','30']}

方案2: JAVA程式控制

· 取樣,先隨機生成一定數量的rowkey,將取樣數據按升序排序放到一個集合里;

· 根據預分區的region個數,對整個集合平均分割,即是相關的splitKeys;

· HBaseAdmin.createTable(HTableDescriptor tableDescriptor,byte[][]splitkeys)可以指定預分區的splitKey,即是指定region間的rowkey臨界值。

3.HRegionServer宕機如何處理?

1)ZooKeeper會監控HRegionServer的上下線情況,當ZK發現某個HRegionServer宕機之後會通知HMaster

進行失效備援;

2)該HRegionServer會停止對外提供服務,就是它所負責的region暫時停止對外提供服務;

3)HMaster會將該HRegionServer所負責的region轉移到其他HRegionServer上,並且會對HRegionServer上存在memstore中還未持久化到磁碟中的數據進行恢復;

4) 這個恢復的工作是由WAL重播來完成,這個過程如下:

· wal實際上就是一個文件,存在/hbase/WAL/對應RegionServer路徑下。

· 宕機發生時,讀取該RegionServer所對應的路徑下的wal文件,然後根據不同的region切分成不同的臨時文件recover.edits。

· 當region被分配到新的RegionServer中,RegionServer讀取region時會進行是否存在recover.edits,如果有則進行恢復。

4.HBase讀寫流程?

讀:

① HRegionServer保存著meta表以及表數據,要訪問表數據,首先Client先去訪問zookeeper,從zookeeper裡面獲取meta表所在的位置信息,即找到這個meta表在哪個HRegionServer上保存著。

② 接著Client通過剛纔獲取到的HRegionServer的IP來訪問Meta表所在的HRegionServer,從而讀取到Meta,進而獲取到Meta表中存放的元數據。

③ Client通過元數據中存儲的信息,訪問對應的HRegionServer,然後掃描所在HRegionServer的Memstore和Storefile來查詢數據。

④ 最後HRegionServer把查詢到的數據響應給Client。

寫:

① Client先訪問zookeeper,找到Meta表,並獲取Meta表元數據。

② 確定當前將要寫入的數據所對應的HRegion和HRegionServer伺服器。

③ Client向該HRegionServer伺服器發起寫入數據請求,然後HRegionServer收到請求並響應。

④ Client先把數據寫入到HLog,以防止數據丟失。

⑤ 然後將數據寫入到Memstore。

⑥ 如果HLog和Memstore均寫入成功,則這條數據寫入成功

⑦ 如果Memstore達到閾值,會把Memstore中的數據flush到Storefile中。

⑧ 當Storefile越來越多,會觸發Compact合併操作,把過多的Storefile合併成一個大的Storefile。

⑨ 當Storefile越來越大,Region也會越來越大,達到閾值後,會觸發Split操作,將Region一分為二。

 
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1、避免在迴圈中進行查詢操作: 避免在迴圈中進行查詢操作,可以將查詢結果緩存到記憶體中,然後對記憶體中的數據進行操作,可以提高性能。這種方式適合集合數據量少的數據,否則利大於弊。 // 不建議的方式:在迴圈中進行查詢操作 foreach (var item in itemList) { var resu ...
  • 一:背景 1. 講故事 上周看了一位訓練營朋友的dump,據朋友說他的程式卡死了,看完之後發現是一例經典的死鎖問題,蠻有意思,這個案例算是學習 .NET高級調試 入門級的案例,這裡和大家分享一下。 二:WinDbg 分析 1. 程式為什麼會卡死 因為是窗體程式,所以看主線程的線程棧就好了,如果卡在 ...
  • 最近小編同事面試遇到了一道面試題,題目是有個int數組,把輸入包含的指定元素刪除。這道題主要考察C#基礎知識和編碼動手能力。小編將以如下幾種方法實現,供大家參考。(註:文末還有擴展問題。) 1、使用臨時數組copy後替換 這種方法涉及創建一個比原始數組小一個元素的新數組。然後,將原始數組複製到新數組 ...
  • #1、熟悉Linux的文件系統結構 Linux的文件系統結構其實是一個樹形的分層組織結構,如下圖: Linux系統目錄結構及目錄路徑: ##1.1、文件系統層次結構標準 Linux是開源的操作系統,各個Linux發行機構都可以按照自己的需求對Linux系統的文件系統進行相應的裁剪,所以各個Linux ...
  • 如文章標題,我們安裝的Linux開發環境是**:Windows-VMware-Ubuntu環境** 配置,即在windows系統下安裝VMware虛擬機,之後在VMware中配置安裝Linux系統的常用發行版——Ubuntu系統。 沒有在一臺伺服器或者一臺電腦上直接安裝linux系統(比如直接主機安 ...
  • ​ 嵌入式軟體(如航空電子和汽車系統)的設計、開發、測試和驗證正變得越來越複雜。傳統的文檔驅動式環境中,一旦開發人員之間缺乏協調,軟體程式生命周期的質量和成本就會受到嚴重影響,顯然已經無法應對日益複雜的嵌入式軟體生產。 正確使用基於模型的設計(Model-Based Design,以下簡稱MBD)方 ...
  • 無論是Window,MacOs,Linux均採用多用戶的管理模式進行許可權管理。 在Linux系統中,擁有最大許可權的賬戶名為:root(超級管理員)。 root用戶擁有最大的系統操作許可權,而普通用戶在許多地方的許可權是受限的。 普通用戶一般在HOME目錄是不受限制的,一旦出了HOME目錄,大多地方,僅有 ...
  • 主要內容 晶元介紹 開發環境 編程舉例 晶元介紹 什麼是NodeMCU? NodeMCU,是一個開源的物聯網平臺。 它使用Lua腳本語言編程。該平臺基於eLua 開源項目,底層使用ESP8266 sdk 0.9.5版本。該平臺使用了很多開源項目, 例如 lua-cjson, spiffs. Node ...
一周排行
    -Advertisement-
    Play Games
  • 前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器,其界面簡潔大方,操作體驗流暢。該播放器支持多種音頻格式(如 MP4、WMA、OGG、FLAC 等),並具備標記、實時歌詞顯示等功能。 另外,還支持換膚及多語言(中英文)切換。核心音頻處理採用 FFmpeg 組件,獲得了廣泛認可,目前 Git ...
  • OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統,完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面,查看已創建應用的Client ID和Clien ...
  • 解決了這個問題:《winForm下,fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自:https://www.fcnsoft.com/Home/Sho ...
  • 國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面,接收裸 Win 32 的 WM_Pointer 消息,從消息裡面獲取觸摸點信息,使用觸摸點 ...
  • 前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能,還集成了高性能的輕量級 POS 解決方案,確保頁面載入速度極快,提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI: ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的,因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 問題 問題是這樣的:第三方的webapi,需要先調用登陸介面獲取Cookie,訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面,返回的Headers中沒有找到Cookie信息。 分析 首先,使用Postman測試該登陸介面,正常返回Cookie信息,說明是HttpCli ...
  • 國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低,主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上,.NET曾因微軟的閉源策略發展受限,儘管後來推出了跨平臺的.NET ...
  • 在WPF開發應用中,動畫不僅可以引起用戶的註意與興趣,而且還使軟體更加便於使用。前面幾篇文章講解了畫筆(Brush),形狀(Shape),幾何圖形(Geometry),變換(Transform)等相關內容,今天繼續講解動畫相關內容和知識點,僅供學習分享使用,如有不足之處,還請指正。 ...
  • 什麼是委托? 委托可以說是把一個方法代入另一個方法執行,相當於指向函數的指針;事件就相當於保存委托的數組; 1.實例化委托的方式: 方式1:通過new創建實例: public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...