面試題百日百刷-HBase中HTable API有沒有線程安全問題,在程式是單例還是多例?

来源:https://www.cnblogs.com/demosoftware/archive/2023/04/08/17298256.html
-Advertisement-
Play Games

鎖屏面試題百日百刷,每個工作日堅持更新面試題。請看到最後就能獲取你想要的,接下來的是今日的面試題: 1.HBase內部機制是什麼? Hbase是一個能適應聯機業務的資料庫系統 物理存儲:hbase的持久化數據是將數據存儲在HDFS上。 存儲管理:一個表是劃分為很多region的,這些region分佈 ...


鎖屏面試題百日百刷,每個工作日堅持更新面試題。請看到最後就能獲取你想要的,接下來的是今日的面試題:



 

1.HBase內部機制是什麼?

Hbase是一個能適應聯機業務的資料庫系統

物理存儲:hbase的持久化數據是將數據存儲在HDFS上。

存儲管理:一個表是劃分為很多region的,這些region分散式地存放在很多regionserver上Region內部還可以

劃分為store,store內部有memstore和storefile。

版本管理:hbase中的數據更新本質上是不斷追加新的版本,通過compact操作來做版本間的文件合併Region

的split。

集群管理:ZooKeeper + HMaster + HRegionServer。

2.HTable API有沒有線程安全問題,在程式是單例還是多例?

在單線程環境下使用hbase的htable是沒有問題,但是突然高併發多線程情況下就可能出現問題。

以下為Htable的API說明:

This class is not thread safe for updates; the underlying write buffer can be corrupted if multiple threads contend over a single HTable instance. 當有多個線程競爭時可能把當前正在寫的線程corrupted,那麼原因是什麼呢?

根據Htable的源碼:

public HTable(final byte [] tableName)throws IOException{  this(HBaseConfiguration.create(), tableName);}public static Configuration create() {  Configuration conf = new Configuration();  return addHbaseResources(conf);}

 

從上面我們可以看到每一個HTable的實例化過程都要創建一個新的conf,我們甚至可以認為一個conf對應的是一個HTable的connection,因此如果客戶端對於同一個表,每次新new 一個configuration對象的話,那麼意味著這兩個HTable雖然操作的是同一個table,但是建立的是兩條鏈接connection,它們的socket不是共用的,在多線程的情況下,經常會有new Htable的情況發生,而每一次的new都可能是一個新的connection,而我們知道zk上的鏈接是有限制的如果鏈接達到一定閾值的話,那麼新建立的鏈接很有可能擠掉原先的connection,而導致線程不安全。

因此hbase官方文檔建議我們:HTable不是線程安全的。建議使用同一個HBaseConfiguration實例來創建HTable實例,這樣可以共用ZooKeeper和socket實例。例如,最好這樣做:

HBaseConfiguration conf = HBaseConfiguration.create();HTable table1 = new HTable(conf, "myTable");HTable table2 = new HTable(conf, "myTable");

 

而不是這樣:

HBaseConfiguration conf1 = HBaseConfiguration.create();HTable table1 = new HTable(conf1, "myTable");HBaseConfiguration conf2 = HBaseConfiguration.create();HTable table2 = new HTable(conf2, "myTable");

 

當然最方便的方法就是使用HTablepool了,維持一個線程安全的map裡面存放的是tablename和其引用的映射,可以認為是一個簡單的計數器,當需要new 一個HTable實例時直接從該pool中取,用完放回。

3.HBase有沒有併發問題?

針對HBase在高併發情況下的性能,我們進行如下測試:

測試版本:hbase 0.94.1、 hadoop 1.0.2、 jdk-6u32-linux-x64.bin、snappy-1.0.5.tar.gz

測試hbase搭建:14台存儲機器+2台master、DataNode和regionserver放在一起。

測試一:高併發讀(4w+/s) + 少量寫(允許分拆、負載均衡)

癥狀:1-2天後,hbase掛掉(系統性能極差,不到正常的10%)。其實並非全部掛掉,而是某些regionserver掛了,併在幾個小時內引發其他regionserver掛掉。系統無法恢復:單獨啟regionserver無法恢復正常。重啟後正常。

測試二:高併發讀(4w+/s)

癥狀:1-2天後,hbase掛掉(系統性能極差,不到正常的10%)。後發現是由於zookeeper.session.timeout設置不正確導致(參見regionserver部分:http://hbase.apache.org/book.html#trouble)。重啟後正常。

測試三:高併發讀(4w+/s)

癥狀:1-2天後,hbase掛掉(系統性能極差,不到正常的10%)。從log未看出問題,但regionserver宕機,且datanode也宕機。重啟後正常。

測試四:高併發讀(4w+/s)+禁止分拆、禁止majorcompaction、禁止負載均衡(balance_switch命令)癥狀:1-2天後,hbase掛掉(系統性能極差,不到正常的10%)。從log未看出問題,但regionserver宕機,且datanode也宕機。重啟後正常。

測試期間,還發現過:無法獲取".MATE."表的內容(想知道regionserver的分佈情況)、hbase無法正確停止、hbase無法正確啟動(日誌恢復失敗,文件錯誤,最終手動刪除日誌重啟)。

 

全部內容在[git](https://gitee.com/zjlalaforgit/interview)上,瞭解更多請點我頭像或到我的主頁去獲得,謝謝


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 數字營銷,也就是網路營銷,即線上推廣你的產品或服務。 其核心的是:在正確的客戶面前線上推廣正確的產品 Right Customer Right Product Online 一、關於市場研究 網路營銷中,最重要的第一步是市場研究(Marketing Research)。 包括以下兩個方面: 誰是目標 ...
  • Python的反射機制可以動態獲取對象信息以及動態調用對象,本文介紹如何獲取對象中的函數註釋信息以及參數信息。 定義一個Person類: class Person(): def talk(self, name, age, height=None): """talk function :return: ...
  • 原文:blog.csdn.net/h254931252/article/details/109257998 在實際工作中,重處理是一個非常常見的場景,比如: 發送消息失敗。 調用遠程服務失敗。 爭搶鎖失敗。 這些錯誤可能是因為網路波動造成的,等待過後重處理就能成功。通常來說,會用try/catch, ...
  • 前言 這幾天在學習如何使用自定義註解實現Excel格式數據導入導出,參考的還是若依框架裡面的代碼,由於是初學,所以照貓畫虎唄,但是難受的是需要複製並根據自己項目修改作者自定義的工具類以及導入這些工具類的依賴包。由於吃了這個苦,我決定把這個艱辛的CV操作通過一張邏輯圖來表達,方便我以後復用。下麵證實開 ...
  • 摘要:StampedLock是一種在讀取共用變數的過程中,允許後面的一個線程獲取寫鎖對共用變數進行寫操作,使用樂觀讀避免數據不一致的問題,並且在讀多寫少的高併發環境下,比ReadWriteLock更快的一種鎖。 本文分享自華為雲社區《一文徹底理解併發編程中非常重要的票據鎖——StampedLock》 ...
  • 隨著技術的發展,ASP.NET Core MVC也推出了好長時間,經過不斷的版本更新迭代,已經越來越完善,本系列文章主要講解ASP.NET Core MVC開發B/S系統過程中所涉及到的相關內容,適用於初學者,在校畢業生,或其他想從事ASP.NET Core MVC 系統開發的人員,僅供學習分享使用 ...
  • 救急 臨時文件 WIN+R 打開啟動命令輸入 %TEMP% 其實就是打開系統用戶下的臨時文件夾 文件夾下的文件都是應用的臨時文件,刪掉也會重覆創建。選中所有文件直接shift+Delete直接刪除不走回收站。 臨時文件其實也不是很大 虛擬記憶體 Windows的虛擬記憶體技術會拿出一部分硬碟空間充當記憶體 ...
  • 實驗證明,巨集定義 LV_MEM_CUSTOM 從 0 改為 1,對 LVGL+TFT_eSPI 編譯時不再提示 “section `.rodata' will not fit in region `dram0_0_seg'” 或“section `.bss' is not within region... ...
一周排行
    -Advertisement-
    Play Games
  • 前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器,其界面簡潔大方,操作體驗流暢。該播放器支持多種音頻格式(如 MP4、WMA、OGG、FLAC 等),並具備標記、實時歌詞顯示等功能。 另外,還支持換膚及多語言(中英文)切換。核心音頻處理採用 FFmpeg 組件,獲得了廣泛認可,目前 Git ...
  • OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統,完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面,查看已創建應用的Client ID和Clien ...
  • 解決了這個問題:《winForm下,fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自:https://www.fcnsoft.com/Home/Sho ...
  • 國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面,接收裸 Win 32 的 WM_Pointer 消息,從消息裡面獲取觸摸點信息,使用觸摸點 ...
  • 前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能,還集成了高性能的輕量級 POS 解決方案,確保頁面載入速度極快,提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI: ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的,因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 問題 問題是這樣的:第三方的webapi,需要先調用登陸介面獲取Cookie,訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面,返回的Headers中沒有找到Cookie信息。 分析 首先,使用Postman測試該登陸介面,正常返回Cookie信息,說明是HttpCli ...
  • 國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低,主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上,.NET曾因微軟的閉源策略發展受限,儘管後來推出了跨平臺的.NET ...
  • 在WPF開發應用中,動畫不僅可以引起用戶的註意與興趣,而且還使軟體更加便於使用。前面幾篇文章講解了畫筆(Brush),形狀(Shape),幾何圖形(Geometry),變換(Transform)等相關內容,今天繼續講解動畫相關內容和知識點,僅供學習分享使用,如有不足之處,還請指正。 ...
  • 什麼是委托? 委托可以說是把一個方法代入另一個方法執行,相當於指向函數的指針;事件就相當於保存委托的數組; 1.實例化委托的方式: 方式1:通過new創建實例: public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...