面試題百日百刷-HBase中HTable API有沒有線程安全問題,在程式是單例還是多例?

来源:https://www.cnblogs.com/demosoftware/archive/2023/04/08/17298256.html
-Advertisement-
Play Games

鎖屏面試題百日百刷,每個工作日堅持更新面試題。請看到最後就能獲取你想要的,接下來的是今日的面試題: 1.HBase內部機制是什麼? Hbase是一個能適應聯機業務的資料庫系統 物理存儲:hbase的持久化數據是將數據存儲在HDFS上。 存儲管理:一個表是劃分為很多region的,這些region分佈 ...


鎖屏面試題百日百刷,每個工作日堅持更新面試題。請看到最後就能獲取你想要的,接下來的是今日的面試題:



 

1.HBase內部機制是什麼?

Hbase是一個能適應聯機業務的資料庫系統

物理存儲:hbase的持久化數據是將數據存儲在HDFS上。

存儲管理:一個表是劃分為很多region的,這些region分散式地存放在很多regionserver上Region內部還可以

劃分為store,store內部有memstore和storefile。

版本管理:hbase中的數據更新本質上是不斷追加新的版本,通過compact操作來做版本間的文件合併Region

的split。

集群管理:ZooKeeper + HMaster + HRegionServer。

2.HTable API有沒有線程安全問題,在程式是單例還是多例?

在單線程環境下使用hbase的htable是沒有問題,但是突然高併發多線程情況下就可能出現問題。

以下為Htable的API說明:

This class is not thread safe for updates; the underlying write buffer can be corrupted if multiple threads contend over a single HTable instance. 當有多個線程競爭時可能把當前正在寫的線程corrupted,那麼原因是什麼呢?

根據Htable的源碼:

public HTable(final byte [] tableName)throws IOException{  this(HBaseConfiguration.create(), tableName);}public static Configuration create() {  Configuration conf = new Configuration();  return addHbaseResources(conf);}

 

從上面我們可以看到每一個HTable的實例化過程都要創建一個新的conf,我們甚至可以認為一個conf對應的是一個HTable的connection,因此如果客戶端對於同一個表,每次新new 一個configuration對象的話,那麼意味著這兩個HTable雖然操作的是同一個table,但是建立的是兩條鏈接connection,它們的socket不是共用的,在多線程的情況下,經常會有new Htable的情況發生,而每一次的new都可能是一個新的connection,而我們知道zk上的鏈接是有限制的如果鏈接達到一定閾值的話,那麼新建立的鏈接很有可能擠掉原先的connection,而導致線程不安全。

因此hbase官方文檔建議我們:HTable不是線程安全的。建議使用同一個HBaseConfiguration實例來創建HTable實例,這樣可以共用ZooKeeper和socket實例。例如,最好這樣做:

HBaseConfiguration conf = HBaseConfiguration.create();HTable table1 = new HTable(conf, "myTable");HTable table2 = new HTable(conf, "myTable");

 

而不是這樣:

HBaseConfiguration conf1 = HBaseConfiguration.create();HTable table1 = new HTable(conf1, "myTable");HBaseConfiguration conf2 = HBaseConfiguration.create();HTable table2 = new HTable(conf2, "myTable");

 

當然最方便的方法就是使用HTablepool了,維持一個線程安全的map裡面存放的是tablename和其引用的映射,可以認為是一個簡單的計數器,當需要new 一個HTable實例時直接從該pool中取,用完放回。

3.HBase有沒有併發問題?

針對HBase在高併發情況下的性能,我們進行如下測試:

測試版本:hbase 0.94.1、 hadoop 1.0.2、 jdk-6u32-linux-x64.bin、snappy-1.0.5.tar.gz

測試hbase搭建:14台存儲機器+2台master、DataNode和regionserver放在一起。

測試一:高併發讀(4w+/s) + 少量寫(允許分拆、負載均衡)

癥狀:1-2天後,hbase掛掉(系統性能極差,不到正常的10%)。其實並非全部掛掉,而是某些regionserver掛了,併在幾個小時內引發其他regionserver掛掉。系統無法恢復:單獨啟regionserver無法恢復正常。重啟後正常。

測試二:高併發讀(4w+/s)

癥狀:1-2天後,hbase掛掉(系統性能極差,不到正常的10%)。後發現是由於zookeeper.session.timeout設置不正確導致(參見regionserver部分:http://hbase.apache.org/book.html#trouble)。重啟後正常。

測試三:高併發讀(4w+/s)

癥狀:1-2天後,hbase掛掉(系統性能極差,不到正常的10%)。從log未看出問題,但regionserver宕機,且datanode也宕機。重啟後正常。

測試四:高併發讀(4w+/s)+禁止分拆、禁止majorcompaction、禁止負載均衡(balance_switch命令)癥狀:1-2天後,hbase掛掉(系統性能極差,不到正常的10%)。從log未看出問題,但regionserver宕機,且datanode也宕機。重啟後正常。

測試期間,還發現過:無法獲取".MATE."表的內容(想知道regionserver的分佈情況)、hbase無法正確停止、hbase無法正確啟動(日誌恢復失敗,文件錯誤,最終手動刪除日誌重啟)。

 

全部內容在[git](https://gitee.com/zjlalaforgit/interview)上,瞭解更多請點我頭像或到我的主頁去獲得,謝謝


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 數字營銷,也就是網路營銷,即線上推廣你的產品或服務。 其核心的是:在正確的客戶面前線上推廣正確的產品 Right Customer Right Product Online 一、關於市場研究 網路營銷中,最重要的第一步是市場研究(Marketing Research)。 包括以下兩個方面: 誰是目標 ...
  • Python的反射機制可以動態獲取對象信息以及動態調用對象,本文介紹如何獲取對象中的函數註釋信息以及參數信息。 定義一個Person類: class Person(): def talk(self, name, age, height=None): """talk function :return: ...
  • 原文:blog.csdn.net/h254931252/article/details/109257998 在實際工作中,重處理是一個非常常見的場景,比如: 發送消息失敗。 調用遠程服務失敗。 爭搶鎖失敗。 這些錯誤可能是因為網路波動造成的,等待過後重處理就能成功。通常來說,會用try/catch, ...
  • 前言 這幾天在學習如何使用自定義註解實現Excel格式數據導入導出,參考的還是若依框架裡面的代碼,由於是初學,所以照貓畫虎唄,但是難受的是需要複製並根據自己項目修改作者自定義的工具類以及導入這些工具類的依賴包。由於吃了這個苦,我決定把這個艱辛的CV操作通過一張邏輯圖來表達,方便我以後復用。下麵證實開 ...
  • 摘要:StampedLock是一種在讀取共用變數的過程中,允許後面的一個線程獲取寫鎖對共用變數進行寫操作,使用樂觀讀避免數據不一致的問題,並且在讀多寫少的高併發環境下,比ReadWriteLock更快的一種鎖。 本文分享自華為雲社區《一文徹底理解併發編程中非常重要的票據鎖——StampedLock》 ...
  • 隨著技術的發展,ASP.NET Core MVC也推出了好長時間,經過不斷的版本更新迭代,已經越來越完善,本系列文章主要講解ASP.NET Core MVC開發B/S系統過程中所涉及到的相關內容,適用於初學者,在校畢業生,或其他想從事ASP.NET Core MVC 系統開發的人員,僅供學習分享使用 ...
  • 救急 臨時文件 WIN+R 打開啟動命令輸入 %TEMP% 其實就是打開系統用戶下的臨時文件夾 文件夾下的文件都是應用的臨時文件,刪掉也會重覆創建。選中所有文件直接shift+Delete直接刪除不走回收站。 臨時文件其實也不是很大 虛擬記憶體 Windows的虛擬記憶體技術會拿出一部分硬碟空間充當記憶體 ...
  • 實驗證明,巨集定義 LV_MEM_CUSTOM 從 0 改為 1,對 LVGL+TFT_eSPI 編譯時不再提示 “section `.rodata' will not fit in region `dram0_0_seg'” 或“section `.bss' is not within region... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...