HBase數據存取流程

来源:https://www.cnblogs.com/nicoleljc/archive/2018/11/18/9976555.html
-Advertisement-
Play Games

一、HBase的特點是什麼 1.HBase一個分散式的基於列式存儲或者行式存儲的資料庫,基於hadoop的hdfs存儲,zookeeper進行管理。 2.HBase適合存儲半結構化或非結構化數據,對於數據結構欄位不夠確定或者雜亂無章很難按一個概念去抽取的數據。 3.HBase為null的記錄不會被存 ...


一、HBase的特點是什麼 1.HBase一個分散式的基於列式存儲或者行式存儲的資料庫,基於hadoop的hdfs存儲,zookeeper進行管理。 2.HBase適合存儲半結構化或非結構化數據,對於數據結構欄位不夠確定或者雜亂無章很難按一個概念去抽取的數據。 3.HBase為null的記錄不會被存儲. 4.數據存儲模式為key,value模式:(Table,Rowkey,Column,Timestamp)-> value  5.HBase是主從架構。Hmaster作為主節點,Hregionserver作為從節點。   二、HBase存數據流程

 

流程:Client請求Zookeeper確定meta表所在的RegionServer所在的地址,接著根據Rowkey找到數據所歸屬的RegionServer;用戶提交put或delete請求時HbaseClient會將put或delete請求添加到本地buffer中,符合一定條件 會通過非同步批量提交伺服器處理。   接著數據到達Region後,服務端處理流程如下:

 

  流程:RegionServer去獲取RowLock,region更新共用鎖;接著Hbase會先寫寫日誌WAL(數據可靠性)再寫緩存MemStore(閾值預設64M,每個列族對應一個Store下的MemStore);然後釋放鎖後將日誌落到HDFS;若MemStore達到閾值則將緩存數據落磁碟StoreFile,最後多個StoreFile發生合併;若StoreFile很大會觸發split操作,將當前region分割成2個Region,並同步到Hmaster。   三、HBase取數據流程 HbaseClient的操作和存數據類似

伺服器操作流程:

 

RegionServer收到get請求後,對當前Region進行Scan,接著會根據列族對Store進行Scan,同時會對對應的MemStore進行Scan;最後找到我們要的數據返回給Client。註意:一個StoreScanner會對應多個StoreFileScanner,整個過程是一個層級關係。

 
四、HBase存取優化 檢索優化(BloomFilter):應用BloomFilter來提高隨機讀的性能,BloomFilter是列族級別的配置 五、HBase API使用

 

 
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 轉自:https://www.cnblogs.com/zejin2008/p/7144514.html 先安裝包依賴: 安裝vm tool 按提示操作即可。 有/mnt/hgfs但沒有共用文件的解決方法: 這時不能用mount工具掛載,而是得用vmhgfs-fuse,需要安裝工具包 此時進入/mnt ...
  • 案例:某公司一個lamp的伺服器網站站點目錄下所有文件均被植入了廣告腳本如下內容: <script language=javascriptsrc=http://%4%66E%78%72%67%2E%70%6F/x.js?google_ad=93x28_ad> </script>' 包括圖片文件也為植 ...
  • 什麼是shell?在Linux內核與用戶之間的解釋器程式— 通常指/bin/bash(預設解釋器)— 負責向內核翻譯及傳達用戶/程式指令—相當於操作系統的“外殼” ...
  •     不知道大家有沒有碰到在安裝CentOS時個,對系統每個掛載點分配多大容量比較合適的問題?如果掛載點容量分配大小,在某天不夠用的時候怎麼辦;分配太大又存在浪費的情況。特別是在遇到系統盤特別小的時候,這個問題會更加突出。這時候大家可能會說,那有沒有辦法可以隨時增加或減少掛載點 ...
  • 如題,最近幫人裝個WordPress,想起來用docker方便,這裡做個記錄。 原文:https://my.oschina.net/finchxu/blog/2877580 因為docker要求linux內核版本3.10以上我記得,所以直接用的centos7省去很多麻煩。 主機在國內的先把yum源改 ...
  • MAC mojave版本系統 破解軟體 1 :Adobe Photoshop CC 2019.0.1 Mac中文破解版 2 :Office 2019 16.19 Mac中文破解版 3 :Parallels Desktop 14.0.1 Mac中文破解版 4 :CleanMyMac X 4.1.0 M ...
  • 下午安裝 cockpit 時,使用 yum 工具的時候哦,出現如下信息: This system is not registered with an entitlement server. You can use subscription-manager to register. 儘管不影響cent ...
  • 本文繼續向大家介紹linux常用命令,之前寫的前兩篇的命令,一篇是主要關於目錄操作,一篇主要是關於文件操作的,這篇主要來講解linux的其他的一些常用命令以及linux文件許可權機制和許可權方面的命令。比如管道命令,殺進程命令等。接下來一起來看。 一、其他命令 1、顯示當前所在的位置 命令:pwd 例子 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...