為什麼要用HBase

来源:https://www.cnblogs.com/booksaga/archive/2018/01/22/8327676.html
-Advertisement-
Play Games

2006年google技術人員Fay Chang發佈了一篇文章《Bigtable: A Distributed Storage System for Structured Data》。該文章向世人介紹了一種分散式的資料庫,這種資料庫可以在局部幾台伺服器崩潰的情況下繼續提供高性能的服務。 2007年P ...


 

2006年google技術人員Fay Chang發佈了一篇文章《Bigtable: A Distributed Storage System for Structured Data》。該文章向世人介紹了一種分散式的資料庫,這種資料庫可以在局部幾台伺服器崩潰的情況下繼續提供高性能的服務。

2007年Powerset 公司的工作人員基於此文研發了bigtable的java開源版本,即HBase。剛開始它只是Hadoop的一部分。

2008年HBase成為了Apache的頂級項目。HBase幾乎實現了bigtable的所有特性。它被稱為一個開源的非關係型分散式資料庫

2010年HBase的開發速度打破一直以來跟Hadoop版本一致的慣例,因為HBase的版本發佈速度已經超越了Hadoop。它的版本號一下從0.20.x 跳躍到了 0.89.x。

為什麼要用HBase

HBase的存儲是基於Hadoop的。Hadoop 是這些年崛起的擁有著高性能,高穩定,可管理的大數據應用平臺。Hadoop已經快要變為大數據的代名詞了,基於Hadoop衍生出了大量優秀的開源項目。

Hadoop實現了一個分散式文件系統HDFS。HDFS有高容錯性的特點,被設計用來部署在低廉的硬體上;而且它提供高吞吐量以訪問應用程式的數據,適合那些有著超大數據集的應用程式。基於Hadoop意味著HBase與生俱來的超強的擴展性和吞吐量。

HBase採用的是Key/Value的存儲方式,這意味著,即使隨著數據量增大,也幾乎不會導致查詢的性能下降。HBase又是一個列式資料庫(對比於傳統的行式資料庫而言),當你的表欄位很多的時候,你甚至可以把其中幾個欄位放在集群的一部分機器上,而另外幾個欄位放到另外一部分機器上,充分分散了負載壓力。然而,如此複雜的存儲結構和分散式的存儲方式帶來的代價就是:哪怕只是存儲少量數據,它也不會很快。所以我常常跟人說:

 

“HBase並不快,只是當數據量很大的時候它慢的不明顯”

 

凡事都不可能只有優點而沒有缺點。數據分析是HBase的弱項,因為對於HBase乃至整個NoSQL生態圈來說,基本上都是不支持表關聯的。當你想實現group by 或者order by的時候,你會發現,你需要寫很多的代碼來實現MapReduce。

因此,請不要盲目地使用HBase。

 

當你的情況大體上符合以下任意一種的時候:

  • 主要需求是數據分析,比如做報表。
  • 單表數據量不超過千萬。

 

請不要使用HBase,使用Mysql或者Oracle之類的產品可以讓你的腦細胞免受折磨。

 

當你的情況是:

  • 單表數據量超千萬,而且併發還挺高。
  • 數據分析需求較弱,或者不需要那麼靈活或者實時。

 

請使用HBase,它不會讓你失望的。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • MongoDB在互聯網項目中使用越來越多,佈署在雲端Linux伺服器上的mongoDB資料庫,大多存在遠程維護不便的問題,開放27017埠又將導致安全隱患。有個折中的辦法就是使用基於web的客戶端管理軟體進行資料庫的日常維護,TreeDMS資料庫管理系統剛好就可以滿足這些功能要求,實現基於WEB方 ...
  • 一、概述 加密是一種安全措施,有時候甚至是法律要求。作為攻破Windows系統的最後一道防線,通過加密可以保證在沒有密鑰的情況下獲取備份或者物理介質變得毫無意義。 二、概念 加密層次結構 加密層次結構的每一層是如何對它下麵的一層進行加密的,並且顯示了最常用的加密配置。對層次結構的開始進行的訪問通常受 ...
  • 增 #1、沒有指定_id則預設ObjectId,_id不能重覆,且在插入後不可變 #2、插入單條 user0={ "name":"egon", "age":10, 'hobbies':['music','read','dancing'], 'addr':{ 'country':'China', 'c ...
  • 針對Oracle數據遷移,我們可能會用到expdp/impdp的方式,有時候需要大表、lob欄位等可能會消耗過大的臨時表空間和undo表空間,所以一般我們根據導出日誌,在導入前適當調整表空間大小。否則我們可能會遇到以下問題: 1、臨時表空間爆滿,無法擴展 ORA-1652: unable to ex ...
  • 1.Redis簡介 Redis 是一個開源(BSD許可)的,記憶體中的數據結構存儲系統,它可以用作資料庫、緩存和消息中間件。 它支持多種類型的數據結構,如 字元串(strings), 散列(hashes), 列表(lists), 集合(sets), 有序集合(sorted sets) 與範圍查詢, b ...
  • 本文是對自己學習過程的一個記錄和彙總,作為自己的一個總結性的文檔,並隨著進度更新完善。作為一個初學者,文章若有不妥之處還請各位讀者提出來,大家共同交流進步,謝謝! OSM地圖數據下載: osm是一個開放式線上地圖平臺,Open Street Map(簡稱 OSM)是一個存儲海量XML 數據的資料庫( ...
  • 1、關係的集合運算 集合的3個最普通的運算是並、交和差。對於任意集合R和S(當然,這裡的R和S可以是表R和表S),這些運算定義如下。 R並S,R或S或兩者中元素的集合。一個元素在並集中只出現一次,即使它在R和S中都存在。 R交S,R和S中都存在的元素的集合。 R差S,在R中而不在S中的元素的集合。註 ...
  • 資料庫存放數據的文件,本文稱其為data file。 資料庫的內容在記憶體里是有緩存的,這裡命名為db buffer。某次操作,我們取了資料庫某表格中的數據,這個數據會在記憶體中緩存一些時間。對這個數據的修改在開始時候也只是修改在記憶體中的內容。當db buffer已滿或者遇到其他的情況,這些數據會寫入d ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...