HBase筆記

来源:https://www.cnblogs.com/hellotyc/archive/2018/01/12/8275746.html
-Advertisement-
Play Games

1.應用場景和特點 hbase => 當數據量非常大的時候才會體現出hbase的優勢 特點: 海量數據存儲 => 單表可有上百億行。上百萬的列。也就是對列沒有限制。 => 關係型資料庫正常單表不超過五百萬行,不超過三十列。 面向列 => 動態添加數據的時候生成列。單獨對列進行各種操作。 多版本 稀疏 ...


1.應用場景和特點

hbase => 當數據量非常大的時候才會體現出hbase的優勢

特點:

海量數據存儲 => 單表可有上百億行。上百萬的列。也就是對列沒有限制。 => 關係型資料庫正常單表不超過五百萬行,不超過三十列。

面向列 => 動態添加數據的時候生成列。單獨對列進行各種操作。

多版本 

稀疏行 => 為空的列不占用磁碟空間。 => 關係型資料庫當列為空的時候值會為null。也會占用磁碟空間

擴展性 => 底層依賴於HDFS => 數據記憶體不夠的時候只需要動態添加機器就行。

高可靠性 => 

高性能 => 高寫高讀性能。

準實時查詢 => 百毫秒實時查詢上億數據量

應用場景 :

交通,金融,電商,移動...

 

概念與定位

概念:

如何選擇合適hbase的版本

官網版本 => https://archive.apache.org/dist/hbase/ => 較新

cdh版本 => http://archive.cloudera.com/cdh5/ => 較穩定,相容性優。

定位:認識hbase在hadoop2.x生態系統中的定位

 

架構體系與設計模型

架構體系:

巨集觀圖分析:
hbase內部有兩個主要的進程服務 => Master/RegionServer

hbase依賴與兩個外部服務 => HDFS(hbase的數據是基於HDFS存儲的,也就是說寫入hbase的數據最終落入到HDFS分散式文件系統中)/ZooKeeper(分散式的框架)

 regionserver管理集群上面的數據。會及時報告信息(狀態和管理內容)給master服務。也會報告zookeeper。

 

設計模型:

關係型資料庫:只需要設計資料庫的列。並且要確定列的值,才能對數據進行操作。

hbase:面向列(列蔟)的資料庫,不需要先制定列。只需要設定列蔟。

例如下圖

在hbase表設計的時候,只需要確定column family即可。column family 的子列不需要制定,子列的生成是數據的動態增加而自動生成的。

表結構數據模型說明:

 

列蔟的概念:

 

hbase資料庫與關係型數據的對比:

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1 2 3 4 5 6 Linux(Centos)之安裝Nginx及註意事項 - Kencery - 博客園 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 ... ...
  • .NET框架類庫提供了EventLog類和EventLogEntry類與系統日誌進行交互二者屬於System.Diagnostics命名空間 EventLog 類的屬性主要有 Entris返回一個EventLogEntryCollection型值,代表事件日誌的內容Log 獲取或者返回日誌的名稱,其 ...
  • 項目中經常用到的Linux命令 (註意:linux命令要小寫哦!) (1)、ls 顯示當前目錄下的文件 (2)、vi vim 進入編輯器,可以選擇你要編輯的文檔,一般我們將項目打包成jar包來運行,例如:vi message-center.jar、vim display-service.jar 選中 ...
  • 一、關機/重啟 1、shutdown命令 shutdown 命令可以安全關閉或者重新啟動系統 -r 重新啟動 PS(不指定選項和參數,預設表示1分鐘之後關閉電腦) 遠程維護伺服器時,最好不要關閉系統(即 加上-r),而應該重新啟動系統 常用命令實例 #重新啟動操作系統,其中 now 表示現在 $sh ...
  • 操作系統 : CentOS7.3.1611_x64 go語言版本:1.8.3 linux/amd64 InfluxDB版本:1.1.0 influxdb預設配置: meta預設配置: dir meta數據存放目錄,預設值:/var/lib/influxdb/meta meta數據文件預設路徑:/va ...
  • 1、首先要準備好安裝文件oracle11 2、在oracle11文件夾中找到setup.exe,雙擊運行 3、在配置安全更新中,輸入常用的電子郵件(非必填) 4、點擊下一步進入到“安裝選項“,預設選擇創建和配置資料庫 5、點擊”下一步“,選擇”伺服器類“ 6、點擊”下一步“,不進行任何修改 7、點擊 ...
  • mysql命令不區分大小寫。內容,表名什麼的是區分大小寫的。 語句以(;)結束。(\c)結束不想執行正在輸入的命令。(命令+ \G;)查看詳細結構 啟動/停止/重啟:server mysql start/stop/restart /etc/init.d/mysql start/stop/restar ...
  • IF OBJECT_ID('fn_GetChnNum') IS NOT NULL BEGIN DROP FUNCTION dbo.fn_GetChnNum; END; GO CREATE FUNCTION fn_GetChnNum ( @Number AS BIGINT )RETURNS VARCH ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...