HDFS 與 Hbase HDFS容錯率很高,即便是在系統崩潰的情況下,也能夠在節點之間快速傳輸數據。HBase是非關係資料庫,是開源的Not-Only-SQL資料庫,它的運行建立在Hadoop上。HBase依賴於CAP定理(Consistency, Availability, and Partit... ...
HDFS 與 Hbase
HDFS容錯率很高,即便是在系統崩潰的情況下,也能夠在節點之間快速傳輸數據。HBase是非關係資料庫,是開源的Not-Only-SQL資料庫,它的運行建立在Hadoop上。HBase依賴於CAP定理(Consistency, Availability, and Partition Tolerance)中的CP項。HDFS最適於執行批次分析。然而,它最大的缺點是無法執行實時分析,而實時分析是信息科技行業的標配。HBase能夠處理大規模數據,它不適於批次分析,但它可以向Hadoop實時地調用數據。HDFS和HBase都可以處理結構、半結構和非結構數據。因為HDFS建立在舊的MapReduce框架上,所以它缺乏記憶體引擎,數據分析速度較慢。相反,HBase使用了記憶體引擎,大大提高了數據的讀寫速度。HDFS執行的數據分析過程是透明的。HBase與之相反,因為其結構基於NoSQL,它通過在不同的關鍵字下進行排序而獲取數據。
HBase的主要使⽤業務
訪問HBase的⽅式
Phoenix 的使用
當一個新業務需要使用 HBase 時,是完全可以使用 Java API 開發 HBase 的應用,從而實現具體的業務邏輯。但是如果對於習慣使用 RDBMS 的 SQL,或者想要將原來使用 JDBC 的應用直接遷移到 HBase,這就是不可能的。由於這種緬懷過去的情懷,便催生了 Phoenix 的誕生。那麼 Phoenix 都能提供哪些功能呢?簡單來說 Phoenix 在 HBase 之上提供了 OLTP 相關的功能,例如完全的 ACID 支持、SQL、二級索引等,此外 Phoenix 還提供了標準的 JDBC 的 API。在 Phoenix 的幫助下,RDBMS 的用戶可以很容易的使用 HBase,並且遷移原有的業務到 HBase 之中。下來就讓我們簡單瞭解一下,如何在 HBase 之上使用 Phoenix。
存放在HBase中的主要數據
場景⼀:訂單事件
場景⼆:司機乘客軌跡
場景三:ETA預計到達時間
場景四:監控⼯具
HBase多租戶的挑戰
資源隔離與分配
HBase Regionserver Group
成本控制
繼續深耕
------------------------------------------------------------------
今天先到這兒,希望對您技術領導力, 企業管理,系統架構設計與評估,團隊管理, 項目管理, 產品管理,團隊建設 有參考作用 , 您可能感興趣的文章:
國際化環境下系統架構演化
微服務架構設計
視頻直播平臺的系統架構演化
微服務與Docker介紹
Docker與CI持續集成/CD
互聯網電商購物車架構演變案例
互聯網業務場景下消息隊列架構
互聯網高效研發團隊管理演進之一
消息系統架構設計演進
互聯網電商搜索架構演化之一
企業信息化與軟體工程的迷思
企業項目化管理介紹
軟體項目成功之要素
人際溝通風格介紹一
精益IT組織與分享式領導
學習型組織與企業
企業創新文化與等級觀念
組織目標與個人目標
初創公司人才招聘與管理
人才公司環境與企業文化
企業文化、團隊文化與知識共用
高效能的團隊建設
項目管理溝通計劃
構建高效的研發與自動化運維
某大型電商雲平臺實踐
互聯網資料庫架構設計思路
IT基礎架構規劃方案一(網路系統規劃)
餐飲行業解決方案之客戶分析流程
餐飲行業解決方案之採購戰略制定與實施流程
餐飲行業解決方案之業務設計流程
供應鏈需求調研CheckList
企業應用之性能實時度量系統演變
如有想瞭解更多軟體設計與架構, 系統IT,企業信息化, 團隊管理 資訊,請關註我的微信訂閱號:
作者:Petter Liu
出處:http://www.cnblogs.com/wintersun/
本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
該文章也同時發佈在我的獨立博客中-Petter Liu Blog。