一. Hbase 的 region 我們先簡單介紹下 Hbase 的 架構和 region ： 從物理集群的角度看，Hbase 集群中，由一個 Hmaster 管理多個 HRegionServer，其中每個 HRegionServer 都對應一臺物理機器，一臺 HRegionServer 伺服器上又 ...
一. Hbase 的 region
我們先簡單介紹下 Hbase 的 架構和 region ：
從物理集群的角度看，Hbase 集群中，由一個 Hmaster 管理多個 HRegionServer，其中每個 HRegionServer 都對應一臺物理機器，一臺 HRegionServer 伺服器上又可以有多個 Hregion（以下簡稱 region）。要讀取一個數據的時候，首先要先找到存放這個數據的 region。而 Spark 在讀取 Hbase 的時候，讀取的 Rdd 會根據 Hbase 的 region 數量劃分 stage。所以當 region 存儲設置得比較大導致 region 比較少，而 spark 的 cpu core 又比較多的時候，就會出現無法充分利用 spark 集群所有 cpu core 的情況。
我們再從邏輯表結構的角度看看 Hbase 表和 region 的關係。
- Hbase是通過把數據分配到一定數量的region來達到負載均衡的。一個table會被分配到一個或多個region中，這些region會被分配到一個或者多個regionServer中。在自動split策略中，當一個region達到一定的大小就會自動split成兩個region。
- Region由一個或者多個Store組成，每個store保存一個columns family，每個Strore又由一個memStore和0至多個StoreFile 組成。memStore存儲在記憶體中， StoreFile存儲在HDFS上。
- region是HBase中分散式存儲和負載均衡的最小單元。不同Region分佈到不同RegionServer上，但並不是存儲的最小單元。
二. Spark 讀取 Hbase 優化及 region 手動拆分
在用spark的時候，spark正是根據hbase有多少個region來劃分stage。也就是說region劃分得太少會導致spark讀取時的併發度太低，浪費性能。但如果region數目太多就會造成讀寫性能下降，也會增加ZooKeeper的負擔。所以設置每個region的大小就很關鍵了。
自0.94.0版本以來，split還有三種策略可以選擇，不過一般使用預設的分區策略就可以滿足需求，我們要修改的是會觸發 region 分區的存儲容量大小。
而在0.94.0版本中，預設的 region 大小為10G，就是說當存儲的數據達到 10 G 的時候，就會觸發 region 分區操作。有時候這個值可能太大，這時候就需要修改配置了。我們可以在 HBASE_HOME/conf/hbase-site.xml 文件中，增加如下配置：
<property>
<name>hbase.hregion.max.filesize</name>
<value>536870912</value>
</property>其中的 value 值就是你要修改的觸發 region 分區的大小，要註意這個值是以 bit 為單位的，這裡是將region文件的大小改為512m。
修改之後我們就可以手動 split region了，手動分區會自動根據這個新的配置值大小，將 region 已經存儲起來的數據進行再次進行拆分。
我們可以在 hbase shell 中使用 split 來進行操作，有以下幾種方式可以進行手動拆分。
split ‘tableName’
split ‘namespace:tableName’
split ‘regionName’ # format: ‘tableName,startKey,id’
split ‘tableName’, ‘splitKey’
split ‘regionName’, ‘splitKey’這裡使用的是 split ‘namespace:tableName’ 這種方式。其中 tableName 自不必多說，就是要拆分的表名，namespace可以在hbase的web界面中查看，一般會是default。
使用命令之後稍等一會，hbase會根據新的region文件大小去split，最終結果可以在web-ui的"table Details"一欄，點擊具體table查看。
以上~
