前言：《讀者來信》是HBase老店開設的一個問答專欄，旨在能為更多的小伙伴解決工作中常遇到的HBase相關的問題。老店會儘力幫大家解決這些問題或幫你發出求救貼，老店希望這會是一個互幫互助的小平臺。有問題請直接在老店後臺留言，有好的解決方案也請不要吝嗇，誠摯歡迎大家能在留言區積極探討解決方案，大膽發 ...

前言：《讀者來信》是HBase老店開設的一個問答專欄，旨在能為更多的小伙伴解決工作中常遇到的HBase相關的問題。老店會儘力幫大家解決這些問題或幫你發出求救貼，老店希望這會是一個互幫互助的小平臺。有問題請直接在老店後臺留言，有好的解決方案也請不要吝嗇，誠摯歡迎大家能在留言區積極探討解決方案，大膽發表自己的看法，也許你今天幫別人解決的問題，就是你明天可能遇到的答案。

來信人：劉*剛

小猿提問

在重啟HBase集群的過程中，RS節點全部啟動成功了，但是HMaser一直啟動不起來，錯誤日誌如下：

unexpected error, closing socket connection and attempting reconnect
java.io.IOException: Packet len4745468 is out of range!
	at org.apache.zookeeper.ClientCnxnSocket.readLength(ClientCnxnSocket.java:112)
	at org.apache.zookeeper.ClientCnxnSocketNIO.doIO(ClientCnxnSocketNIO.java:79)
	at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:366)
	at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1081)
2020-04-02 22:31:08,673 ERROR [hadoop01:16000.activeMasterManager] zookeeper.RecoverableZooKeeper: ZooKeeper getChildren failed after 4 attempts
2020-04-02 22:31:08,674 FATAL [hadoop01:16000.activeMasterManager] master.HMaster: Failed to become active master
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/region-in-transition
	at org.apache.zookeeper.KeeperException.create(KeeperException.java:99)
	at org.apache.zookeeper.KeeperException.create(KeeperException.java:51)
	at org.apache.zookeeper.ZooKeeper.getChildren(ZooKeeper.java:1472)
	at org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper.getChildren(RecoverableZooKeeper.java:295)
	at org.apache.hadoop.hbase.zookeeper.ZKUtil.listChildrenNoWatch(ZKUtil.java:513)
	at org.apache.hadoop.hbase.master.AssignmentManager.processDeadServersAndRegionsInTransition(AssignmentManager.java:519)
	at org.apache.hadoop.hbase.master.AssignmentManager.joinCluster(AssignmentManager.java:494)
	at org.apache.hadoop.hbase.master.HMaster.finishActiveMasterInitialization(HMaster.java:748)
	at org.apache.hadoop.hbase.master.HMaster.access$500(HMaster.java:184)
	at org.apache.hadoop.hbase.master.HMaster$1.run(HMaster.java:1729)
	at java.lang.Thread.run(Thread.java:748)

小猿分析

HBase 版本：Apache 1.2.1
集群規模：120000+ region

看錯誤日誌，好像只看到了ZK的身影，日誌關鍵詞是[ZooKeeper.getChildren|Packet|out of range|ConnectionLoss for /hbase/region-in-transition]。
我們知道，HBase Master 重啟時要做很多初始化工作，要與ZK數據節點進行一些交互工作，如元數據或節點狀態的註冊、修改、獲取等等。看這些關鍵詞大概好像明白是怎麼回事：ZooKeeper在getChildren（region-in-transition）的時候超出了Packet的range，導致連接丟失了，Failed to become active master。

那什麼是Packet呢？小猿問了問度娘，度娘回答說：

在 ZooKeeper 中，Packet 是一個最小的通信協議單元，即數據包。Pakcet 用於進行客戶端與服務端之間的網路傳輸，任何需要傳輸的對象都需要包裝成一個 Packet 對象。

那就是讀取zk節點數據包長度有限制咯，這個時候我們肯定是先去網上找下zk有沒有相關的參數可以調一下。結果還真的有：jute.maxbuffer，感覺自己很幸運。套用官網的話解釋一下這個參數：

(Java system property: jute.maxbuffer)
This option can only be set as a Java system property. There is no zookeeper prefix on it. It specifies the maximum size of the data that can be stored in a znode. The default is 0xfffff, or just under 1M. If this option is changed, the system property must be set on all servers and clients otherwise problems will arise. This is really a sanity check. ZooKeeper is designed to store data on the order of kilobytes in size.

翻譯一下：

（Java系統屬性：jute.maxbuffer）
此選項只能設置為Java系統屬性。上面沒有Zookeeper首碼。它指定可以存儲在znode中的數據的最大大小。預設值為0xfffff，或不到1M。如果更改此選項，則必須在所有伺服器和客戶端上設置系統屬性，否則會出現問題。這確實是一個健全性檢查。ZooKeeper旨在存儲大小為千位元組的數據。

也有另一種說法：

需要註意的是，該參數並不是在 Server 和 Client 端同時設置才會生效。實際情況是，在客戶端設置後，Zookeeper 將控制從 Server 端讀取數據的大小（outgoingBuffer）；而在服務端設置後，則是控制從 Client 端寫入數據的大小（incomingBuffer）

相關代碼如下：

protected final ByteBuffer lenBuffer = ByteBuffer.allocateDirect(4);
protected ByteBuffer incomingBuffer = lenBuffer;

protected void readLength() throws IOException {
    int len = incomingBuffer.getInt();
    if (len < 0 || len >= ClientCnxn.packetLen) {
        throw new IOException("Packet len" + len + " is out of range!");
    }
    incomingBuffer = ByteBuffer.allocate(len);
}

public static final int packetLen = Integer.getInteger("jute.maxbuffer", 4096 * 1024);

那為什麼會讀取這麼大一個包呢？基於上文提到的關鍵字/hbase/region-in-transition（待分配region信息）及Region的規模（120000+），我們猜測是因為Region太多了，導致/hbase/region-in-transition節點太大，HMaster讀取該節點數據時超出限制並以失敗告終。我們也在HBase Jira庫找到了相關issue：
Cluster with too many regions cannot withstand some master failover scenarios
https://issues.apache.org/jira/browse/HBASE-4246

我們很多時候都不是第一個濕鞋的人，也許你今天幫別人解決的問題，就是你明天可能遇到的答案。這也是老店開設問答專欄《讀者來信》的初心--為了知識更好的傳播與分享！

小猿解答

當然也不只/region-in-transition節點會有這樣的問題，/unssigned 等節點也可能會有一樣的問題。解決方案總結如下：
方案一：清理zk節點歷史上存在的垃圾數據

該方案旨在將zk節點的數據大小降下來，是否可以降到紅線以下。

方案二：調大參數jute.maxbuffer

# 設置 Client 端
$ vim $ZOOKEEPER_HOME/bin/zkCli.sh
  # 增加 -Djute.maxbuffer=<buffer_size> 參數
  "$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}"  "-Djute.maxbuffer=1073741824"  \
       -cp "$CLASSPATH" $CLIENT_JVMFLAGS $JVMFLAGS \
       org.apache.zookeeper.ZooKeeperMain "$@"

# 設置 Server 端
$ vim $ZOOKEEPER_HOME/conf/zoo.cfg
  # 增加 jute.maxbuffer=<buffer_size> 參數
  jute.maxbuffer=1073741824

調大該參數可能有風險，上面也提到zk旨在存儲大小為千位元組的數據。

方案三：使用層次結構（來自社區評論區）

該方案是通過區域ID的首碼將·/hbase/region-in-transition 目錄分片。例如，區域1234567890abcdef將位於/hbase/region-in-transition/1234/1234567890abcdef中。因此，我們必須進行遍歷才能獲得完整列表。

參考文獻

掃描二維碼關註博主公眾號

轉載請註明出處！歡迎關註本人微信公眾號【HBase工作筆記】

讀者來信 | 如果你家HBase集群Region太多請點進來看看，這個問題你可能會遇到

來信人：劉*剛

小猿提問

小猿分析

小猿解答

參考文獻