這篇文章主要描述RPC負載均衡和服務重試，負載均衡包括常用負載均衡類型、演算法、RPC自適應負載均衡設計方案，服務重試包括服務重試的原因以及如何在約定的時間內安全可靠的重試。 ...
11 | 負載均衡：節點負載差距這麼大，為什麼收到的流量還一樣？
什麼是負載均衡？
當我們的一個服務節點無法支撐現有的訪問量時，我們會部署多個節點，組成一個集群，然後通過負載均衡，將請求分發給這個集群下的每個服務節點，從而達到多個服務節點共通分擔請求壓力的目的。
負載均衡有哪些類型？
負載均衡分為軟負載和硬負載兩種，軟負載就是在一臺或多台伺服器上安裝負載均衡軟體，如LVS、Nginx等；硬負載就是通過硬體設備來實現負載均衡，例如F5伺服器等。
有哪些常見的負載均衡演算法？
常見的負載均衡演算法包括：
- 基於權重的隨機演算法
- 基於最小活躍用數演算法
- 基於Hash一致性演算法
- 基於加權輪詢演算法
Dubbo預設採用基於權重的隨機演算法。
RPC中的負載均衡完全由RPC框架自身實現，RPC的服務調用者會與“註冊中心”下發的所有服務節點建立長連接，在每次發起RPC調用時，服務調用者都會通過配置的負載均衡插件，自主選擇一個服務節點，發起RPC調用請求。
示意圖如下。
RPC的負載均衡策略一般包括隨機權重、Hash、輪詢等。
如何設計一個自適應的負載均衡？
所謂自適應的負載均衡，就是指負載均衡組件可以根據服務節點的可處理能力，動態調整服務節點的權重，將請求轉發給合適的服務節點，從而保證整個系統的穩定性。
我們可以採用一種打分策略，服務調用者收集與之建立長連接的每個服務節點的指標數據，例如服務節點的負載指標、CPU核數、記憶體大小、請求處理的平均耗時、服務節點的健康狀態等。我們可以為這些指標設置不同的權重，之後就可以計算每個服務節點動態分值。
在得到服務節點的動態分值後，我們把分值作為服務節點的權重，採用隨機權重的負載均衡策略去分發請求，這樣我們就可以完成一個自適應的負載均衡。
整體設計方案如下。
關鍵步驟如下：
- 添加服務指標收集器，並將其作為插件，預設有運行時狀態指標收集器、請求耗時指標收集器。
- 運行時狀態指標收集器收集服務節點CPU核數、CPU負載以及記憶體等指標，在服務調用者與服務提供者的心跳數據中獲取。
- 請求耗時指標收集器收集請求耗時數據，如平均耗時、TP99、TP999等。
- 可以配置開啟哪些指標收集器，並設置這些參考指標的指標權重，再根據指標數據和指標權重來綜合打分。
- 通過服務節點的綜合打分與節點的權重，最終計算出節點的最終權重，之後服務調用者會根據隨機權重的策略，來選擇服務節點。
12 | 異常重試：在約定的時間內安全可靠地重試
什麼是RPC框架的重試機制？
當調用端發起的請求失敗時，RPC框架自身可以進行重試，再重新發送請求，用戶可以自行設置是否開啟重試以及重試的次數。
調用端發起RPC請求時，會經過負載均衡，選擇一個節點，之後它會向這個節點發送請求信息。當消息發送失敗或收到異常消息時，我們就可以捕獲異常，根據異常觸發重試，重新通過負載均衡選擇一個節點發送請求信息，並且記錄請求的重試次數，當重試次數達到用戶配置的重試次數時，就返回給調用端動態代理一個失敗異常。
如何在約定的時間內安全可靠的重試？
首先，服務的業務邏輯需要是冪等的，這是我們可以重試的前提。
其次，在每次重試後，都需要重置一下請求的超時時間，因為連續的異常重試可能會導致請求處理時間過長造成超時。
再次，當我們發起服務重試時，負載均衡選擇節點時，需要去掉重試之前出現過問題的節點，這樣可以提高重試的成功率。
最後，我們可以在RPC框架中配置業務異常相關的白名單，這樣當白名單中的業務異常類型被觸發時，也可以進行服務重試。
作者：李潘 出處：http://wing011203.cnblogs.com/ 本文版權歸作者和博客園共有，歡迎轉載，但未經作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文連接，否則保留追究法律責任的權利。
