自研分散式高性能RPC框架及服務註冊中心ApiRegistry實踐筆記【原創】【開源】

来源:https://www.cnblogs.com/chejiangyi/archive/2022/12/15/16985360.html
-Advertisement-
Play Games

自研api服務註冊中心,模擬eureka的實現原理實現,相容舊feign的調用模式。支持服務故障轉移,負載均衡,註冊中心,rpc調用。整體代碼簡單,非常容易定製化改動。支持HttpUrlConnection,HttpClient建立的連接池及擴展。 1)支持輪訓模式負載均衡及擴展。 2)支持消費者端... ...


痛點

1. bsf底層依賴springcloud,影響bsf更新springboot新版本和整體最新技術版本升級。 2. eureka已經閉源,且框架設計較重,同時引入eureka會自行引入較多springcloud相關包和組件。

方案

1. 自研輕量級高性能rpc框架Bsf APIRegistry

目標

Bsf APIRegistry需要解決的關鍵痛點: 1. 代碼簡單,簡單,簡單!框架實現要輕量,容易擴展,這樣性能擴展也會很高。 2. 要相容舊項目@FeignClient,業務開發零改造代碼,實現業務零感知無縫遷移。 3. 引入的第三方組件越少越好,以後bsf組件衝突問題也會少。(本地服務啟動時間應該也會比eureka註冊中心快很多) 4. 高性能,高擴展能力,可以支持未來服務上萬節點線上。 5. 解決現有本地調試痛點。(開發環境在阿裡雲容器中,要實現多人開發本地測試線上聯調!) 6. 支持無註冊中心方式使用和無縫遷移。(可以藉助k8s自帶負載均衡網關,相容場景並使用無註冊中心架構

技術要求

Bsf APIRegistry需要具備幾個關鍵技術點:
  • 支持HttpUrlConnection,HttpClient建立的連接池及擴展。
  • 支持輪訓模式負載均衡及擴展。
  • 支持消費者端檢測故障,臨時轉移到可用服務,待服務故障恢復後恢復調用。
  • 支持redis註冊中心及擴展,以及無註冊中心架構
  • 支持protobuf協議,整體rpc性能會有較大提升。

架構示意圖

整體參考按照eureka的技術原理,以bsf-core框架為核心,優先擴展實現redis註冊中心方案。同時整體架構考慮eureka註冊中心的相容性使用,@feignClient註解的feign的相容性api協議編寫,支持雙註冊中心部署和無縫遷移方案,從而達到開發人員零改動,無感知的目標。 同時redis單機可以支持上萬客戶端鏈接,同樣redis也支持主從高可用分散式部署,故採用redis做註冊中心也可以支持上萬的分散式服務節點同時線上和註冊中心高可用支持。在框架層面註冊中心抽象剝離實現可擴展,也可以為更好更高性能的註冊中心實現做擴展能力支持。  

消費者端RPC調用生命周期圖

整體rpc調用會經歷客戶端@ApiClient(相容@FeignClient註解)協議解析為RPC Request信息,通過RPC負載均衡器獲取服務列表的可用節點(排除故障節點),進行RPC編碼器進行編碼(json或者protobuf等),再通過RPC 連接池(http連接池)獲取可用tcp連接調用遠程rpc結果,然後對rpc結果進行RPC解碼器解碼,最終返回RPC對象結果。  

消費者端RPC啟動初始化

整體rpc框架啟動時會經歷一次初始化,通過包掃描@ApiClient(相容@FeignClient註解)相關的協議介面類,會對協議介面類進行透明代理,並註冊代理實例到springboot bean中。  

相容eureka模式的無縫遷移方案

為了保證無縫遷移和開發人員無感知,在bsf sdk層面對@FeignClient(feign調用)做協議相容支持,這樣理論上開發人員無需改動舊代碼; 同時2.1 版本bsf sdk層面實現雙註冊中心相容(支持eureka server和bsf ApiRegistriy同時線上)去確保平滑遷移; 在bsf sdk中加入“測試模式”,通過apollo配置中心動態修改模式,支持框架層面隨時切換使用eureka server和ApiRegistry任意註冊中心調用rpc, 也可以對rpc結果進行同步核對結果集校驗+動態報警(確保協議相容驗證)來確保可以相容穩定遷移和遷移實時回滾。  

ApiRegistry開源地址

地址: https://gitee.com/chejiangyi/free-bsf-all/tree/2.2-SNAPSHOT/free-bsf-apiregistry 包含源碼,更多詳細配置,實踐和場景支持記錄。 源碼核心模塊 其中核心類就兩三個,源碼總共也就10幾個類,代碼簡單,邏輯簡單(核心就是為了輕量!!!),一般在10分鐘就可以看明白整體結構和代碼。  

小白快速上手

  • 引用包
<dependency>
    <artifactId>free-bsf-api</artifactId>
    <groupId>com.free.bsf</groupId>
    <version>2.2-SNAPSHOT</version>
</dependency>
<dependency>
    <artifactId>free-bsf-core</artifactId>
    <groupId>com.free.bsf</groupId>
    <version>2.2-SNAPSHOT</version>
</dependency>
<dependency>
    <artifactId>free-bsf-apiregistry</artifactId>
    <groupId>com.free.bsf</groupId>
    <version>2.2-SNAPSHOT</version>
</dependency>
free-bsf-api:為協議包,包含ApiRegistry通用協議,用在業務項目協議層。 free-bsf-core:為bsf核心包,一般為工具類為主。 free-bsf-apiregistry:為bsf ApiRegistry實現包。  
  • properties配置:
#springboot 應用名
spring.application.name=free-demo-provider
#一鍵啟用開關,預設false,重啟後生效
bsf.apiRegistry.enabled=true
#支持ApiClient/FeignClient註解方式的Rpc攔截,重啟後生效,預設false
bsf.apiRegistry.apiClientAspect.enabled=true
#rpcClient 掃描@ApiClient/@FeignClient註解的包,以逗號分割多個【rpc調用必填】
bsf.apiRegistry.rpcClient.basePackages=com.xxxx.xxxx
#註冊中心redis實現的,redis地址格式:127.0.0.1:6379(無密碼登陸)
bsf.apiRegistry.registry.redis.host=XXX.XXX.XXX.XXX:6379
  • api協議代碼示例
//相容@FeginClient
@ApiClient(name = "lmc-test-provider",path = "/")
public interface  CustomerProvider {
    /*介面協議定義*/
    //支持GetMapping,PostMapping
    @PostMapping("/test")
    //支持@RequestParam,@RequestBody
    ApiResponseEntity<String>  test(@RequestParam("str") String str);
}

總結

ApiRegistry 為近期技術問題解決的隨手之作,雖自測無太大問題,但目前還需要真實遷移落地和技術升級(包括可能的bug修複)。 技術無捷徑,勤做筆記,點滴進步,與君共勉!!!     by 車江毅 技術vp 2022-12-15     其他博文: 高效能全鏈路性能壓測筆記 https://www.cnblogs.com/chejiangyi/p/16900586.html 五個維度打造研發管理體系 https://www.cnblogs.com/chejiangyi/p/15420637.html 高效能研發體系建設概論 https://www.cnblogs.com/chejiangyi/p/15000543.html 開源是一種態度,分享是一種精神,學習仍需堅持,進步仍需努力,.net生態圈因你我更加美好。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 作者:小牛呼嚕嚕 | https://xiaoniuhululu.com 電腦內功、JAVA底層、面試、職業成長相關資料等更多精彩文章在公眾號「小牛呼嚕嚕」 大家好,我是呼嚕嚕,在電腦的早期,Intel奔騰處理器時代,他們的主板上的單個處理器CPU是相當大的。為了提升電腦的整體運算處理能力,一 ...
  • select * from emp select * from dept select * from job select * from salarygrade -- 1.查詢所有員工信息。查詢員工編號,員工姓名,工資,職務名稱,職務描述 SELECT t1.mgr, t1.ename, t1.sa ...
  • 我國製造業擁有31個大類、179個中類和609個小類,是全球產業門類最齊全、產業體系最完整的製造業。作為世界工廠,中國製造業在拉動本國經濟增長、促進本國就業等方面貢獻卓越,更是我國民生消費的底層基礎。同時,中國從原來的原料出口國,逐步轉為工業品中間品、中間品等普通技術密集型產品的國家,為其他國家消費 ...
  • 近日,在“開源中國(OSCHINA)”開展的年度評選中,袋鼠雲數棧技術團隊憑藉在2022年間的技術分享頻率及質量、運營積極性等多方面的表現,榮獲“2022年度優秀開源技術團隊”的稱號,這也是袋鼠雲數棧技術團隊連續第二年獲得此獎項。 開源中國作為國內最大的開源技術交流社區,一直不遺餘力地助力著國內開源 ...
  • 合適的平臺框架往往能夠給混合應用的開發,帶來事半功倍的效果。本文將向你介紹目前6種最為實用的開發框架。 眾所周知,根據使用場景的不同,我們往往需要針對智能手機、平板電腦以及可穿戴設備等不同平臺,開發相應的應用。如果為每一類應用都去編寫獨特的程式代碼的話,不但耗時,而且無法實現代碼的重用。因此,我... ...
  • 前言 這段時間一直在做可視化,在我的項目中有一部分是電力巡檢的數據可視化。其中的數據看板比較簡單,我將其單獨抽離出來形成一個demo,為保密demo中數據非真實數據。先看效果。 具體效果 鏈接相關 瀏覽鏈接:http://xisite.top/original/data-board/index.ht ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 相信我們在開發各類小程式或者H5,甚至APP時,會把uni-app作為一個技術選型,其優點在於一鍵打包多端運行,較為強大的跨平臺的性能。但是,只要開發就免不了使用插件,所以Dcloud為了方便開發者同時也為註入活力,開放了uni的插件市場 ...
  • 01-骰子游戲 游戲出自Udemy的JS課程中提到的一個游戲,課程主要是對JS部分進行詳細的從0開始的講解,本篇文章是對整個游戲的分析,包括HTMK,CSS和JS,也主要對JS進行刨析。 游戲鏈接:https://pig-game-v2.netlify.app/ 游戲規則:開始玩家1點擊ROLL D ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...