一種面向業務配置基於JSF廣播定時生效的工具

来源:https://www.cnblogs.com/Jcloud/archive/2023/01/20/17058545.html
-Advertisement-
Play Games

作者：京東物流 王北永 姚再毅 李振 1 背景 目前，ducc實現了實時近乎所有配置動態生效的場景，但是配置是否實時生效，不能直觀展示每個機器上jvm內對象對應的參數是否已變更為準確的值，大部分時候需要查看日誌確認是否生效。 2 技術依賴 1)Jsf:京東RPC框架，用作機器之間的通訊工具 2)re ...


作者：京東物流 王北永 姚再毅 李振

1 背景

目前，ducc實現了實時近乎所有配置動態生效的場景，但是配置是否實時生效，不能直觀展示每個機器上jvm內對象對應的參數是否已變更為準確的值，大部分時候需要查看日誌確認是否生效。

2 技術依賴

1)Jsf:京東RPC框架，用作機器之間的通訊工具

2)redis/redisson：redis，用作配置信息的存儲

3)ZK/Curator: Zookeeper，用作配置信息的存儲 和redis二選一

3)clover：定時任務集群，用作任務延遲或周期性執行

3 實現原理

1）接入方：

各個接入系統通過接入管理模塊獲取token，並指定所在系統發佈的的伺服器ip,用作後續的ip鑒權。當系統啟動時，自動在各個系統生成介面提供方，並註冊到JSF註冊中心。別名需各個系統唯一不重覆。鑒權為統一服務端做IP鑒權。

2）統一配置服務端：

提供按不同接入方、不同系統、不同環境的配置界面。業務人員可設定自動生效時間或者立即生效時間。如果是立刻生效，則通過JSF廣播或者指定機器生效配置。如果是定時生效，則新增定時器並指定生效規則，達到時間後觸發廣播通知。

整個接入方和統一配置服務端的架構如下圖

4 實現步驟

1）重寫JSF類ConsumerConfig類方法refer，將其中的輪訓調用客戶端改為廣播調用客戶端BroadCastClient。

this.client= new BroadCastClient(this);
this.proxyInvoker = new ClientProxyInvoker(this);
ProtocolFactory.check(Constants.ProtocolType.valueOf(this.getProtocol()), Constants.CodecType.valueOf(this.getSerialization()));
this.proxyIns = (T) ProxyFactory.buildProxy(this.getProxy(), this.getProxyClass(), this.proxyInvoker);

2)廣播調用客戶端方法分別獲取當前註冊中心有心跳的服務提供者和已失去連接的機器列表。對統一配置來講，要麼同時失敗，要麼同時成功，判斷如果存在不正常的服務提供方，則不同步。只有全部提供方存在才可以開始廣播配置信息

 ConcurrentHashMap<Provider, ClientTransport>  concurrentHashMap = this.connectionHolder.getAliveConnections();
        ConcurrentHashMap<Provider, ClientTransportConfig>  deadConcurrentHashMap = this.connectionHolder.getDeadConnections();
        if(deadConcurrentHashMap!=null && deadConcurrentHashMap.size()>0){
            log.warn("當前別名{}存在不正常服務提供方數量{}，請關註！",msg.getAlias(),deadConcurrentHashMap.size());
            throw new RpcException(String.format("當前別名%s存在不正常服務提供方數量%s，請關註！",msg.getAlias(),deadConcurrentHashMap.size()));
        }
        if(concurrentHashMap.isEmpty()){
            log.info("當前別名{}不存在正常服務提供方",msg.getAlias());
            throw new RpcException(String.format("當前別名%s不存在正常服務提供方",msg.getAlias()));
        }
        Iterator aliveConnections = concurrentHashMap.entrySet().iterator();
        log.info("當前別名{}存在正常服務提供方數量{}",msg.getAlias(),concurrentHashMap.size());
        while (aliveConnections.hasNext()) {
            Entry<Provider, ClientTransport> entry = (Entry) aliveConnections.next();
            Provider provider = (Provider) entry.getKey();
            log.info("當前連接ip={}、port={}、datacenterCode={}",provider.getIp(),provider.getPort(),provider.getDatacenterCode());
            ClientTransport connection = (ClientTransport) entry.getValue();
            if (connection != null && connection.isOpen()) {
                try {
                    result = super.sendMsg0(new Connection(provider, connection), msg);
                } catch (RpcException rpc) {
                    exception = rpc;
                    log.warn(rpc.getMessage(), rpc);
                } catch (Throwable e) {
                    exception = new RpcException(e.getMessage(), e);
                    log.warn(e.getMessage(), e);
                }
            }
        }

3)服務配置端，當業務人員配置及時生效或者任務達到時，則根據配置，生成服務調用方，通過統一刷新介面將配置同步刷新到對應的接入系統中,如下圖為操作界面，當增刪改查時，會將屬性增量同步。

服務端在上面操作增刪改時，通過以下方式獲取服務調用方

 public static ExcuteAction createJsfConsumer(String alias, String token) {
        RegistryConfig jsfRegistry = new RegistryConfig();
        jsfRegistry.setIndex("i.jsf.jd.com");
        BroadCastConsumerConfig consumerConfig = new BroadCastConsumerConfig<>();
        Map<String, String> parameters = new HashMap<>();
        parameters.put(".token",token);
        consumerConfig.setParameters(parameters);
        consumerConfig.setInterfaceId(RefreshRemoteService.class.getName());
        consumerConfig.setRegistry(jsfRegistry);
        consumerConfig.setProtocol("jsf");
        consumerConfig.setAlias(alias);
        consumerConfig.setRetries(2);
        return  new ExcuteAction(consumerConfig);
    }

通過以上的配置的客戶端，調用服務提供方方法refreshRemoteService#refresh，將配置信息進行同步到各個接入系統

public void call(Map<String,Object> propertiesValue){
        try{
            RefreshRemoteService refreshRemoteService = (RefreshRemoteService)consumerConfig.refer();
            if(refreshRemoteService!=null){
                refreshRemoteService.refresh(propertiesValue);
            }
        }catch (Exception e){
            log.error(e.getMessage());
            throw new EasyConfigException(e);
        }finally {
            consumerConfig.unrefer(); ;
        }
    }

4）接入方啟動時，需要根據自己配置，將存在redis或者zk的配置一次載入到實例變數中。並註冊刷新介面到JSF註冊中心。

其中註冊刷新介面到JSF註冊中心代碼如下

 @Bean(name = "refreshPorpertiesService")
    public ProviderConfig createJsfProvider() throws Exception {
        ProviderConfig providerConfig = new ProviderConfig();
        providerConfig.setId("refreshPorpertiesService");
        providerConfig.setInterfaceId(RefreshRemoteService.class.getName());
        providerConfig.setRef(new RefreshRemoteServiceDelage(applicationContext));
        providerConfig.setTimeout(30000);
        providerConfig.setAlias(EasyConfigure.getAppCode()+EasyConfigure.getEnv());
        providerConfig.setServer(serverConfig);
        providerConfig.setRegistry(jsfRegistry);
        providerConfig.setParameter("token", MD5Util.md5(EasyConfigure.getAppCode()));
        providerConfig.export();
        return providerConfig;
    }

其中
RefreshRemoteServiceDelage類提供刷新介面的實際邏輯如下，需判斷當前實例是jdk動態代理還是cglib代理

判斷邏輯如下

 if(AopUtils.isJdkDynamicProxy(object)) {
         object= AopUtil.getJdkDynamicProxyTargetObject(object);
 } else if(AopUtils.isCglibProxy(object)){ //cglib
         object= AopUtil.getCglibProxyTargetObject(object);
   }

實例對象變數值根據自定義的參數轉換方式轉換後賦值實例變數

if(autoValue.convert()!=null && !autoValue.getClass().isInterface()){
         if(!autoValue.convert().newInstance().getInClassType().isAssignableFrom(newVal.getClass()) ){
                    continue;
             }
           newVal = autoValue.convert().newInstance().convert(newVal);
            if(newVal!=null){
                  if(!autoValue.convert().newInstance().getOutClassType().isAssignableFrom(newVal.getClass()) ){
                            continue;
                      }
              field.setAccessible(true);
               Object value = ReflectionUtils.getField(field,object);
              log.info("change  properties{} for object {} before value {}",field.getName(),object.getClass().getName(),value);
               ReflectionUtils.setField(field,object,newVal);
                log.info("change  properties{} for object {} after value {}",field.getName(),object.getClass().getName(),newVal);
         }              
}

5 實踐

1)pom引入

<dependency>
   <groupId>com.jdl</groupId>
   <artifactId>easyconfig</artifactId>
   <version>1.0-SNAPSHOT</version>
</dependency>

2)配置存儲配置(比如redis方式)

refresh:
  config:
    appCode: zdzq-worker-appcode
    redisUrl: redis://:@127.0.0.1

3）類全局變數需要實時刷新配置，需在類統一指定註解PropertiryChangeListener，實例變數需要增加註解AutoValue並指定數據格式轉換器

@PropertiryChangeListener
public class ChanceServiceImpl implement ChanceService{
@AutoValue(convert = DateConvert.class,alias = "config-id")
private Date  signDate;
@AutoValue(convert = SpmKaApply Convert.class,alias = "config-id")
private SpmKaApply  spmKaApply;
}

以上convert方法自定義，支持各種複雜配置對象，舉例數據轉換為List如下

public  class Convert2 implements Convert<Map<String, String>, Set<String>> {
    public Convert2(){}
    @Override
    public Set<String> convert(Map<String, String> siteInfoMap) {
        ....你的對象值轉換
    }
    @Override
    public Class<?> getInClassType() {
        return Map.class;
    }
    @Override
    public Class<?> getOutClassType() {
        return Set.class;
    }

接入應用服務啟動後，可訪問/refreshUI 可查看應用在集群中為自動配置的實例，並顯示當前實例中變數值參數。key為實例變數名。

6 總結

1、支持jdk動態代理的實例對象和cglib代理對象的參數動態配置

2、支持定時刷新配置

3、直接查看和驗證應用集群中實例變數是否一致


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • vue3實現一個抽獎小項目
    前言 在公司年會期間我做了個抽獎小項目，我把它分享出來，有用得著的可以看下。 瀏覽鏈接：http://xisite.top/original/luck-draw/index.html 項目鏈接：https://gitee.com/xi1213/luck-draw (歡迎star!) 項目截圖： 實現 ...
  • JavaScript 中斷 forEach 迴圈
    1、使用 Array.prototype.some() 方法代替 some() 方法會在找到第一個符合條件的元素時停止迴圈。 例如： let array = [1, 2, 3, 4, 5]; array.some(function(element, index, array) { if (eleme ...
  • Redis分散式鎖的五大演進攻略
    本文我們來探討下如何引入分散式鎖解決本地鎖的問題。本篇所有代碼和業務基於我的開源項目 PassJava。 本篇主要內容如下： 一、本地鎖的問題 首先我們來回顧下本地鎖的問題： 目前題目微服務被拆分成了四個微服務。前端請求進來時，會被轉發到不同的微服務。假如前端接收了 10 W 個請求，每個微服務接收 ...
  • 如何理解這6種常見設計模式？
    導讀：設計模式能夠幫助我們優化代碼結構，讓代碼更優雅靈活。有哪些常見的設計模式？如何合理運用？本文分享作者對工廠模式、單例模式、裝飾模式、策略模式、代理模式和觀察者模式的理解，介紹每種模式的模式結構、優缺點、適用場景、註意實現及代碼實現。 ...
  • 學習筆記——SpringMVC消息轉換器概述；使用消息轉換器處理請求報文；使用消息轉換器處理響應報文；使用消息轉換器處理Json格式數據
    2023-01-20 一、SpringMVC消息轉換器概述 1、HttpMessageConverter<T> 消息轉換器作用： （1）將java對象與請求報文及響應報文進行相互轉化 （2）使用HttpMessageConverter<T>將請求信息轉化並綁定到處理方法的入參中或將響應結果轉為對應類 ...
  • 史上最簡單 OpenCV for C++ 在 Windows 和 Ubuntu 上編譯安裝使用教程
    準備工作 原材料 Ubuntu 系統(非必須，Windows 也可以，主要是 Ubuntu 適合編譯) OpenCV 3.4.1 壓縮包 OpenCV contrib 3.4.1 壓縮包 MinGW(Windows 上運行 GCC) 版本信息 GCC 版本 7.5.0 G++ 版本 7.5.0 Op ...
  • C++獲取含有中文字元的string長度
    :前言 造車輪的時候要用到中文字元串的長度辨別，發現char的識別不准，進行了一番研究。 > 開始研究 在Windows下，中文字元在C++中的記憶體占用為2位元組，此時採用字元串長度獲取函數得到的結果會將一個中文字元識別為兩個長度： #include <stdio.h> #include <strin ...
  • 學習筆記——springMVC中視圖及視圖解析器對象；視圖控制器
    2023-01-20 一、springMVC中視圖及視圖解析器對象 1、視圖解析器對象（ViewResolver） （1）概述：SpringMVC中所有視圖解析器對象均實現ViewResolver介面 （2）作用：使用ViewResolver，將View從ModelAndView中解析出來 註：在s ...
一周排行
    -Advertisement-
    Play Games
  • （開源）都進來！簡單易懂、功能強大的許可權+可視化流程管理系統
    1、預覽地址：http://139.155.137.144:9012 2、qq群:801913255 一、前言 隨著網路的發展，企業對於信息系統數據的保密工作愈發重視，不同身份、角色對於數據的訪問許可權都應該大相徑庭。 列如 1、不同登錄人員對一個數據列表的可見度是不一樣的，如數據列、數據行、數據按鈕 ...
  • 設計模式-C#實現簡單工廠模式
    前言 上一篇文章寫瞭如何使用RabbitMQ做個簡單的發送郵件項目，然後評論也是比較多，也是準備去學習一下如何確保RabbitMQ的消息可靠性，但是由於時間原因，先來說說設計模式中的簡單工廠模式吧！ 在瞭解簡單工廠模式之前，我們要知道C#是一款面向對象的高級程式語言。它有3大特性，封裝、繼承、多態。 ...
  • Nodify學習 一：介紹與使用
    Nodify學習 一：介紹與使用 - 可樂_加冰 - 博客園 (cnblogs.com) Nodify學習 二：添加節點 - 可樂_加冰 - 博客園 (cnblogs.com) 介紹 Nodify是一個WPF基於節點的編輯器控制項，其中包含一系列節點、連接和連接器組件，旨在簡化構建基於節點的工具的過程 ...
  • 使用C#/.NET解析Wiki百科數據實現獲取歷史上的今天
    創建一個webapi項目做測試使用。 創建新控制器，搭建一個基礎框架，包括獲取當天日期、wiki的請求地址等 創建一個Http請求幫助類以及方法，用於獲取指定URL的信息 使用http請求訪問指定url，先運行一下，看看返回的內容。內容如圖右邊所示，實際上是一個Json數據。我們主要解析 大事記 部 ...
  • .NET科普：.NET簡史、.NET Standard以及C#和.NET Framework之間的關係
    最近在不少自媒體上看到有關.NET與C#的資訊與評價，感覺大家對.NET與C#還是不太瞭解，尤其是對2016年6月發佈的跨平臺.NET Core 1.0，更是知之甚少。在考慮一番之後，還是決定寫點東西總結一下，也回顧一下.NET的發展歷史。 首先，你沒看錯，.NET是跨平臺的，可以在Windows、 ...
  • Nodify學習 二：添加節點
    Nodify學習 一：介紹與使用 - 可樂_加冰 - 博客園 (cnblogs.com) Nodify學習 二：添加節點 - 可樂_加冰 - 博客園 (cnblogs.com) 添加節點（nodes） 通過上一篇我們已經創建好了編輯器實例現在我們為編輯器添加一個節點 添加model和viewmode ...
  • 論如何直接用EF Core實現創建更新時間、用戶審計，自動化樂觀併發、軟刪除和樹形查詢（上）
    前言 資料庫併發，數據審計和軟刪除一直是數據持久化方面的經典問題。早些時候，這些工作需要手寫複雜的SQL或者通過存儲過程和觸發器實現。手寫複雜SQL對軟體可維護性構成了相當大的挑戰，隨著SQL字數的變多，用到的嵌套和複雜語法增加，可讀性和可維護性的難度是幾何級暴漲。因此如何在實現功能的同時控制這些S ...
  • C# 使用模式匹配的好處,因為好用所以推薦~
    類型檢查和轉換：當你需要檢查對象是否為特定類型，並且希望在同一時間內將其轉換為那個類型時，模式匹配提供了一種更簡潔的方式來完成這一任務，避免了使用傳統的as和is操作符後還需要進行額外的null檢查。 複雜條件邏輯：在處理複雜的條件邏輯時，特別是涉及到多個條件和類型的情況下，使用模式匹配可以使代碼更 ...
  • 推薦一種批量判斷文件是否存在的快速辦法
    在日常開發中，我們經常需要和文件打交道，特別是桌面開發，有時候就會需要載入大批量的文件，而且可能還會存在部分文件缺失的情況，那麼如何才能快速的判斷文件是否存在呢？如果處理不當的，且文件數量比較多的時候，可能會造成卡頓等情況，進而影響程式的使用體驗。今天就以一個簡單的小例子，簡述兩種不同的判斷文件是否... ...
  • 論如何直接用EF Core實現創建更新時間、用戶審計，自動化樂觀併發、軟刪除和樹形查詢（中）
    前言 資料庫併發，數據審計和軟刪除一直是數據持久化方面的經典問題。早些時候，這些工作需要手寫複雜的SQL或者通過存儲過程和觸發器實現。手寫複雜SQL對軟體可維護性構成了相當大的挑戰，隨著SQL字數的變多，用到的嵌套和複雜語法增加，可讀性和可維護性的難度是幾何級暴漲。因此如何在實現功能的同時控制這些S ...
所有分類