簡易RPC框架-過濾器機制

来源:http://www.cnblogs.com/ASPNET2008/archive/2017/10/08/7636276.html
-Advertisement-
Play Games

過濾器 字面義上理解的過濾器類似下圖,從一堆物品中篩選出符合條件的留下,不符合的丟棄。 GOF 職責鏈 GOF中有一種設計模式叫職責鏈,或者叫責任鏈,常規的UML圖如下: 正統的職責鏈是將一個請求發給第一個接收者,接收者判斷是否屬於自己能處理的,如果能處理則執行操作並中止請求下發,流程到此為止。如果 ...


過濾器

字面義上理解的過濾器類似下圖,從一堆物品中篩選出符合條件的留下,不符合的丟棄。

GOF 職責鏈

GOF中有一種設計模式叫職責鏈,或者叫責任鏈,常規的UML圖如下:

正統的職責鏈是將一個請求發給第一個接收者,接收者判斷是否屬於自己能處理的,如果能處理則執行操作並中止請求下發,流程到此為止。如果不能處理則將請求下發給下一個接收者一直到最後一個接收者。

變體職責鏈

上面提到正統的職責鏈有一個特點:當找到符合條件的執行者後流程中止並不會將請求繼續下發給後續的執行者。這類場景比較適合比如審核操作,一個報銷單由主管,經理,CTO一級一級的審批不能越權。

解耦合/細分

在實際項目中,往往會遇到非常複雜的業務場景,有可能是需要執行的方法特別多,也有可能是因為需要執行的方法有可能事先不知道,需要在運行時才能判斷。如果將這些邏輯全部寫在一個類或者一個方法中就會出現這樣的問題:

  • 耦合度高,一個方法或者一個類需要關聯所有業務方法以及相關類
  • 不易擴展,需要執行的業務經常發生變化,如果每次變化都去修改統一的方法或者類,不符合開閉原則,維護成本非常高

所以就有了下圖,一堆需要執行的方法發給第一個接收者,接收者判斷哪些方法是自己可以執行的,有執行的就執行,然後無論是否有可執行的方法在處理完成後都將請求繼續下發給後面的接收者。每個接收者完成自己負責的內容,多個接收者完成了複雜任務的分解。

RPC 過濾器

RPC過濾器與Spring MVC中的Filter作用基本相同,其中很大一個作用就是動態的給客戶端或者是服務端增加切麵功能,比如:

  • 許可權控制
  • 加密解密
  • 訪問日誌
  • 限流控制
  • 併發控制
  • ......

下圖是我在RPC項目中實現過濾器機制的UML示意圖

RpcFilter

定義一個過濾器介面,只包含一個invoke方法。


public interface RpcFilter<T> {
    <T> T invoke(RpcInvoker invoker, RpcInvocation invocation);
}

RpcInvoker

這是RPC客戶端以及服務端執行服務端方法或者是將客戶端請求發送給服務端時需要調用的方法介面。

這個角色在Netty中也可以叫Handle,這個介面與上面的RpcFilter有點類似,只是在RPC框架中體現的角色不同而已,具體看UML圖可知道兩者關係。


public interface RpcInvoker {
    Object invoke(RpcInvocation invocation);
}

RpcServerInvoker

服務端的一個執行者實現,包含兩個核心功能:

構建職責鏈

  • this.filterMap,是通過註解獲取到的一組過濾器,此處不詳細講因為與本文關係不大
  • RpcInvoker的invoker方法實際調用的是RpcFilter的方法,並將自身實例傳遞給RpcFilter,目的是構建職責鏈的關聯關係

public RpcInvoker buildInvokerChain(final RpcInvoker invoker) {
    RpcInvoker last = invoker;
    List<RpcFilter> filters = Lists.newArrayList(this.filterMap.values());

    if (filters.size() > 0) {
        for (int i = filters.size() - 1; i >= 0; i --) {
            final RpcFilter filter = filters.get(i);
            final RpcInvoker next = last;
            last = new RpcInvoker() {
                @Override
                public Object invoke(RpcInvocation invocation) {
                    return filter.invoke(next, invocation);
                }
            };
        }
    }
    return last;
}

此處並沒有考慮職責鏈的排序,可以通過過濾器的註解上增加排序數字來解決。目前我寫的過濾器註解中並沒有實現排序功能,可以增加一個order的屬性,然後在需要指定順序的過濾器上增加對應屬性值來支持。


@Target({ElementType.TYPE})
@Retention(RetentionPolicy.RUNTIME)
@Component
public @interface ActiveFilter {
    String[] group() default {};
    String[] value() default {};
}

發請求給職責鏈

服務端在讀取到客戶端的請求後,首先通過構建職責鏈得到RpcInvoker,然後調用RpcInvoker的invoke方法將請求下發。

@Override
    protected void channelRead0(ChannelHandlerContext channelHandlerContext, RpcMessage message) {

        this.executor.execute(new Runnable() {
            @Override
            public void run() {
                RpcInvoker rpcInvoker=....
                RpcResponse response=(RpcResponse) rpcInvoker.invoke......
    }

過濾器案例

一般HTTP請求在不同網路角色中處理請求的能力會呈現為一個漏斗型,越上層職責越輕,越往下層職責越重,所對應的就是越上層處理請求量越大,越下層處理請求量越小。比如負載均衡器只負責請求轉發而不負責具體的任務執行,而後端的Service伺服器會執行大量的IO操作或者是消耗cpu的計算任務等,所以這兩者在處理請求的量上往往是數量級的。

當出現大量請求時,為了有效的保護後端服務的穩定性(儘量不出現宕機),除了橫向擴展伺服器外還可以通過一些軟體手段緩解後端服務的壓力,這就是通常說的限流,本文因為需要簡單實現一個限制的過濾器,所以直接引用現成的限流演算法:令牌桶。

下麵是客戶端請求限流的一個簡單實現,客戶端在給服務端發起請求之前需要獲取令牌,如果獲取到則發送請求,如果獲取不到一直等待。當然為了防止死鎖,可以調用帶超時時間的獲取令牌方法。

@ActiveFilter(group = {ConstantConfig.CONSUMER})
public class AccessLimitFilter implements RpcFilter {

    private final static Logger logger = LoggerFactory.getLogger(AccessLimitFilter.class);

    @Override
    public Object invoke(RpcInvoker invoker, RpcInvocation invocation) {
        logger.info("before acquire");
        AccessLimitManager.acquire();

        Object rpcResponse=invoker.invoke(invocation);
        logger.info("after acquire");
        return rpcResponse;
    }

    static class AccessLimitManager{
        private final static RateLimiter rateLimiter=RateLimiter.create(2);

        public static void acquire(){
            rateLimiter.acquire();
        }
    }
}

實現的比較粗糙,桶的大小是寫死的,應該實現為可配置型,後續抽空完善下。

本文源碼

https://github.com/jiangmin168168/jim-framework

文中代碼是依賴上述項目的,如果有不明白的可下載源碼

引用

本文中的圖取自於網格


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • SpringBoot引入JPA,application.ymlapplication.yml增加資料庫鏈接參數,啟動卡死,日誌沒有動,如下圖 折騰好久,後面發現用 Maven的package 過程中 可以看出資料庫名稱出錯,如下圖 這時候再啟動,發現控制台日誌也有了看出資料庫名稱出錯。 最後實驗下, ...
  • 最近需要做一個粗略的後臺管理的許可權,根據用戶的等級來載入相應的菜單,控制到子菜單。使用的是Easyui這個框架。 1.我使用的mysql資料庫。在這裡我就建立四張表,角色表(tb_users),菜單表(tb_menu),用戶許可權表(tb_role),許可權菜單表(tb_user_role).表結構如下 ...
  • 在 java平臺上,lombok 提供了簡單的註解的形式來幫助我們消除一些必須有但看起來很臃腫的代碼, 比如屬性的get/set,及對象的toString等方法,特別是相對於 POJO。簡單的說,就是簡化了Java代碼,消除Java冗長的代碼。lombok jar的下載地址:https://proj ...
  • 把泛型由Boolean改為String。 ...
  • RBAC --> 基於角色的許可權控制 tb_user tb_role tb_userrole tb_menu(增、刪、改、查) tb_rolemenu 1 說明 給出三個頁面:index.jsp、user.jsp、admin.jsp。 index.jsp:誰都可以訪問,沒有限制; user.jsp: ...
  • 題目鏈接 Problem Description You have got a cylindrical cup. Its bottom diameter is 2 units and its height is 2 units as well.The height of liquid level i ...
  • 是的,我是想到什麼知識點就說什麼,沒有固定的主題,我的標題都是在寫完博客再給的。本篇博文說說列表進階話題。其實列表應該是比較熟悉的了,而毫不誇張的說,在實際的開發中,列表也是使用的最多的,以後你會體會到我說的這句話的。 列表解析 1.什麼是列表解析: 根據已有列表,高效生成新列表的方式,還有另一個叫 ...
  • Card Collector HDU - 4336 ans[S]表示獲得S的卡片次數的期望考慮到達S前一次的卡片1.獲得一張已獲得的 期望是ans[S]*sum{p[i]|i在S中}2.獲得一張未獲得的 期望是sum{ans[S-i]*p[i]|i在S中}3.未獲得卡片 期望是ans[S]*p[0] ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...