風控系統就該這麼設計,萬能通用,穩的一批!(建議收藏)

来源:https://www.cnblogs.com/javastack/archive/2023/03/02/17171890.html
-Advertisement-
Play Games

作者:wingli 鏈接:https://juejin.cn/post/7182774381448282172 一、背景 1.為什麼要做風控? 這不得拜產品大佬所賜 目前我們業務有使用到非常多的AI能力,如ocr識別、語音測評等,這些能力往往都比較費錢或者費資源,所以在產品層面也希望我們對用戶的能力 ...


作者:wingli
鏈接:https://juejin.cn/post/7182774381448282172

一、背景

1.為什麼要做風控?

這不得拜產品大佬所賜

目前我們業務有使用到非常多的AI能力,如ocr識別、語音測評等,這些能力往往都比較費錢或者費資源,所以在產品層面也希望我們對用戶的能力使用次數做一定的限制,因此風控是必須的!

2.為什麼要自己寫風控?

那麼多開源的風控組件,為什麼還要寫呢?是不是想重覆發明輪子呀. 要想回答這個問題,需要先解釋下我們業務需要用到的風控(簡稱業務風控),與開源常見的風控(簡稱普通風控)有何區別:

風控類型 目的 對象 規則
業務風控 實現產品定義的一些限制,達到限制時,有具體的業務流程,如充值vip等 比較複雜多變的,例如針對用戶進行風控,也能針對用戶+年級進行風控 自然日、自然小時等
普通風控 保護服務或數據,攔截異常請求等 介面、部分可以加上簡單參數 一般用得更多的是滑動視窗

因此,直接使用開源的普通風控,一般情況下是無法滿足需求的

3.其它要求

支持實時調整限制:

很多限制值在首次設置的時候,基本上都是拍定的一個值,後續需要調整的可能性是比較大的,因此可調整並實時生效是必須的

二、思路

要實現一個簡單的業務風控組件,要做什麼工作呢?

1.風控規則的實現

a.需要實現的規則:

  • 自然日計數
  • 自然小時計數
  • 自然日+自然小時計數

自然日+自然小時計數 這裡並不能單純地串聯兩個判斷,因為如果自然日的判定通過,而自然小時的判定不通過的時候,需要回退,自然日跟自然小時都不能計入本次調用!

b.計數方式的選擇:

目前能想到的會有:

  • mysql+db事務
    持久化、記錄可溯源、實現起來比較麻煩,稍微“”了一點
  • redis+lua
    實現簡單,redis的可執行lua腳本的特性也能滿足對“事務”的要求
  • mysql/redis+分散式事務
    需要上鎖,實現複雜,能做到比較精確的計數,也就是真正等到代碼塊執行成功之後,再去操作計數

目前沒有很精確技術的要求,代價太大,也沒有持久化的需求,因此選用 redis+lua 即可

2.調用方式的實現

a.常見的做法

先定義一個通用的入口

推薦一個開源免費的 Spring Boot 最全教程:

https://github.com/javastacks/spring-boot-best-practice

//簡化版代碼

@Component
class DetectManager {
    fun matchExceptionally(eventId: String, content: String){
        //調用規則匹配
        val rt = ruleService.match(eventId,content)
        if (!rt) {
            throw BaseException(ErrorCode.OPERATION_TOO_FREQUENT)
        }
    }
}

在service中調用該方法

//簡化版代碼

@Service
class OcrServiceImpl : OcrService {

    @Autowired
    private lateinit var detectManager: DetectManager

    /**
     * 提交ocr任務
     * 需要根據用戶id來做次數限制
     */
    override fun submitOcrTask(userId: String, imageUrl: String): String {
       detectManager.matchExceptionally("ocr", userId)
       //do ocr
    }

}

有沒有更優雅一點的方法呢? 用註解可能會更好一點(也比較有爭議其實,這邊先支持實現)

由於傳入的 content 是跟業務關聯的,所以需要通過Spel來將參數構成對應的content

三、具體實現

1.風控計數規則實現

a.自然日/自然小時

自然日/自然小時可以共用一套lua腳本,因為它們只有key不同,腳本如下:

//lua腳本
local currentValue = redis.call('get', KEYS[1]);
if currentValue ~= false then
    if tonumber(currentValue) < tonumber(ARGV[1]) then
        return redis.call('INCR', KEYS[1]);
    else
        return tonumber(currentValue) + 1;
    end;
else
   redis.call('set', KEYS[1], 1, 'px', ARGV[2]);
   return 1;
end;

其中 KEYS[1] 是日/小時關聯的key,ARGV[1]是上限值,ARGV[2]是過期時間,返回值則是當前計數值+1後的結果,(如果已經達到上限,則實際上不會計數)

b.自然日+自然小時

如前文提到的,兩個的結合實際上並不是單純的拼湊,需要處理回退邏輯

//lua腳本
local dayValue = 0;
local hourValue = 0;
local dayPass = true;
local hourPass = true;
local dayCurrentValue = redis.call('get', KEYS[1]);
if dayCurrentValue ~= false then
    if tonumber(dayCurrentValue) < tonumber(ARGV[1]) then
        dayValue = redis.call('INCR', KEYS[1]);
    else
        dayPass = false;
        dayValue = tonumber(dayCurrentValue) + 1;
    end;
else
   redis.call('set', KEYS[1], 1, 'px', ARGV[3]);
   dayValue = 1;
end;

local hourCurrentValue = redis.call('get', KEYS[2]);
if hourCurrentValue ~= false then
    if tonumber(hourCurrentValue) < tonumber(ARGV[2]) then
        hourValue = redis.call('INCR', KEYS[2]);
    else
        hourPass = false;
        hourValue = tonumber(hourCurrentValue) + 1;
    end;
else
   redis.call('set', KEYS[2], 1, 'px', ARGV[4]);
   hourValue = 1;
end;

if (not dayPass) and hourPass then
    hourValue = redis.call('DECR', KEYS[2]);
end;

if dayPass and (not hourPass) then
    dayValue = redis.call('DECR', KEYS[1]);
end;

local pair = {};
pair[1] = dayValue;
pair[2] = hourValue;
return pair;

其中 KEYS[1] 是天關聯生成的key, KEYS[2] 是小時關聯生成的key,ARGV[1]是天的上限值,ARGV[2]是小時的上限值,ARGV[3]是天的過期時間,ARGV[4]是小時的過期時間,返回值同上

這裡給的是比較粗糙的寫法,主要需要表達的就是,進行兩個條件判斷時,有其中一個不滿足,另一個都需要進行回退.

2.註解的實現

a.定義一個@Detect註解

@Retention(AnnotationRetention.RUNTIME)
@Target(AnnotationTarget.FUNCTION, AnnotationTarget.CLASS)
annotation class Detect(

    /**
     * 事件id
     */
    val eventId: String = "",

    /**
     * content的表達式
     */
    val contentSpel: String = ""

)

其中content是需要經過表達式解析出來的,所以接受的是個String

b.定義@Detect註解的處理類

@Aspect
@Component
class DetectHandler {

    private val logger = LoggerFactory.getLogger(javaClass)

    @Autowired
    private lateinit var detectManager: DetectManager

    @Resource(name = "detectSpelExpressionParser")
    private lateinit var spelExpressionParser: SpelExpressionParser

    @Bean(name = ["detectSpelExpressionParser"])
    fun detectSpelExpressionParser(): SpelExpressionParser {
        return SpelExpressionParser()
    }

    @Around(value = "@annotation(detect)")
    fun operatorAnnotation(joinPoint: ProceedingJoinPoint, detect: Detect): Any? {
        if (detect.eventId.isBlank() || detect.contentSpel.isBlank()){
            throw illegalArgumentExp("@Detect config is not available!")
        }
        //轉換表達式
        val expression = spelExpressionParser.parseExpression(detect.contentSpel)
        val argMap = joinPoint.args.mapIndexed { index, any ->
            "arg${index+1}" to any
        }.toMap()
        //構建上下文
        val context = StandardEvaluationContext().apply {
            if (argMap.isNotEmpty()) this.setVariables(argMap)
        }
        //拿到結果
        val content = expression.getValue(context)

        detectManager.matchExceptionally(detect.eventId, content)
        return joinPoint.proceed()
    }
}

需要將參數放入到上下文中,並起名為arg1arg2....

四、測試一下

1.寫法

使用註解之後的寫法:

//簡化版代碼

@Service
class OcrServiceImpl : OcrService {

    @Autowired
    private lateinit var detectManager: DetectManager

    /**
     * 提交ocr任務
     * 需要根據用戶id來做次數限制
     */
    @Detect(eventId = "ocr", contentSpel = "#arg1")
    override fun submitOcrTask(userId: String, imageUrl: String): String {
       //do ocr
    }

}

2.Debug看看

  • 註解值獲取成功
  • 表達式解析成功

近期熱文推薦:

1.1,000+ 道 Java面試題及答案整理(2022最新版)

2.勁爆!Java 協程要來了。。。

3.Spring Boot 2.x 教程,太全了!

4.別再寫滿屏的爆爆爆炸類了,試試裝飾器模式,這才是優雅的方式!!

5.《Java開發手冊(嵩山版)》最新發佈,速速下載!

覺得不錯,別忘了隨手點贊+轉發哦!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前言 今天看到一個程式,用到了智能指針, virtual tmp<volScalarField> rho() const; 藉此機會把有關智能指針的知識體系重新梳理一遍 智能指針autoPtr的由來: 首先要說明智能指針本質上是模板類,是對原有指針的改進,相比更安全, of對autoPtr的描述如下 ...
  • hello 大家好呀,我是小樓,這是系列文《Go底層原理剖析》的第三篇,依舊分析 Http 模塊。我們今天來看 Go內置的 RPC。說起 RPC 大家想到的一般是框架,Go 作為編程語言竟然還內置了 RPC,著實讓我有些吃鯨。 從一個 Demo 入手 為了快速進入狀態,我們先搞一個 Demo,當然這 ...
  • Go創建Grpc鏈接池 轉載請註明來源:https://janrs.com/2023/03/%e5%88%9b%e5%bb%bagrpc%e9%93%be%e6%8e%a5%e6%b1%a0/ 常規用法 gRPC 四種基本使用 請求響應模式 客戶端數據流模式 服務端數據流模式 雙向流模式 常見的gR ...
  • 背景 大數據量操作的場景大致如下: 數據遷移 數據導出 批量處理數據 在實際工作中當指定查詢數據過大時,我們一般使用分頁查詢的方式一頁一頁的將數據放到記憶體處理。但有些情況不需要分頁的方式查詢數據或分很大一頁查詢數據時,如果一下子將數據全部載入出來到記憶體中,很可能會發生OOM(記憶體溢出);而且查詢會很 ...
  • 類中定義的方法大致可以分為兩類:綁定方法和非綁定方法。其中綁定方法又可以分為綁定到對象的方法和綁定到類的方法。 一、綁定方法 1 對象的綁定方法 在類中沒有被任何裝飾器修飾的方法就是 綁定到對象的方法,這類方法專門為對象定製。 class Person: country = "China" def ...
  • 最近在程式設計實踐課上重學C++,由於小組合作,自然就不是單純的一個人寫完代碼寫到一個文件里完事,所有最近接觸了一下多文件編程的邏輯。 首先,多文件編程主要是為了組內合作,將一個項目分解成耦合度低的多個部分,使他們獨立考慮,結合面向對象可以更好的分工明確,各自完成編碼任務 C++文件大致會按尾碼名分 ...
  • 摘要:Apache ShardingSphere 是一款分散式的資料庫生態系統,它包含兩大產品:ShardingSphere-Proxy和ShardingSphere-JDBC。 本文分享自華為雲社區《看完這一篇,ShardingSphere-jdbc 實戰再也不怕了》,作者:勇哥java實戰分享 ...
  • Adobe Photoshop 鍵盤快捷鍵 備忘清單 Adobe Photoshop 中 283 個鍵盤快捷鍵的可視化備忘單鍵盤快捷鍵,為開發人員分享快速參考備忘單。 開發速查表大綱 鍵盤快捷鍵 熱門快捷方式 使用功能鍵 選擇工具 查看圖片 使用木偶變形 使用優化邊緣 使用濾鏡庫 使用液化濾鏡 使用 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...