風控系統就該這麼設計,萬能通用,穩的一批!(建議收藏)

来源:https://www.cnblogs.com/javastack/archive/2023/03/02/17171890.html
-Advertisement-
Play Games

作者:wingli 鏈接:https://juejin.cn/post/7182774381448282172 一、背景 1.為什麼要做風控? 這不得拜產品大佬所賜 目前我們業務有使用到非常多的AI能力,如ocr識別、語音測評等,這些能力往往都比較費錢或者費資源,所以在產品層面也希望我們對用戶的能力 ...


作者:wingli
鏈接:https://juejin.cn/post/7182774381448282172

一、背景

1.為什麼要做風控?

這不得拜產品大佬所賜

目前我們業務有使用到非常多的AI能力,如ocr識別、語音測評等,這些能力往往都比較費錢或者費資源,所以在產品層面也希望我們對用戶的能力使用次數做一定的限制,因此風控是必須的!

2.為什麼要自己寫風控?

那麼多開源的風控組件,為什麼還要寫呢?是不是想重覆發明輪子呀. 要想回答這個問題,需要先解釋下我們業務需要用到的風控(簡稱業務風控),與開源常見的風控(簡稱普通風控)有何區別:

風控類型 目的 對象 規則
業務風控 實現產品定義的一些限制,達到限制時,有具體的業務流程,如充值vip等 比較複雜多變的,例如針對用戶進行風控,也能針對用戶+年級進行風控 自然日、自然小時等
普通風控 保護服務或數據,攔截異常請求等 介面、部分可以加上簡單參數 一般用得更多的是滑動視窗

因此,直接使用開源的普通風控,一般情況下是無法滿足需求的

3.其它要求

支持實時調整限制:

很多限制值在首次設置的時候,基本上都是拍定的一個值,後續需要調整的可能性是比較大的,因此可調整並實時生效是必須的

二、思路

要實現一個簡單的業務風控組件,要做什麼工作呢?

1.風控規則的實現

a.需要實現的規則:

  • 自然日計數
  • 自然小時計數
  • 自然日+自然小時計數

自然日+自然小時計數 這裡並不能單純地串聯兩個判斷,因為如果自然日的判定通過,而自然小時的判定不通過的時候,需要回退,自然日跟自然小時都不能計入本次調用!

b.計數方式的選擇:

目前能想到的會有:

  • mysql+db事務
    持久化、記錄可溯源、實現起來比較麻煩,稍微“”了一點
  • redis+lua
    實現簡單,redis的可執行lua腳本的特性也能滿足對“事務”的要求
  • mysql/redis+分散式事務
    需要上鎖,實現複雜,能做到比較精確的計數,也就是真正等到代碼塊執行成功之後,再去操作計數

目前沒有很精確技術的要求,代價太大,也沒有持久化的需求,因此選用 redis+lua 即可

2.調用方式的實現

a.常見的做法

先定義一個通用的入口

推薦一個開源免費的 Spring Boot 最全教程:

https://github.com/javastacks/spring-boot-best-practice

//簡化版代碼

@Component
class DetectManager {
    fun matchExceptionally(eventId: String, content: String){
        //調用規則匹配
        val rt = ruleService.match(eventId,content)
        if (!rt) {
            throw BaseException(ErrorCode.OPERATION_TOO_FREQUENT)
        }
    }
}

在service中調用該方法

//簡化版代碼

@Service
class OcrServiceImpl : OcrService {

    @Autowired
    private lateinit var detectManager: DetectManager

    /**
     * 提交ocr任務
     * 需要根據用戶id來做次數限制
     */
    override fun submitOcrTask(userId: String, imageUrl: String): String {
       detectManager.matchExceptionally("ocr", userId)
       //do ocr
    }

}

有沒有更優雅一點的方法呢? 用註解可能會更好一點(也比較有爭議其實,這邊先支持實現)

由於傳入的 content 是跟業務關聯的,所以需要通過Spel來將參數構成對應的content

三、具體實現

1.風控計數規則實現

a.自然日/自然小時

自然日/自然小時可以共用一套lua腳本,因為它們只有key不同,腳本如下:

//lua腳本
local currentValue = redis.call('get', KEYS[1]);
if currentValue ~= false then
    if tonumber(currentValue) < tonumber(ARGV[1]) then
        return redis.call('INCR', KEYS[1]);
    else
        return tonumber(currentValue) + 1;
    end;
else
   redis.call('set', KEYS[1], 1, 'px', ARGV[2]);
   return 1;
end;

其中 KEYS[1] 是日/小時關聯的key,ARGV[1]是上限值,ARGV[2]是過期時間,返回值則是當前計數值+1後的結果,(如果已經達到上限,則實際上不會計數)

b.自然日+自然小時

如前文提到的,兩個的結合實際上並不是單純的拼湊,需要處理回退邏輯

//lua腳本
local dayValue = 0;
local hourValue = 0;
local dayPass = true;
local hourPass = true;
local dayCurrentValue = redis.call('get', KEYS[1]);
if dayCurrentValue ~= false then
    if tonumber(dayCurrentValue) < tonumber(ARGV[1]) then
        dayValue = redis.call('INCR', KEYS[1]);
    else
        dayPass = false;
        dayValue = tonumber(dayCurrentValue) + 1;
    end;
else
   redis.call('set', KEYS[1], 1, 'px', ARGV[3]);
   dayValue = 1;
end;

local hourCurrentValue = redis.call('get', KEYS[2]);
if hourCurrentValue ~= false then
    if tonumber(hourCurrentValue) < tonumber(ARGV[2]) then
        hourValue = redis.call('INCR', KEYS[2]);
    else
        hourPass = false;
        hourValue = tonumber(hourCurrentValue) + 1;
    end;
else
   redis.call('set', KEYS[2], 1, 'px', ARGV[4]);
   hourValue = 1;
end;

if (not dayPass) and hourPass then
    hourValue = redis.call('DECR', KEYS[2]);
end;

if dayPass and (not hourPass) then
    dayValue = redis.call('DECR', KEYS[1]);
end;

local pair = {};
pair[1] = dayValue;
pair[2] = hourValue;
return pair;

其中 KEYS[1] 是天關聯生成的key, KEYS[2] 是小時關聯生成的key,ARGV[1]是天的上限值,ARGV[2]是小時的上限值,ARGV[3]是天的過期時間,ARGV[4]是小時的過期時間,返回值同上

這裡給的是比較粗糙的寫法,主要需要表達的就是,進行兩個條件判斷時,有其中一個不滿足,另一個都需要進行回退.

2.註解的實現

a.定義一個@Detect註解

@Retention(AnnotationRetention.RUNTIME)
@Target(AnnotationTarget.FUNCTION, AnnotationTarget.CLASS)
annotation class Detect(

    /**
     * 事件id
     */
    val eventId: String = "",

    /**
     * content的表達式
     */
    val contentSpel: String = ""

)

其中content是需要經過表達式解析出來的,所以接受的是個String

b.定義@Detect註解的處理類

@Aspect
@Component
class DetectHandler {

    private val logger = LoggerFactory.getLogger(javaClass)

    @Autowired
    private lateinit var detectManager: DetectManager

    @Resource(name = "detectSpelExpressionParser")
    private lateinit var spelExpressionParser: SpelExpressionParser

    @Bean(name = ["detectSpelExpressionParser"])
    fun detectSpelExpressionParser(): SpelExpressionParser {
        return SpelExpressionParser()
    }

    @Around(value = "@annotation(detect)")
    fun operatorAnnotation(joinPoint: ProceedingJoinPoint, detect: Detect): Any? {
        if (detect.eventId.isBlank() || detect.contentSpel.isBlank()){
            throw illegalArgumentExp("@Detect config is not available!")
        }
        //轉換表達式
        val expression = spelExpressionParser.parseExpression(detect.contentSpel)
        val argMap = joinPoint.args.mapIndexed { index, any ->
            "arg${index+1}" to any
        }.toMap()
        //構建上下文
        val context = StandardEvaluationContext().apply {
            if (argMap.isNotEmpty()) this.setVariables(argMap)
        }
        //拿到結果
        val content = expression.getValue(context)

        detectManager.matchExceptionally(detect.eventId, content)
        return joinPoint.proceed()
    }
}

需要將參數放入到上下文中,並起名為arg1arg2....

四、測試一下

1.寫法

使用註解之後的寫法:

//簡化版代碼

@Service
class OcrServiceImpl : OcrService {

    @Autowired
    private lateinit var detectManager: DetectManager

    /**
     * 提交ocr任務
     * 需要根據用戶id來做次數限制
     */
    @Detect(eventId = "ocr", contentSpel = "#arg1")
    override fun submitOcrTask(userId: String, imageUrl: String): String {
       //do ocr
    }

}

2.Debug看看

  • 註解值獲取成功
  • 表達式解析成功

近期熱文推薦:

1.1,000+ 道 Java面試題及答案整理(2022最新版)

2.勁爆!Java 協程要來了。。。

3.Spring Boot 2.x 教程,太全了!

4.別再寫滿屏的爆爆爆炸類了,試試裝飾器模式,這才是優雅的方式!!

5.《Java開發手冊(嵩山版)》最新發佈,速速下載!

覺得不錯,別忘了隨手點贊+轉發哦!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前言 今天看到一個程式,用到了智能指針, virtual tmp<volScalarField> rho() const; 藉此機會把有關智能指針的知識體系重新梳理一遍 智能指針autoPtr的由來: 首先要說明智能指針本質上是模板類,是對原有指針的改進,相比更安全, of對autoPtr的描述如下 ...
  • hello 大家好呀,我是小樓,這是系列文《Go底層原理剖析》的第三篇,依舊分析 Http 模塊。我們今天來看 Go內置的 RPC。說起 RPC 大家想到的一般是框架,Go 作為編程語言竟然還內置了 RPC,著實讓我有些吃鯨。 從一個 Demo 入手 為了快速進入狀態,我們先搞一個 Demo,當然這 ...
  • Go創建Grpc鏈接池 轉載請註明來源:https://janrs.com/2023/03/%e5%88%9b%e5%bb%bagrpc%e9%93%be%e6%8e%a5%e6%b1%a0/ 常規用法 gRPC 四種基本使用 請求響應模式 客戶端數據流模式 服務端數據流模式 雙向流模式 常見的gR ...
  • 背景 大數據量操作的場景大致如下: 數據遷移 數據導出 批量處理數據 在實際工作中當指定查詢數據過大時,我們一般使用分頁查詢的方式一頁一頁的將數據放到記憶體處理。但有些情況不需要分頁的方式查詢數據或分很大一頁查詢數據時,如果一下子將數據全部載入出來到記憶體中,很可能會發生OOM(記憶體溢出);而且查詢會很 ...
  • 類中定義的方法大致可以分為兩類:綁定方法和非綁定方法。其中綁定方法又可以分為綁定到對象的方法和綁定到類的方法。 一、綁定方法 1 對象的綁定方法 在類中沒有被任何裝飾器修飾的方法就是 綁定到對象的方法,這類方法專門為對象定製。 class Person: country = "China" def ...
  • 最近在程式設計實踐課上重學C++,由於小組合作,自然就不是單純的一個人寫完代碼寫到一個文件里完事,所有最近接觸了一下多文件編程的邏輯。 首先,多文件編程主要是為了組內合作,將一個項目分解成耦合度低的多個部分,使他們獨立考慮,結合面向對象可以更好的分工明確,各自完成編碼任務 C++文件大致會按尾碼名分 ...
  • 摘要:Apache ShardingSphere 是一款分散式的資料庫生態系統,它包含兩大產品:ShardingSphere-Proxy和ShardingSphere-JDBC。 本文分享自華為雲社區《看完這一篇,ShardingSphere-jdbc 實戰再也不怕了》,作者:勇哥java實戰分享 ...
  • Adobe Photoshop 鍵盤快捷鍵 備忘清單 Adobe Photoshop 中 283 個鍵盤快捷鍵的可視化備忘單鍵盤快捷鍵,為開發人員分享快速參考備忘單。 開發速查表大綱 鍵盤快捷鍵 熱門快捷方式 使用功能鍵 選擇工具 查看圖片 使用木偶變形 使用優化邊緣 使用濾鏡庫 使用液化濾鏡 使用 ...
一周排行
    -Advertisement-
    Play Games
  • .Net8.0 Blazor Hybird 桌面端 (WPF/Winform) 實測可以完整運行在 win7sp1/win10/win11. 如果用其他工具打包,還可以運行在mac/linux下, 傳送門BlazorHybrid 發佈為無依賴包方式 安裝 WebView2Runtime 1.57 M ...
  • 目錄前言PostgreSql安裝測試額外Nuget安裝Person.cs模擬運行Navicate連postgresql解決方案Garnet為什麼要選擇Garnet而不是RedisRedis不再開源Windows版的Redis是由微軟維護的Windows Redis版本老舊,後續可能不再更新Garne ...
  • C#TMS系統代碼-聯表報表學習 領導被裁了之後很快就有人上任了,幾乎是無縫銜接,很難讓我不想到這早就決定好了。我的職責沒有任何變化。感受下來這個系統封裝程度很高,我只要會調用方法就行。這個系統交付之後不會有太多問題,更多應該是做小需求,有大的開發任務應該也是第二期的事,嗯?怎麼感覺我變成運維了?而 ...
  • 我在隨筆《EAV模型(實體-屬性-值)的設計和低代碼的處理方案(1)》中介紹了一些基本的EAV模型設計知識和基於Winform場景下低代碼(或者說無代碼)的一些實現思路,在本篇隨筆中,我們來分析一下這種針對通用業務,且只需定義就能構建業務模塊存儲和界面的解決方案,其中的數據查詢處理的操作。 ...
  • 對某個遠程伺服器啟用和設置NTP服務(Windows系統) 打開註冊表 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpServer 將 Enabled 的值設置為 1,這將啟用NTP伺服器功 ...
  • title: Django信號與擴展:深入理解與實踐 date: 2024/5/15 22:40:52 updated: 2024/5/15 22:40:52 categories: 後端開發 tags: Django 信號 松耦合 觀察者 擴展 安全 性能 第一部分:Django信號基礎 Djan ...
  • 使用xadmin2遇到的問題&解決 環境配置: 使用的模塊版本: 關聯的包 Django 3.2.15 mysqlclient 2.2.4 xadmin 2.0.1 django-crispy-forms >= 1.6.0 django-import-export >= 0.5.1 django-r ...
  • 今天我打算整點兒不一樣的內容,通過之前學習的TransformerMap和LazyMap鏈,想搞點不一樣的,所以我關註了另外一條鏈DefaultedMap鏈,主要調用鏈為: 調用鏈詳細描述: ObjectInputStream.readObject() DefaultedMap.readObject ...
  • 後端應用級開發者該如何擁抱 AI GC?就是在這樣的一個大的浪潮下,我們的傳統的應用級開發者。我們該如何選擇職業或者是如何去快速轉型,跟上這樣的一個行業的一個浪潮? 0 AI金字塔模型 越往上它的整個難度就是職業機會也好,或者說是整個的這個運作也好,它的難度會越大,然後越往下機會就會越多,所以這是一 ...
  • @Autowired是Spring框架提供的註解,@Resource是Java EE 5規範提供的註解。 @Autowired預設按照類型自動裝配,而@Resource預設按照名稱自動裝配。 @Autowired支持@Qualifier註解來指定裝配哪一個具有相同類型的bean,而@Resourc... ...