風控核心子域——名單服務構建及挑戰

来源:https://www.cnblogs.com/gugujifly/archive/2023/02/01/17081905.html
-Advertisement-
Play Games

名單服務是風控架構中重要子域,對風險決策的性能、用戶體驗、成本管控、風險治理沉澱都有重要影響,本文將詳細介紹名單服務設計思路和實現。 ...


引言

名單服務是風控架構中重要子域,對風險決策的性能、用戶體驗、成本管控、風險治理沉澱都有重要影響,本文將詳細介紹名單服務設計思路和實現。

背景

什麼是名單?

名單服務通常有幾個部分組成:

風險類型

  • 黑名單:絕對會被拒絕的用戶。大部分是歷史數據清洗出來作弊或者破壞業務的用戶,這部分用戶對企業無價值且放之進入會破壞生態平衡
  • 灰名單:灰名單上的客戶需要進一步審核。這部分用戶可能存在某些風險,但是沒有明確的證據表明他們是“黑”的
  • 白名單:這部分客戶是正常用戶,是企業數分人員基於歷史表現清洗出來的合規高價值用戶,可以直接放行

名單維度

  • 主鍵:手機號、用戶 ID、身份證號、IP、設備標識、wifi MAC 地址等等
  • 業務域:全域、業務子域、細分領域等等,這邊需要字典服務來枚舉出需要管控的粒度和場景

時間維度
名單是有一定的生效期的,不同的行為會導致鎖定期不一樣,生效時間可以靈活設置

為什麼需要名單服務?

  • 最易構建的決策能力:風控前期的構建是比較依賴名單決策的,策略數分人員通過歷史數據判定哪些是“壞用戶”,直接將其存儲到名單庫中,後續請求直接在第一道名單決策中踢出,而不需要執行後續策略在判定一次。策略相對名單來說是非常“重”的,且名單服務構建簡單便捷,省時省力。
  • 性能考慮:名單判定一般是在決策流的第一道,試想,對企業服務來說,大部分用戶其實都是正常的,如果每個用戶的請求都過一遍策略,對成本是極大的浪費,同時對性能來說也是極大的挑戰。此時名單服務通過白黑名單,將大部分用戶直接決策出去,只對不明確的客戶和有風險的客戶來做決策,極大地減少了開銷。

設計實現

名單服務的特點如下:

  • 名單數據來源:可以是實時產生、離線跑批生產、運營人員手動批量導入等等,形式多樣
  • 性能足夠好:屬於決策流入口必過服務之一,即最大流量衝擊,需要經得起峰值壓力,RT 要足夠小
  • 穩定性:高性能同時還需要高質量保證,如果名單服務出問題,後果不堪設想,流量全部流放到下游,可能會出現服務雪崩
  • 質量保證:任何名單添加到名單庫中都需要重視,隨意的添加可能會給企業帶來難以想象的損失,所以得有完備的審核記錄及添加原因,最重要的是生效時間的設定

整體名單服務的數據流圖如下所示,重要節點會作明確說明:

實時鏈路名單查詢設計

考慮到名單有時效性及性能要求,且名單數據結構整體簡單(多維度,單個維度存儲內容小),選擇 Redis 存儲名單數據非常適合快速查詢,數據結構如下:

說明:

  • 採用 Redis Hash 結構存儲數據
  • 為何不用 TTL 來存儲過期時間?:一是 expire 最大過期時間不能超過 Integer.MAXVALUE 不能滿足長時間的過期訴求;二來 Redis 本身定位是緩存,不是永久存儲,即數據是可丟失的,需要自己保證服務的高可用

依賴於 Redis 集群良好的性能,基本能滿足線上峰值高 QPS 查詢需求,且 RT 能很好的控制在 10 ms 以內。如上所說就是要保障高穩定性需求,如何保障名單數據的高可用是首要問題。

高可用設計

Redis 本身定位是緩存,不能永久保存數據,且集群癱瘓或者數據部分缺失應對業務影響較小(能及時恢復的情況下,運維保障集群的可用性),如下是高可用數據設計架構:

說明:

  • T+1 Job 保證數據穩定:每天離線任務全量覆蓋,從關係資料庫 PG/MySQL 中抽數 push 到 Redis 中即可
  • Redis 集群出問題:不管是老集群重啟還是更換到新集群,先用 RDB 恢複數據,保證線上可用,再立即執行離線任務做精確覆蓋(T 日的數據丟失需要立即覆蓋),考慮到讀寫同時進行可能會有問題,需要分集群切流

同時需要關註多線程問題,同一個維度,在同一時間可能存在批量更新情況,尤其是離線任務恢復時,歷史數據會存在對一個維度多次更新問題,不考慮多線程問題可能會導致數據被篡改。

數據安全審計

名單庫的風險點在於:隨意地添加名單可能導致“壞用戶”暢通無阻,“好用戶”無法在進入業務流程

名單的生產來源及定性原因不明確,線上在排查問題時也只能幹瞪眼,為了能回溯名單操作,需要做到如下幾點:

  • 寫日誌:任何寫動作需要追加日誌,且需要做持久換存儲,方便做名單時序數據分析
  • 黑名單 & 白名單需要審計:尤其是線上單獨添加這種,必須指明原因且要對操作負責
  • 跑批任務審計:離線任務或者演算法推數等需要控量,否則在迭代更新過程中出現 BUG 問題,導致名單數據猛增,後果不堪設想

異動監控

監控重中之重

能第一時間感知問題,監控的維度如下:

  • 決策層面監控:灰、白、黑名單決策數量監控
  • 元數據產出層面監控:任何名單猛增或猛跌都是需要去定性是否正常
  • 拉黑踢白:沒有永久犯錯的人,也沒有永久的好人,名單之間的流動也需要關註

總結

名單服務在風控域中是最重要的子域之一,是風控流量的“網關”。名單庫對整個風控決策的穩定性,性能提升起到決定性影響。

同時名單服務也是“高危”的,如果使用不當,可能會給企業良好用戶帶來困擾,給那些“黑產”敞開門戶,需要做好數據審核及異動監控。

往期精彩

歡迎關註公眾號:咕咕雞技術專欄
個人技術博客:https://jifuwei.github.io/ >

若有收穫,就點個贊吧


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 0.前言 MySQL由於開源的原因,有各式各樣的中件間Proxy ,極大的豐富了做高可用或遷移的方案,習慣了MySQL生態圈的靈活和便利,Oracle官方不開源代碼和協議,沒有中間件proxy,顯得很笨重。 比如以下的方案就會很不好辦: 實時抓取Oralce的訪問SQL日誌 慢日誌捕獲和收集 高可用 ...
  • 有相當一部分 iPhone 用戶會拒絕iOS更新最新系統,不管是因為各種BUG還是因為其他優化方面的問題,他們都會選擇一個自己覺得均衡的系統版本,安逸養老。 但是蘋果 iOS 系統如果你不及時更新推送版本的話,就會在手機桌面「設置」上方出現角標數字紅點,系統設置中也會出現紅點提示。強迫症患者表示簡直 ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 前言 可視化大屏該如何做?有可能一天完成嗎?廢話不多說,直接看效果,線上 Demo 地址 lxfu1.github.io/large-scree…。 看完這篇文章(這個項目),你將收穫: 全局狀態真的很簡單,你只需 5 分鐘就能上手 如何 ...
  • 1.CSS、SCSS、SASS CSS是開發人員熟知的一種用於頁面樣式開發的語言,可以通過內容的分離控制減少代碼的重覆性,降低代碼的複雜程度。 SASS 與 SCSS 都是 CSS 預處理器,可包含在基於 CSS 的 UI(用戶界面)或前端框架中以簡化開發。這些 SASS 與 SCSS 框架在高級別 ...
  • 鑒於阮一峰老師的技術文章,在此做一個轉載記錄。轉戰react技術一年,希望在技術上可以不斷精進,日後成為一位大牛! 引子:《準備工作》 知識準備 環境準備 第一講:《前端開發的歷史和趨勢》 前端開發的歷史演變 前端MVC框架的興起 前後端分離 全棧工程師 前端開發的未來 第二講:《React 技術棧 ...
  • 前言 先說幾句廢話,本人是一名 web 後端開發,主語言是 java,在學 Electron 之前,只會一點點 HTML和 JavaScript。本文講的也是我學習 Electron 的過程,而非教程,請酌情參考。 Electron是什麼 Electron是一個使用 JavaScript、HTML ...
  • 隨著業務變化的速度越來越快各類IT系統的建設也越來越複雜大規模研發團隊的管理問題日益突出如何提升研發效能成為時下各類技術團隊面臨的重要挑戰 京東雲DevOps專家將帶您深入研發一線揭秘支撐京東集團萬人級研發管理的行雲DevOps平臺 分享企業應該如何規劃DevOps落地與演進 嘉賓介紹 孫長虹 京東 ...
  • 物流合約中心是京東物流合同管理的唯一入口。為商家提供合同的創建,蓋章等能力,為不同業務條線提供合同的定製,歸檔,查詢等功能。由於各個業務條線眾多,為各個業務條線提供高可用查詢能力是物流合約中心重中之重。同時計費系統在每個物流單結算時,都需要查詢合約中心,確保商家簽署的合同內容來保證計費的準確性。 ...
一周排行
    -Advertisement-
    Play Games
  • 在本篇教程中,我們學習瞭如何使用 Taurus.MVC WebMVC 框架創建一個簡單的頁面。 我們創建了一個控制器並編寫了一個用於呈現頁面的方法,然後創建了對應的視圖,並最終成功運行了應用程式。 在下一篇教程中,我們將繼續探索 Taurus.MVC WebMVC 框架的更多功能和用法。 ...
  • 一:背景 1. 講故事 很多.NET開發者在學習高級調試的時候,使用sos的命令輸出會發現這裡也看不懂那裡也看不懂,比如截圖中的這位朋友。 .NET高級調試屬於一個偏冷門的領域,國內可觀測的資料比較少,所以很多東西需要你自己去探究源代碼,然後用各種調試工具去驗證,相關源代碼如下: coreclr: ...
  • 我一直都以為c中除以2的n次方可以使用右移n位代替,然而在實際調試中發現並不都是這樣的。是在計算餘數是發現了異常 被除數:114325068 右移15計算結果:3488 除法取整計算結果:3489 右移操作計算餘數:33772 除法取整計算餘數:1005 顯然:這是不一樣的。 移位操作是一條cpu指 ...
  • 在上一篇文章中,我們介紹了ReentrantLock類的一些基本用法,今天我們重點來介紹一下ReentrantLock其它的常用方法,以便對ReentrantLock類的使用有更深入的理解。 ...
  • Excelize 是 Go 語言編寫的用於操作電子錶格辦公文檔的開源基礎庫,2024年2月26日,社區正式發佈了 2.8.1 版本,該版本包含了多項新增功能、錯誤修複和相容性提升優化。 ...
  • 雲採用框架(Cloud Adoption Framework,簡稱CAF)為企業上雲提供策略和技術的指導原則和最佳實踐,幫助企業上好雲、用好雲、管好雲,併成功實現業務目標。本雲採用框架是基於服務大量企業客戶的經驗總結,將企業雲採用分為四個階段,並詳細探討企業應在每個階段採取的業務和技術策略;同時,還 ...
  • 與TXT文本文件,PDF文件更加專業也更適合傳輸,常用於正式報告、簡歷、合同等場合。項目中如果有使用Java將TXT文本文件轉為PDF文件的需求,可以查看本文中介紹的免費實現方法。 免費Java PDF庫 本文介紹的方法需要用到Free Spire.PDF for Java,該免費庫支持多種操作、轉 ...
  • 指針和引用 當我們需要在程式中傳遞變數的地址時,可以使用指針或引用。它們都可以用來間接訪問變數,但它們之間有一些重要的區別。 指針是一個變數,它存儲另一個變數的地址。通過指針,我們可以訪問存儲在該地址中的變數。指針可以被重新分配,可以指向不同的變數,也可以為NULL。指針使用*運算符來訪問存儲在地址 ...
  • 即使再小再簡單的需求,作為研發開發完畢之後,我們可以直接上線麽?其實很多時候事故往往就是由於“不以為意”發生的。事故的發生往往也遵循“墨菲定律”,這就要求我們更要敬畏線上,再小的需求點都需要經過嚴格的測試驗證才能上線。 ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 一、是什麼 許可權是對特定資源的訪問許可,所謂許可權控制,也就是確保用戶只能訪問到被分配的資源 而前端許可權歸根結底是請求的發起權,請求的發起可能有下麵兩種形式觸發 頁面載入觸發 頁面上的按鈕點擊觸發 總的來說,所有的請求發起都觸發自前端路由或 ...