名單服務是風控架構中重要子域，對風險決策的性能、用戶體驗、成本管控、風險治理沉澱都有重要影響，本文將詳細介紹名單服務設計思路和實現。 ...
引言
名單服務是風控架構中重要子域，對風險決策的性能、用戶體驗、成本管控、風險治理沉澱都有重要影響，本文將詳細介紹名單服務設計思路和實現。
背景
什麼是名單？
名單服務通常有幾個部分組成：
風險類型
- 黑名單：絕對會被拒絕的用戶。大部分是歷史數據清洗出來作弊或者破壞業務的用戶，這部分用戶對企業無價值且放之進入會破壞生態平衡
- 灰名單：灰名單上的客戶需要進一步審核。這部分用戶可能存在某些風險，但是沒有明確的證據表明他們是“黑”的
- 白名單：這部分客戶是正常用戶，是企業數分人員基於歷史表現清洗出來的合規高價值用戶，可以直接放行
名單維度
- 主鍵：手機號、用戶 ID、身份證號、IP、設備標識、wifi MAC 地址等等
- 業務域：全域、業務子域、細分領域等等，這邊需要字典服務來枚舉出需要管控的粒度和場景
時間維度
名單是有一定的生效期的，不同的行為會導致鎖定期不一樣，生效時間可以靈活設置
為什麼需要名單服務？
- 最易構建的決策能力：風控前期的構建是比較依賴名單決策的，策略數分人員通過歷史數據判定哪些是“壞用戶”，直接將其存儲到名單庫中，後續請求直接在第一道名單決策中踢出，而不需要執行後續策略在判定一次。策略相對名單來說是非常“重”的，且名單服務構建簡單便捷，省時省力。
- 性能考慮：名單判定一般是在決策流的第一道，試想，對企業服務來說，大部分用戶其實都是正常的，如果每個用戶的請求都過一遍策略，對成本是極大的浪費，同時對性能來說也是極大的挑戰。此時名單服務通過白黑名單，將大部分用戶直接決策出去，只對不明確的客戶和有風險的客戶來做決策，極大地減少了開銷。
設計實現
名單服務的特點如下：
- 名單數據來源：可以是實時產生、離線跑批生產、運營人員手動批量導入等等，形式多樣
- 性能足夠好：屬於決策流入口必過服務之一，即最大流量衝擊，需要經得起峰值壓力，RT 要足夠小
- 穩定性：高性能同時還需要高質量保證，如果名單服務出問題，後果不堪設想，流量全部流放到下游，可能會出現服務雪崩
- 質量保證：任何名單添加到名單庫中都需要重視，隨意的添加可能會給企業帶來難以想象的損失，所以得有完備的審核記錄及添加原因，最重要的是生效時間的設定
整體名單服務的數據流圖如下所示，重要節點會作明確說明：
實時鏈路名單查詢設計
考慮到名單有時效性及性能要求，且名單數據結構整體簡單（多維度，單個維度存儲內容小），選擇 Redis 存儲名單數據非常適合快速查詢，數據結構如下：
說明：
- 採用 Redis Hash 結構存儲數據
- 為何不用 TTL 來存儲過期時間？：一是
expire最大過期時間不能超過Integer.MAXVALUE不能滿足長時間的過期訴求；二來 Redis 本身定位是緩存，不是永久存儲，即數據是可丟失的，需要自己保證服務的高可用
依賴於 Redis 集群良好的性能，基本能滿足線上峰值高 QPS 查詢需求，且 RT 能很好的控制在 10 ms 以內。如上所說就是要保障高穩定性需求，如何保障名單數據的高可用是首要問題。
高可用設計
Redis 本身定位是緩存，不能永久保存數據，且集群癱瘓或者數據部分缺失應對業務影響較小（能及時恢復的情況下，運維保障集群的可用性），如下是高可用數據設計架構：
說明：
- T+1 Job 保證數據穩定：每天離線任務全量覆蓋，從關係資料庫 PG/MySQL 中抽數 push 到 Redis 中即可
- Redis 集群出問題：不管是老集群重啟還是更換到新集群，先用 RDB 恢複數據，保證線上可用，再立即執行離線任務做精確覆蓋（T 日的數據丟失需要立即覆蓋），考慮到讀寫同時進行可能會有問題，需要分集群切流
同時需要關註多線程問題，同一個維度，在同一時間可能存在批量更新情況，尤其是離線任務恢復時，歷史數據會存在對一個維度多次更新問題，不考慮多線程問題可能會導致數據被篡改。
數據安全審計
名單庫的風險點在於：隨意地添加名單可能導致“壞用戶”暢通無阻，“好用戶”無法在進入業務流程
名單的生產來源及定性原因不明確，線上在排查問題時也只能幹瞪眼，為了能回溯名單操作，需要做到如下幾點：
- 寫日誌：任何寫動作需要追加日誌，且需要做持久換存儲，方便做名單時序數據分析
- 黑名單 & 白名單需要審計：尤其是線上單獨添加這種，必須指明原因且要對操作負責
- 跑批任務審計：離線任務或者演算法推數等需要控量，否則在迭代更新過程中出現 BUG 問題，導致名單數據猛增，後果不堪設想
異動監控
監控重中之重。
能第一時間感知問題，監控的維度如下：
- 決策層面監控：灰、白、黑名單決策數量監控
- 元數據產出層面監控：任何名單猛增或猛跌都是需要去定性是否正常
- 拉黑踢白：沒有永久犯錯的人，也沒有永久的好人，名單之間的流動也需要關註
總結
名單服務在風控域中是最重要的子域之一，是風控流量的“網關”。名單庫對整個風控決策的穩定性，性能提升起到決定性影響。
同時名單服務也是“高危”的，如果使用不當，可能會給企業良好用戶帶來困擾，給那些“黑產”敞開門戶，需要做好數據審核及異動監控。
往期精彩
歡迎關註公眾號：咕咕雞技術專欄
個人技術博客：https://jifuwei.github.io/ >
若有收穫，就點個贊吧
