2016年證監會《證券公司全面風險管理規範》提出建立健全數據治理和質量控制機制。

2018年證監會發佈《證券數據治理操作指引（征求意見稿）》及《證券期貨業數據分類分級指引》。同年，國家工信部發佈DCMM數據管理能力成熟度評估模型，提煉組織數據管理的八大過程域，將數據能力成熟度劃分5個發展等級，幫助進行評價。

2022年，《證券期貨業科技發展“十四五”規劃》《金融標準化“十四五”發展規劃》的相繼發佈，以夯實證券期貨業通用基礎標準體系，促進證券期貨業數字化轉型與標準化的深度融合，為證券期貨業高質量發展提供更多助力。標準化對數字化轉型的引領和推動作用日益顯現。

但許多證券機構在推進數據治理的過程中，仍然存在數據治理驅動力不足、缺少數據治理體系規劃、數據認責體系不完善、數據質量難提升等諸多問題，數據治理亟須快速提升。

為充分發揮數據的資產價值，通過梳理證券期貨行業監管大數據治理的需求與特殊性，對證券期貨行業的大數據治理體系搭建，包括構建證券期貨行業數據模型、搭建公共數據平臺、建設數據服務體系以及構建組織保障體系等方面。

證券機構數據治理解決方案

基於DataOps體繫數據治理新範式

DataOps從環境管理開始，每個環境下都可以支持任務的編排、監控和自動化測試。每次進行跨環境的發佈時，記錄每次發佈代碼的版本，進行後期排查問題。在發佈上線至生產後，袋鼠雲的數據中台產品可將券商用戶上述各個環節串聯起來，券商用戶從開發階段可以一鍵發佈至測試環境，經測試環境驗證後，觀察任務實例、數據產出的運行情況，運行無誤後可發佈至生產環境。

如下圖所示，資訊、交易、風控等主題的數據從左側的源系統流入，中間環節是各類數據處理的工具，例如數據倉庫或數據集市、AI分析等，數據經過清洗、加工、彙總統計、數據治理等過程，最終通過BI、定製化報表、API等工具服務於投研、營銷、經營分析等各類需求方。

基於SDOM模型高效數倉搭建與治理

通過梳理市場證券、基金、期貨、債券、回購等主要交易行為，形成行業交易模式；通過逆向梳理即將上線和線上化的信息披露項目，形成行業信息披露模式。根據證券行業相關法律法規、業務規則、制度及流程等，提取市場全業務流程和數據共性，形成具有通用性、穩定性和可擴展性的圍繞客戶、公司、監管、產品、交易等數據模型。

基於OLAP的資訊數據校驗

資訊數據作為券商主要數據源之一，應用廣泛，涉及投資交易、資產管理、經紀與財富管理、資產托管等各個領域，往往會將資訊數據應用到資管投研一體化、投資交易、資產托管、融資融券等系統。同時由於業務的需求，往往需要從市面上採購多種異構數據源介面，例如Wind、聚源、財聯、通聯、港澳資訊等，有的券商甚至採購多達二三十種的資訊數據。

這些資訊面臨以下問題：一是數據質量參差不齊，數據問題難以及時發現，頻繁收到業務方的投訴：二是數據質量管理成本大，規則開發難度高：三是問題排查鏈路長，難以快速定位數據問題，缺乏全局統計視角：四是質量問題沒有經驗沉澱，類似問題頻繁發生。

對於各種資訊數據，進行跨源比對，在源頭進行落標、治標的工作。通過事前規則配置、事中規則校驗、事後分析報告的流程化方式，對數據的完整性、準確性、規範性、唯一性、一致性等方面進行多維度評估，保障券商數據質量。

基於數據模型的標簽數據治理

金融科技的快速發展，使得證券行業的載體與社交媒體、電子商務的融合越來越緊密，券商藉助數據戰略打破數據邊界，來構建更為全面的企業營銷全景視圖。面對客戶活動開發周期長，運營不精準，營銷效果缺乏及時追蹤、運行反饋不及時，通過袋鼠雲客戶數據洞察平臺，業務人員可透明化地使用標簽，將數據黑盒變成業務語言的白盒，輔助業務決策，驅動業務增長。使用場景包括網路金融部的營銷運營、異常交易監控及用戶生命周期管理等。

基於OneService理念打造數據服務市場

數據平臺將投研、資訊、投顧數據以服務化、介面化的方式提供數據使用方，屏蔽底層數據存儲、計算細節，簡化和加強數據的使用。可視化生成與註冊數據服務管理，快速構建數據共用服務，通過多種手段標準化管控服務，可完成從數據介面創建、發佈、申請/審批、調用的全生命周期管控，形成數據市場和數據服務管理平臺，提高數據開發與共用效率。

證券機構數據治理交付內容

數據平臺建設

數據平臺包含數據實時開發平臺和數據應用平臺，實現數據的“管、 治、用”。

一是構建大數據實時開發平臺，覆蓋從實時數據採集到實時數據開發全鏈路流程，並提供運維監控曲線和日誌功能。具體功能如下：

1）實時採集，具備基於日誌的實時數據採集和基於間隔輪詢的實時數據採集方式，具有通過採集資料庫的變化併進行還原的方式，將資料庫靜態的數據插入、更新、刪除的動作轉換為消息中間件的動態數據變化，或直接寫入到Hive進行數據落庫。

2）任務管理，平臺應支持對實時同步任務的統一管理，支持FlinkSQL和Flink API作業開發支持，支持環境參數配置，歷史版本管理等內容。

3）資源管理，平臺支持對實時開發過程中所使用的資源進行統一管理，支持用戶上傳本地jar資源，註冊自定義函數等操作，並可實現對資源進行多版本管理。

4）函數管理，平臺集成開發過程中的常用函數，同時平臺支持通過本地資源創建UDF、UDAF、UDTF函數，創建完成後用戶可通過函數名稱使用對應函數，也可以通過修改對應的資源文件，修改完成後重新提交任務即可實現在不修改代碼的情況下實現函數更新。

二是構建數據應用平臺，這裡主要為數據服務平臺，這是數據中臺中最頂層的組成部分，是數據能力對外提供的介面層，通過數據服務平臺賦能前端應用，是數據能力的出口。通過數據服務平臺的建設，對數據能力進行抽象封裝，系統實現以下目標：

1）封裝數據能力，對外提供RESTful介面。應用通過調用RESTful服務即可獲取數據內容，應用程式無需瞭解表結構、分庫分表等細節信息。

2）橫向擴展能力支持高併發和數據增長。通過增加存儲節點支持數據量的增長，通過增加服務處理節點支持高併發。

3）配置化創建數據服務。開發人員可以基於底層的資料庫，在管理界面配置SQL數據查詢語句、參數、資料庫連接、許可權等內容，即可創建發佈一個新的數據服務

數據服務平臺的建設，將帶來以下效益：

1）減少數據複製，降低成本。應用系統無需拷貝數據內容，通過服務調用獲取數據，從而降低數據存儲成本，特別是包含歷史數據查詢的應用場景。同時，降低備份、安全等管理成本。

2）提升應用開發效率。應用程式無需考慮大數據的分庫分表設計、無需瞭解底層的數據存儲細節，通過服務調用即可獲得返回結果。大大避免數據不一致的衝突。由於同樣數據無需管理多個副本，在數據發生變更時，無需複製更新，減少數據不一致的衝突。

數據應用實施

完成面向大數據平臺的數據血緣關係梳理。重構大數據平臺合約、賬戶資金、持倉、特殊證券場景數據模型，併進行落標實施。完成兩融客戶資產負債實時統計推送、財務憑證流水實時統計推送、原生Flink作業SQL數倉化改造。

銀行機構數據治理建設成果

海量業務數據匯聚，構建金融級數據平臺

大數據引擎+流批一體數據採集滿足證券公司業務系統的數據匯聚，對線上和線下業務數據進行採集匯聚，提供集中的大數據技術和存儲能力，保障實時多樣化數據採集、數據存儲、數據計算；提供強大的大數據平臺基礎，滿足現在和未來的數據採集、存儲和技術需求。

統一數據開發，降低大數據開發門檻

實時開發平臺滿足證券公司科技部門能統一在一個平臺上進行集中開發和對內外各種租戶數據加工，提供統一一體化數據開發平臺，滿足大數據、SQL、圖形化各種數據開發加工要求，降低開發工具的複雜度、數據開發成本，快速構建數據倉庫。

滿足監管報送，實現一體化數據服務

數據服務平臺，提供對內的統一數據服務和數據交換，滿足金融第三方機構的監管報送要求，證券公司提供標準化的數據報送服務出口，對外能滿足第三方監管報送的數據服務方式和數據使用要求。

數據分析場景服務

根據某證券公司應用需求，袋鼠雲為其設計了以下三種數據分析場景服務：

一是客戶辦理的兩融業務進行信用賬戶資產負債實時計算：

1）實時獲取櫃臺行情數據，並按照分鐘級進行行情聚合。

2）實時獲取客戶的股票持倉數據，並將客戶持倉數據按照狀態進行管理並動態更新，同時按照客戶持倉股票代碼和分鐘級行情進行關聯實時計算客戶總持倉資產。

3）實時獲取兩融客戶合約流數據，根據合約類型分類計算融資負債、融券負債。按照客戶融券合約股票代碼和分鐘級股票行情進行關聯，實時動態計算並更新客戶融券負債。

4）實時獲取客戶資金轉入數據，並更新客戶的總資金資產和可用資金。

5）實時獲取客戶的融券賣出獲得資金以及資金使用情況並動態更新客戶資產負債表。並計算持倉集中度、分組持倉市值、高風險證券持倉市值、跌破下限價證券持倉市值等指標。

6）通過多流關聯的方式整合持倉、合約、資金轉入、融券交易的數據最終輸出客戶資產負債表。

7）實時獲取客戶兩融授信申請、客戶徵信申請、客戶徵信審批等數據，實時監控客戶的授信申請額度、授信狀態、徵信審批狀態、審批額度等變化，推送到下游系統。

二是實時獲取財務憑證流水：關聯輔助核算維表（維表也存在日間變動的可能），根據財務指標計算規則，按照部門、科目維度計算財務指標日間變動數據並推送到下游。

三是原生FLink服務缺少監控，為增強運維監控工作，擬將以下數據遷移到實時平臺：

1）當日股基交易量、當日理財交易量

2）當日開戶數和開戶流水

3）可轉債提前贖回提醒

4）中證易簽私募回訪：生成回訪任務提醒、回訪任務成功提醒

《數棧產品白皮書》：https://www.dtstack.com/resources/1004?src=szsm

《數據治理行業實踐白皮書》下載地址：https://www.dtstack.com/resources/1001?src=szsm

想瞭解或咨詢更多有關袋鼠雲大數據產品、行業解決方案、客戶案例的朋友，瀏覽袋鼠雲官網：https://www.dtstack.com/?src=szbky

同時，歡迎對大數據開源項目有興趣的同學加入「袋鼠雲開源框架釘釘技術qun」，交流最新開源技術信息，qun號碼：30537511，項目地址：https://github.com/DTStack