基金公司數據治理實踐,打造“點線面體”的數據治理體系

来源:https://www.cnblogs.com/DTinsight/archive/2023/08/11/17622572.html
-Advertisement-
Play Games

在數字經濟時代下,數據驅動業務創新發展已經成為企業的主要選擇,基金行業機構也在積極推進數字化轉型,但機遇與挑戰並存。數據要轉化為[數據要素](https://www.dtstack.com/?src=szsm),需要系統體系化的數據能力建設作為催化劑。 基金行業也表現出一定的痛點,其中表現為數據安全 ...


在數字經濟時代下,數據驅動業務創新發展已經成為企業的主要選擇,基金行業機構也在積極推進數字化轉型,但機遇與挑戰並存。數據要轉化為數據要素,需要系統體系化的數據能力建設作為催化劑。

基金行業也表現出一定的痛點,其中表現為數據安全保護不夠到位,缺少數據脈絡,數據質量得不到保障等。同時由於行業內在進行系統建設時,對數據管理工作的重要性認識不足以及長年累月雜亂數據的堆積,導致數據治理工作推進艱難,致使在營銷端、分析端、監管報送端長期存在客戶重覆,資產異常等情況。

在公司“十四五”數字化發展規劃的指導下,基金公司堅持統籌推進、聚焦痛點,強化數據能力建設,在完善數據治理體系、搭建大數據技術、提升數據服務能力等方面持續發力,多措並舉逐步探索形成了符合基金自身特色的數據能力建設治理之路。

基金公司數據治理解決方案

圍繞監管規範打造基金行業數據治理體系

一是完善治理組織:建立完善的數據治理組織架構,落實組織在治理工作中的責任與職能,配套數據治理相關制度,推進數據治理工作落實。

二是打造資產體系:梳理全域業務數據明確各項屬性義,通過資產目錄形式分類管理,實現數據可見、可用、可管理,全面量化數據價值。

三是提升數據質量:根據金融監管相關規範,制定數據標準以及數據檢驗相關規範,通過數據標準化的形式提升數據質量,提高數據可用性。

四是加強數據安全:圍繞數據安全相關政策法規構建安全體系,充分考慮數據之間關聯關係,通過分級、加密等手段進行全鏈路安全管理

五是主數據統一:藉助基金全要素規範整理公司級主數據體系,確保基金基礎業務信息全範圍內保持一致性、準確性、完整性、可控性。

file

基於資管全要素規範實現基金主數據管理

主數據是用來描述基金核心業務實體的數據,主數據管理要做的就是從公司的多個業務系統中整合最核心的、最需要共用的數據(主數據),集中進行數據的清洗和豐富,並且以服務的方式把統一的、完整的、準確的、具有權威性的主數據分發給全企業範圍內需要使用這些數據的操作型應用和分析型應用,包括各個業務系統、業務流程和決策支持系統等。

主數據的完整性、準確性決定了企業數據共用、直通與應用的能力,基金行業的主數據主體上分為:客戶主數據、證券主數據、產品主數據。不同來源客戶信息整合的優先順序是客戶主數據治理的重點;選擇數據質量最優的服務商為主,結合其他數據源進行交叉驗證是證券主數據的治理重點;確定各產品要素屬主,誰生產數據誰負責質量,屬主制定質量標準、系統嚴控準入是產品主數據的治理重點。

證監會、人行、基金業協會三大報送主體的監管報送數據具備維度多、標準清晰、數據質量要求高等特點。通過構建相關主數據,為反洗錢、徵信、利率等多監管要求提供了一道堅強的防線。

file

基於元數據打造企業級數據資產中心

接入基金公司的數據倉庫、各個業務系統庫,採集庫表元數據,獲取數據使用的元數據信息;然後在採集的基礎上,進行二次規範維護,補充缺失的業務元數據,彙總後提供元數據查詢分析服務

制定基金公司數據標準,通過標準的映射比對,發現並修改存量不符合標準的數據。再通過數據模型的規範化建表和建模,讓增量數據落地即是標準的。通過自動解析的數據血緣關係,可以輔助技術與業務人員發現數據流轉關係、數據影響鏈路,合理訂閱並維護用戶關註的數據。

file

圍繞基金業務構建全維度畫像體系

近些年,隨著投資者對專業資產管理的需求日趨旺盛,資產管理行業的競爭也在加劇,這迫使基金公司著重於投資者教育和陪伴工作。基金公司的數字化營銷能力也逐漸成為企業關鍵競爭力,但建設過程主要存在以下難點:

一是基礎弱,由於公募基金存量客戶龐大,而公募基金銷售長期依托代銷渠道和互聯網渠道,客戶數據分散、多端身份不統一,導致基金公司對自身客戶的理解能力比較有限,缺少對投資者需求變化和行為變化有效研究手段。

二是難匹配,透過大量問卷和數據分析發現,不同人群、不同需求的投資者,對產品要求和收益目標等有明顯的差異,操作行為也有明顯的不同。這就要求基金公司具備有效客戶分層識別能力,產品推薦的精細化能力,投教內容差異化能力,進而提升投資者投資體驗。但由於營銷系統的閉環能力較弱,很難瞭解基金產品是否滿足了用戶的需求,改善了投資體驗。

三是應用淺,在指標不科學、無體系,數據分析深度不夠,缺乏業務洞察和建議等問題面前,很多企業止步在有數據和看數據階段,並未將數據分析與營銷業務結合起來,提出有意義的洞察和建議。

通過袋鼠雲客戶數據洞察平臺,建立涉及客戶、產品、渠道的三層標簽體系,支持銷售、服務、合規等不同角度的需求,支持便捷的標簽開發、運算、展示和輸出等全生命周期管理,持續輸出數據價值,支持客戶個體及群組畫像、客戶群圈選和對比,支持快速推廣、智能營銷、精準服務,細粒度的標簽許可權管理和高效穩定的標簽展示和輸出,確保全全且高效的業務開展,積木式的組件標簽搭建和復用,可快速支持例行、臨時或專題性的數據分析

file

基金公司數據治理建設成果

數據管理方面

考慮到數據治理是一個公司數據知識、文化沉澱的長期過程,經過綜合對比評估之後,基金公司結合自身組織架構及數據情況,以信息技術治理委員會作為數據治理的領導組織,以自有人員組成的數據治理小組為數據治理及落地平臺建設的推進組織,推進數據治理相關制度發佈和治理落地。

在制度上,先後發佈了《數據管理辦法》《數據分類分級指引原則》等制度規範。在平臺落地建設上,以數字資產管理平臺作為數據治理的落地支撐平臺,實現了數據標準管理、主數據管理、元數據管理、數據變更管理、數字資產盤點、數據質量管理、數據分類分級、數據血緣分析等管理功能,將數據治理與開發設計過程緊密結合,形成數據模型變更設計、評審、事後審計、定期量化評分的管理閉環,以數據治理為抓手,保障數據完整性、準確性、一致性,從而形成數據質量提升的長效機制。

公司按照“點線面體”的方法推進數據治理落地,從數據源頭系統開始全面治理,撇棄“頭痛醫頭、腳痛醫腳”臨時解決方案。點是對點狀的自研業務系統逐個治理,線是推進系統間數據及流程互通,面是結合大平臺化系統建設思路,以業務支撐基本面全局視角去完善治理體系,體是最終構建起數據共用、互聯的高質量數據體系。

當前數字資產管理平臺已覆蓋40個系統,且對於新增或重構的系統已實現數據標準覆蓋率95%以上。

中台能力方面

中台能力是公司內部共用資源所能提供業務、技術、數據能力水平的綜合體現。基金公司業務相對比較穩定,構建穩定中台能力契合基金公司的需求,加強中台共用能力建設,沉澱業務及服務能力,將是未來的核心競爭力。

公司將業務能力、技術能力、數據能力以技術視角映射成了業務中台、技術中台、數據中台3大中台技術能力,通過三者緊密協同合作,對業務運營進行全面賦能。

一是業務中台:當前為百萬+客戶提供基金銷售服務。為提升系統交付速度和交付質量、更好地為客戶提供精準貼心服務,公司對數據治理平臺承載的所有服務進行梳理、抽象,採用容器 + 微服務技術架構,根據業務域進行服務細化、拆分,逐步沉澱營銷服務、投顧服務等中台服務能力,減少系統重覆功能建設和維護帶來的資源浪費。同時,在獲得客戶授權前提下,歷史交易行為、個人資產分佈情況、投資風險偏好等信息,運用技術中台提供的大數據AI演算法能力,為不同偏好及投資風格的客戶提供歷史盈虧分析,交易行為診斷,定投策略建議等個性化服務。

採用微服務 + 微前端的技術架構,對TA、估值、資金清算等中後臺運營支撐系統中的運營管理服務進行歸集整合,實現登記結算部門日常工作(如:任務分配、團隊協作、分紅事項跟進等)集中式、標準化統一管理,通過沉澱的運營管理類數據資產,結合運營管理大屏可視化展示,讓運營管理工作變得更加直觀、高效,以數據驅動運營提效,有效規避日常運營工作中的風險及問題。

二是技術中台:為統一開發技術棧,避免各系統建設過程中在公共技術工具上重覆“造輪子”,部門成立了技術中台小組,專門負責公共服務能力沉澱及建設、新技術引入、架構評審等工作,通過標準化通用能力的輸出,為各業務系統建設賦能,其中主要包括應用技術賦能和AI演算法賦能。

當前技術中台已發佈消息投遞服務、統一用印服務、統一數據網關、服務註冊中心、工作流引擎等公共技術服務,以及NLP、機器學習相關演算法、智能機器人等AI智能服務,這些服務已被廣泛應用於產品管理系統、投研一體化、智能客服、協同辦公平臺等多個下游業務系統中。

三是數據中台:公司基於Hadoop技術生態體系,採用湖倉一體的數據技術架構,構建了公司級的數據湖和數據倉庫,根據數據治理制定的相關數據標準規範,按主題對業務數據進行統一清洗、整合。同時,為了保障數據出口的一致性,提升數據存儲、消費安全,公司基於數倉清洗整合後的標準數據,採用微服務架構,實現了數據服務介面開發、測試、驗證、發佈、授權、下線全生命周期線上管理,以線上數據服務介面方式為多種數據消費場景進行數據賦能。

此外,藉助數據治理對各類指標進行梳理定標,明確指標的定義及統計口徑,構建全局的指標體系,統一數據出口標準,實現“數出一孔”,避免不同數據消費場景“數據打架”的問題。

《數棧產品白皮書》:https://www.dtstack.com/resources/1004?src=szsm

《數據治理行業實踐白皮書》下載地址:https://www.dtstack.com/resources/1001?src=szsm

想瞭解或咨詢更多有關袋鼠雲大數據產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠雲官網:https://www.dtstack.com/?src=szbky

同時,歡迎對大數據開源項目有興趣的同學加入「袋鼠雲開源框架釘釘技術qun」,交流最新開源技術信息,qun號碼:30537511,項目地址:https://github.com/DTStack


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前面講了Centos如何安裝telnet遠程,這次分享Ubuntu系統如何安裝遠程telnet,作為咱們運維備用遠程途徑 一、下載和安裝 查看系統版本:Ubuntu 22.04.1 LTS 線上安裝: apt install telnet telnetd openbsd-inetd 離線安裝: 離線 ...
  • # Docker概述 ## Docker為何要出現 由於傳統的方式,不能打包環境,而環境的配置也及其繁瑣,及其耗費時間,而docker就可以非常有效的解決這個問題 **docker的思想來源於集裝箱,docker的核心思想!打包裝箱,也就是說每個箱子都是隔開的,docker通過這種機制可以吧伺服器利 ...
  • 提要:本系列文章主要參考`MIT 6.828課程`以及兩本書籍`《深入理解Linux內核》` `《深入Linux內核架構》`對Linux內核內容進行總結。 記憶體管理的實現覆蓋了多個領域: 1. 記憶體中的物理記憶體頁的管理 2. 分配大塊記憶體的伙伴系統 3. 分配較小記憶體的slab、slub、slob分 ...
  • 屏蔽驅動列印信息 root許可權:echo "1 4 1 7" > /proc/sys/kernel/printk sudo sh -c "sudo echo "1 4 1 7" > /proc/sys/kernel/printk 實現觸摸屏校驗 第一次進入Linux系統時,會出現觸摸校驗提示,按提示 ...
  • ![](https://img2023.cnblogs.com/blog/3076680/202308/3076680-20230811232544082-164229613.png) # 1. 基本信息 SQL經典實例 SQL Cookbook [[美]安東尼·莫利納羅(Anthony Molin ...
  • ![file](https://img2023.cnblogs.com/other/3195851/202308/3195851-20230811181235894-1707158282.png) # 個人簡介 * 王海林 白鯨開源研發工程師 * GitHub ID:hailin0 * 做過性能監控 ...
  • GaussDB(DWS)支持多種相容模式,為了相容目標資料庫,各模式之間或多或少存在一些行為差異。這裡分享一個mysql相容模式下的表達式函數因不同寫法引發的結果差異案例。 ...
  • GaussDB(for Redis)提供了完備的大Key解決方案,支持大Key線上診斷、監控預警、承載力強等能力,彌補了開源Redis在大key問題上的不足,讓DBA如虎添翼。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...