某大型央企是首批全國供應鏈創新與應用示範企業，在“十四五”規劃期內以聚焦供應鏈管理核心主業作為主要戰略發展方向。供應鏈運營管理以大宗商品貿易為主，其交易往往具有交易量巨大、交易環節複雜、風險交易難識別、風險客商難管控等痛點。 隨著集團數字化轉型不斷深化，數據應用方面的需求不斷擴展。但集團缺乏統一的大 ...
某大型央企是首批全國供應鏈創新與應用示範企業，在“十四五”規劃期內以聚焦供應鏈管理核心主業作為主要戰略發展方向。供應鏈運營管理以大宗商品貿易為主，其交易往往具有交易量巨大、交易環節複雜、風險交易難識別、風險客商難管控等痛點。
隨著集團數字化轉型不斷深化，數據應用方面的需求不斷擴展。但集團缺乏統一的大數據資產管理平臺，導致在數據應用方面，出現數據價值不凸顯、數據標準不統一、數據質量不可控、數據共用不暢通等問題。
在此背景下，該集團引入袋鼠雲數據治理團隊，立足於打造全集團統一，能滿足覆蓋運管、風控、業務全過程數字化經營管理及分析決策的統一數據資產平臺。對集團現有存量數據進行數據治理及挖掘，搭建數據管理體系，對增量數據進行有效管理和應用。通過梳理目前集團所有存量數據，提煉運營指標及管理指標，科學化管理公司數據資產和挖掘數據價值。
01 圍繞“數據治理、數據服務、數據應用”的數據治理方案
袋鼠雲根據集團提出的數據治理需求，結合內部現有數據開發平臺，以業務應用場景為導向，形成集團統一的數據治理方案。項目以數據治理、數據服務、數據應用三大方向展開實施，其中數據應用以聚焦供應鏈運營管理業務為核心，數據服務以滿足集團下屬各子公司數據需求為主，數據治理以統一集團數據歸集方式、數據質量標準、元數據維護標準、數據建模標準為目標進行建設。
其中數據治理設計的步驟為：確定當前項目的目標和範圍，設計本輪數據治理的模式、架構和方法。以集團當前提出的數據需求場景出發，針對場景數據進行數據治理，主要包括以下幾個步驟
1、架構設計
技術架構上，從場景需求出發，結合當前企業組織架構及數據許可權出發，將數據中台設計為多項目空間加經典ODS、DWD、DWS、ADS四層結構，其中集團為主項目空間，其餘業務供應鏈平臺為子項目空間。另外，根據前期調研結果，結合當前集團業務範圍，將業務根據業務主體進行了數據域的設計與劃分，其中重點建設數據域為：
1）客商域：企業所服務的所有客戶及供應商；
2）商品域：企業自營或代理商品，SKU；
3）交易域：客戶與企業發生的所有交易行為，包括交易合同，訂單，採購等；
4）風險域：企業發生訴訟，處罰等風險數據；
5）倉儲物流域：所有倉庫出入庫，在途等信息；
6）公共域：系統碼值，參數信息，組織架構，人員以及標準化映射信息。
通過分層與分域的設計，將集團原本傳統數據架構轉變為新數據架構，統一源端數據，建設公共事實層，建設服務層最後滿足各個不同需求，有效解決傳統數據架構存在的數據孤立，事實重覆建設，資產盤點困難等問題，更適應當前集團發展階段訴求。
2、數據統一歸集
當前集團源端數據大體分為三類：第一種是傳統業務數據，包含SAP系統、MDM系統、CRM系統、雲鏈、高達、南北、OA等系統；第二種是第三方數據，包含船訊網、啟信寶、行情數據、價格數據等；第三種是其他手工填報數據。
其中傳統業務數據存在數據源多，數據量級分佈不均，部分系統只能取得界面全量數據或為高度彙總報表數據等問題，使用數棧底層數據同步工具FlinkX將不同數據接入數據中臺中。
第三方數據使用PySpark腳本任務，通過調取特定的API服務介面，完成數據的採集及簡單清洗，接入數據中台。
手工填報數據通過完成填報報表的初步設計後，迴流手工填報平臺（當前使用飯軟），進行定期同步、定期填報、定期迴流採集的形式來完成數據的收集。
3、數據集中處理及標準設計
從架構設計出發，對已接入的源端數據，進行明細事實層的建模設計，進行指標體系的統計和收集。
明細事實層的建模設計秉持維度建模理念，根據不同的主題域，將ODS層數據進行特定範圍的清洗，處理，加工後形成可復用性強的描述某一顆粒度下，某一業務行為的各項信息，縱向可以進行上鑽下鑽，橫向可以對比。
針對指標層的加工處理，在引入數據中台之前，數據計算邏輯、指標口徑都存放在SAP系統的代碼中，無法進行有效復用。為瞭解決這一問題，根據指標體系設計方法論，統一定義指標體系的各信息（包含指標ID、指標名稱、指標主題、業務口徑、維度、修飾詞、計算方式、計算頻率、時間周期、業務對接人及開發負責人），在接下來企業的數據應用過程中，完成數據指標口徑的收口和統一。
4、數據應用場景
數據應用場景以集團供應鏈運營管理為核心，分別對運營管理、物流管理、信用管理數據進行統一歸集，按照業務指標邏輯進行數據處理開發，滿足業務人員數據報表填報和數據統計分析應用場景。
運營管理場景：通過重新梳理SAP客戶逾期、客戶賒銷、現貨敞口庫存等業務報表數據邏輯為基礎，結合大數據平臺從SAP底表取數能力，實現風險周報填報、簽約情況分析、重大事項填報場景建設，有效減輕業務人員每周報表加工填報的工作壓力，同時提高業務數據線上留存能力。
物流管理場景：以物流合同、物流供應商、供應商庫點、庫點庫存、庫點盤點記錄數據為基礎，進行統一匯聚處理，按照業務指標口徑進行數據開發，實現物流合同看板、物流供應商看板、庫點盤點密度看板、庫存看板四大看板，為業務人員發現潛在風險和日常業務數據便捷查詢提供有利條件。
信用管理場景：以客商授信額度、客商逾期、行業產品加工利潤數據為核心，結合業務邏輯指標進行數據開發，實現授信額度跟蹤、逾期數據分析、行業加工利潤填報場景建設，為業務人員控制客商授信額度、發現客商潛在風險、明確當前各行業產品盈利情況提供有效支撐。
02 夯實數字基座，有效支撐數據應用
截至目前，集團數據中台共構建700餘張表，數據執行任務總量500餘個，其中ODS數據源始層同步任務200多個、DWD數據明細層清洗加工任務40多個、DWS數據彙總層彙總任務60多個、DIM數據維度層維度同步任務20多個、ADS數據應用層業務場景數據推送任務100多個。
滿足集團供應鏈運管部物流倉儲管理、客商信用管理、價格管理、運營管理等部門數據分析需求，實施搭建簽約銷售/採購看板、物流倉儲看板、授信額度跟蹤看板、逾期數據分析看板、運管風險逾期周報填報等業務場景。
《數棧產品白皮書》下載地址：https://www.dtstack.com/resources/1004?src=szsm
《數據治理行業實踐白皮書》下載地址：https://www.dtstack.com/resources/1001?src=szsm
想瞭解或咨詢更多有關大數據產品、行業解決方案、客戶案例的朋友，瀏覽袋鼠雲官網：https://www.dtstack.com/?src=szbky
