這邊文章聊聊自己對數據治理開發實踐的一些思路，就是聊聊怎麼開始去做數據治理這件事情。說起數據治理，有時候雖然看了很多文章，看了很多的介紹，瞭解數據治理的理論，但是實際上需要我們去搞的時候，就會踩很多的坑。這裡記一下自己做數據治理的一些思路，做做筆記，也分享給需要的同學。 當然，想要做數據治理，想要學 ...
這邊文章聊聊自己對數據治理開發實踐的一些思路，就是聊聊怎麼開始去做數據治理這件事情。說起數據治理，有時候雖然看了很多文章，看了很多的介紹，瞭解數據治理的理論，但是實際上需要我們去搞的時候，就會踩很多的坑。這裡記一下自己做數據治理的一些思路，做做筆記，也分享給需要的同學。
當然，想要做數據治理，想要學習瞭解，一下數據治理的範圍，理論等，最好可以看看別人怎麼做的，瞭解數據治理可以參考：數據倉庫(11)什麼是大數據治理，數據治理的範圍是哪些。
那接下來就繼續說說數據治理的一些思路心得。
接到數據治理的任務？要怎麼做？
- 梳理目前數據集群，以及業務的總體情況
這個，其實沒有什麼好說，做事情之前，肯定是要先瞭解，我們要做的東西是怎麼樣的，評估可能會遇到的問題，這樣才能進一步做出來好的數據質量方案。
- 對數據治理進行分類
瞭解了我們面對的數據集群之後，就要瞭解對我們需要治理的方向，進行分類了，這個對我們後續的方案設計和組件的選取、改造會有很大的影響，不一樣的分類，我們要解決問題的範圍，是不一樣的。
那要怎麼分類？首先是大的方向。
- 主數據管理
- 元數據管理
- 數據標準
- 數據質量管理
- 數據安全管理
- 數據計算管理
- 數據存儲管理
大的方向確定了，當其實還是太大了，還是需要進一步的進行切割。
像是數據質量管理，可以進一步切分為
1 唯一性校驗：不存在無意義的重覆數據
2 完整性校驗：數據完整且連續
3 一致性校驗：數據在多數據源中意義一致
4 有效性校驗：這裡主要指數據在分析的時間點是有效，而非過期或失效數據
5 準確性校驗：數據合理、準確，並符合數據類型的標準
元數據管理，要劃分為技術元數據和業務元數據等，具體的劃分粒度，應該需要到具體的，可實現的，不容易混淆，以及偏於以後數據的管理和使用。畢竟這個東西後續要給開發，給數據bi等人使用的。當然，我們可能不能已下載就劃分好一個最好的分類，我們應該迴圈迭代，做出一個更加符合實際出來。
數據管理這個，如果說技術能力，開發人力有限，那其實往往更加簡單的方式更好，也便於推廣，應該說一個可用的方案好過於一個全面，但用起來不方便的方案。
- 針對某個類別的數據，進行具體設計，開發，併進一步成規範
上面，我們已經大概梳理好了我們數據治理的範圍和分類，進一步的，我們就需要落地了。這個時候，我們就要進一步的針對，我們的劃分的問題，提出，我們的方案，並實現他。
如果，上面說的數據質量管理中的準確性校驗，這個時候，我們就面臨了一個問題，怎麼樣的數據，符合數據合理、準確，並符合數據類型的標準這樣的數據規範？我們會怎麼去驗證這個東西呢？正常情況下，開發人員是怎麼去驗證這個東西的？
所以，這個時候，我們就需要抽象出這些具體的操作，拼通過合適的方案實現他。
如果，準確性校驗，開發人員一般是通過寫sql，通過一定的數據規則判斷的，比如數據的波動，數據值的範圍等。那麼我們做這個的時候，是不是就可以做這樣的一個系統，可以配置sql，或者一些比較通過的邏輯，定時比對數據，得到我們的一個結果，實現這樣的一個功能？當然這個肯定不是最好的方案，但是一個可用的方案好過於一個全面，但用起來不方便的方案。然後不停的迭代優化，完善。
當然，這個時候也要放過來思考我們上面的劃分是不是，合理，比如數據質量管理，是不是可以使用同一個思路去做？爭取事半功倍。
- 執行規範
做好上面的事情，接下來，就是考驗執行了的時候了，任何方案在，最終如果不能很好的執行，那就是事倍功半。
啰里啰唆，寫了這一點點心得，邏輯可能不是很通暢，希望可以給到各個在數據治理掙扎的同學，一點思路，這個也是我的個人筆記，後續有新的想法，再更新。
本文來自博客園，作者：張飛的豬，轉載請註明原文鏈接：https://www.cnblogs.com/the-pig-of-zf/p/16259912.html
