在當今這個數據驅動的時代，各行各業都正經歷著前所未有的變革。伴隨技術的飛速發展，數據倉庫作為企業數據管理與分析的核心，如何更好地發揮作用，助力企業保持業務的敏捷性與成本效益，成為大家關心的焦點問題。本文將通過具體案例分析，展現基於離線開發的數據倉庫轉型落地中的關鍵步驟與實施策略。 一、業務增長迅速， ...
在當今這個數據驅動的時代，各行各業都正經歷著前所未有的變革。伴隨技術的飛速發展，數據倉庫作為企業數據管理與分析的核心，如何更好地發揮作用，助力企業保持業務的敏捷性與成本效益，成為大家關心的焦點問題。本文將通過具體案例分析，展現基於離線開發的數據倉庫轉型落地中的關鍵步驟與實施策略。
一、業務增長迅速，原數倉架構難以為繼
客戶A是一家中美合資的泛金融行業公司，成立時間短但業務增長十分迅速。數倉團隊規模不到10個人，勉強能支撐起業務需求，在面對越來越高要求的業務數據供給及公司內部降本增效的趨勢下，團隊也在不斷探索新型的數倉平臺模式，目前數倉架構如下圖：
客戶底座集群採購了CDP7.1.6、數據集成採用Sqoop，將業務庫的數據同步至HDFS後，通過Hive SQL做數據開發。另有少量的Shell、Python任務，使用Oozie進行離線任務調度。
二、當前數據平臺問題日漸凸顯
隨著業務體量的逐漸增長，當前數據平臺架構的問題也逐漸凸顯：
1. 運維成本高：Sqoop和Oozie都是開源工具，集成性一般，組件的升級和異常排查需要耗費較多人力成本。
** 2. 平臺上手門檻高**：除數據開發外，很多業務方也希望直接在平臺進行臨時取數，但因上手門檻高，業務方一直沒用起來，導致大量簡單的需求仍堆積到數據開發側，並且得不到快速響應。
3. 現有開發模式無法滿足數據開發合規要求：目前數據開發環境僅有一套生產環境，對任務和數據做的任何變更都直接影響線上業務，操作高風險，多次因人為失誤導致線上故障。
4. 任務依賴配置繁瑣且易出錯：目前幾乎所有的任務每個工作日4批次調度，任務與任務之間的依賴通過HDFS信號文件通知實現，經常出現信號文件缺失或產出超時導致的下游任務失敗。
5. 開發人員水平不一，代碼質量難監控：運維人員人工巡檢時經常看到部分任務運行時間長占用大量資源，大多數情況下是SQL代碼質量問題導致，然而目前無法在事前進行規範約束和監控。另外因數據集成小時任務多，大部分數據開發沒有調參意識，造成小文件大量堆積。
6.數據產出延遲問題排查困難：每天早上9點的數據產出經常出現延遲，因依賴鏈路長，難以排查數據延遲源頭，下游反饋多次影響業務。
7. 介面沒有統一管控：API重覆開發、越權調用問題頻發，管理不到位且管理困難。
三、重塑數據開發平臺，提升效率和滿意率
袋鼠雲數棧團隊針對客戶A的以上問題設計了新的產品架構，幫助客戶重新搭建數據開發平臺，有效解決使用痛點，提升數據開發人員的工作效率和業務人員滿意率。
針對客戶上述問題，數棧結合已有功能給出的解題如下：
1. 運維成本大大降低
數棧的數據集成、開發與調度均為自研，所有模塊天然集成，且有專門的運維與技術支持團隊服務，客戶的運維成本幾乎降到0。
2. 平臺上手門檻降低，開發模式滿足數據開發合規要求
用數棧搭建的開發平臺設計了5套環境（統一開啟集群級Kerberos認證），平臺登錄對接客戶的LDAP賬號單點登陸，讓數據開發和業務方都可直接使用。
雖然相比原始的開發平臺，數棧在操作門檻和體驗上均有了質的提升，但為了讓更多業務方直接參与到數據開發過程中來，我們把數棧單獨劃分了一套UDS環境，實現讓業務方在業務系統中直接寫SQL，然後業務系統通過調用SDK把SQL提交到數棧的UDS環境上運行並返回結果，由CDP自帶的Ranger對任務提交的LDAP用戶進行數據許可權管控及校驗。在Kerberos開啟的情況下LDAP身份認證會弱化，因此數棧開發了租戶級Hadoop代理的功能，通過代理能定位到原始提交LDAP賬號，實現用戶認證還原。
針對數據開發用戶，開發環境分為了SIT、UAT、pre-PROD、PROD 4套環境，其中pre-PROD、PROD環境與SIT、UAT網路隔離以保證生產數據的安全。數據開發在SIT環境進行離線任務開發，自測通過後將任務一鍵發佈至UAT環境由測試人員做測試數據驗證，通過後由運維將任務及相關內容打包併發起發佈申請流程，經管理員審批通過後自動由jenkins投產至預發環境pre-PROD進行生產數據驗證，等到生產環境更新視窗期再由管理員發佈至生產環境，因生產環境嚴格不允許有個人用戶操作，為了保障任務發佈後可正常運行，在發佈至生產環境時會自動將任務和責任人統一替換為系統用戶。
3. 任務依賴配置簡化
使用數棧進行任務依賴配置時無須關心信號文件的創建和狀態，每個任務僅需配置其直接上游，當上游任務延遲或失敗時下游會在有效期範圍內進行等待，上游修複後下游即能自動運行。數棧的調度周期可通過Cron表達式或者上傳自定義調度日曆的方式配置，針對客戶“工作日每天6點、8點、16點、18點”或者更不規律的周期調度場景，可用一個excel文件一次性上傳一年的調度日曆在批量任務中使用。
4. 上線代碼檢查功能，提升代碼質量
針對開發人員代碼規範性意識不統一問題，數據資產模塊上線了代碼檢查功能，平臺內置了一些代碼檢查規則例如禁止ddl操作、禁用Select * 等（此外也可按企業內部個性化的代碼要求開發自定義檢查規則），在離線項目中可由管理員選擇目標任務開啟代碼檢查，開啟後，數據開發在進行任務運行或提交前將由平臺執行代碼掃描，若掃描結果觸發了代碼檢查規則中的強規則/弱規則，則分別給出阻止提交運行/提示的處理；
客戶目前的Hive SQL任務較多，在代碼檢查規則監控的基礎上我們增加了Hive SQL任務運行資源監控的功能，可在任務運行過程中查看詳情監控cpu和memory使用情況，管理員也可在監控告警中配置資源使用上限告警，當任務使用資源過大時及時通知相關人員處理。
針對小文件問題，數棧的運維管家EasyManager可開啟HDFS文件數量監控，另外數據資產支持小文件治理功能，可選擇小文件突出的schema進行周期或臨時檢查和治理（即小文件合併），雙重保障避免因小文件問題影響集群性能。
5. 多批次監控告警，讓問題排查更簡單
數據產出延遲告警問題可以通過基線告警解決，但客戶大部分是一天4批次的小時任務，在單批次天任務基線監控的基礎上我們新增了多批次監控的功能，對於納入同一多批次監控的任務每天生成多個基線實例，實現一條基線一次配置後每個批次分別監控分別告警的效果。
6. API統一開發和管理
通過數棧的數據服務進行API的統一開發和管理，可實現跨項目的API市場統一查看和調用許可權申請，減少重覆開發，用戶在調用API時可按Token及AK/SK多種認證方式進行許可權校驗，調用明細也會在平臺內完整記錄，充分保障調用安全；
以上數棧給出的解決方案與用戶體驗為後續客戶的數據平臺深度建設打下了良好的基礎，得到了客戶的好評，未來袋鼠雲將繼續全鏈路打磨產品，主動為客戶提供更大的價值。
《行業指標體系白皮書》下載地址：https://www.dtstack.com/resources/1057?src=szsm
《數棧產品白皮書》下載地址：https://www.dtstack.com/resources/1004?src=szsm
《數據治理行業實踐白皮書》下載地址：https://www.dtstack.com/resources/1001?src=szsm
想瞭解或咨詢更多有關大數據產品、行業解決方案、客戶案例的朋友，瀏覽袋鼠雲官網：https://www.dtstack.com/?src=szbky
