隨著企業數據規模的增長和業務多元化發展，海量數據實時、多維地靈活查詢變成業務常見訴求。同時多套資料庫系統成為常態，這既帶來了數據管理的複雜性，又加大了數據使用的難度，面對日益複雜的數據環境和嚴格的數據安全要求，需要解決多資料庫系統並存、數據孤島嚴重、許可權管理混亂和數據查詢提取困難等問題。與此同時，企業對數據安全管控的要求越來越高，不同角色和部門需要訪問的數據各異，如何精細控制資料庫許可權、防止數據泄露和誤操作成為關鍵挑戰。

建設背景

相較於日常查詢，在系統實施時通過建立索引、分區等技術來優化、提高查詢效率。Ad-Hoc查詢生成的方式很多，常見方式是將數倉中的DIM表和Fact表映射到語義層，分析師藉助語義層選擇表建立表間的關聯最終生成SQL語句，Ad-Hoc能力是分析師在使用時臨時生產的，系統無法預先優化這些查詢，即席查詢的位置在EDW中。在一個數據倉庫系統中，Ad-Hoc查詢使用的越多，對數倉的要求就越高。

以銀行、消費金融公司為例，存在業務查詢與統一Ad-Hoc需求，下設部門涵蓋產品研發、運營推廣、貸後管理、法務合規等多個業務領域。由此多類型資料庫實例共存下，在用戶體系整合、數據許可權管理、操作安全審計、SQL查詢語法等方面變得十分繁雜，急需一款能夠進行多資料庫接入、統一數據出口的平臺。

案例場景

隨著業務量的增長，為提升業務處理效率和風險管理水平，業務主要分為三個部門：風險管理部門、科技部門、金融市場部門，其中風險管理人員能夠熟練的使用SQL，但需要針對不同的業務改變SQL語法，經常會出現語法不相容的問題。金融市場人員較少使用SQL，需要以可視化拖拉拽的方式去拉取明細數據。科技部開發人員在操作資料庫時經常會出現誤刪除、修改核心數據，寫一些危險SQL對業務庫造成壓力，需要給使用人員設置DDL許可權以及代碼檢查來保證數據安全。

部門管理員統一在平臺內配置用戶的賬號信息以及數據源的JDBC鏈接信息，根據業務需要配置數據許可權和代碼校驗規則，完成基礎配置後風險管理人員即可在平臺內屏蔽掉下游的計算引擎用一種通用SQL語法取數，金融市場人員需要先根據業務配置常用的數據模型，後續進行可視化取數，excel數據整理。而開發人員只能夠在所配的許可權下對資料庫執行DML語句，如果有超出許可權的SQL需要發起審批，審批通過後才可以執行。

痛點分析

1、賬號存在安全風險

資料庫賬號往往由多名操作人員共用，運維人員的許可權有可能超出工作實際使用所需要的，很容易出現操作越權等行為，給數據安全造成威脅。

2、不同資料庫存在語法差異

不同類型的資料庫都有其獨特的SQL語法和規則，開發人員在編寫SQL查詢語句時，需要針對不同資料庫進行適配，增加了開發的工作量，並可能導致潛在的錯誤和性能問題。

3、業務多維查詢遇到問題

業務查詢常見鑽取、上捲、切片、切塊、行列變換，在業務查詢過程中，零售場景查詢單個PV或者查詢業務流水，數據讀取動則上百個G；查詢記憶體OOM，一直不夠用；夜間調度與數據同步，產品經理和分析師上班時間殺任務腳本。

4、審計線索不足，追溯困難

傳統工具無法記錄用戶及其行為數據，如果有數據操作異常的行為無法進行溯源和定責，可能導致數據的二次侵害，給平臺長期健康穩定運行帶來挑戰。

5、業務人員SQL使用頻率低

許多報表和分析人員對SQL語句不熟悉，新增報表或者固定報表欄位變更時需要進行數據探查，過去提取操作都需要依賴IT人員編寫SQL查詢，導致數據查詢周期長，業務決策支持的效率較低。

6、業務數據分散多個系統中

在複雜的融合分析場景下，數據分析難以將存儲在本地Excel文件中的數據導入系統與業務庫數據進行關聯，不能及時靈活的對業務數據進行分析。

建設方案

1、統一查詢引擎

支持適配多種資料庫語法，自動轉換查詢語句，提供包括語法高亮、關鍵詞提示、格式化等功能的IDE編輯界面，讓用戶無需關心底層資料庫的語法差異，一站式完成數據連接、數據處理、數據分析等全流程功能。

2、統一身份認證管理

在使用平臺前需管理員先維護好用戶個人的賬號信息以及相應許可權，登錄統一查詢平臺後才能訪問資料庫，無法接觸到資料庫真實賬號密碼。

3、AI輔助數據查詢

可根據自然語言表達的數據查詢結果轉譯對應的SQL命令，包括SQL的生成、改寫、糾錯等，幫助查詢人員輕鬆完成複雜數據提取分析工作。

4、降低數據分析門檻

業務人員可以通過拖拽式操作進行數據提取、模型配置、過濾器配置、可視化報表配置等功能，直觀地選擇數據源、定義查詢條件和組合數據，無需深入瞭解底層資料庫結構和SQL語法，提升數據決策支持能力。

5、資料庫安全許可權管控

配置數據脫敏、行級許可權等安全措施，根據不同角色和職責設定許可權，保證業務庫中數據的隱私和安全，並對許可權變動、危險SQL等用戶行為實時審計，以確保數據的合規使用。

建設收益

在某消費金融公司的項目落地中，使不同部門的人員能夠迅速獲取所需信息，顯著提升了業務處理效率，滿足了客戶資料查詢、交易記錄檢索、風險信息評估等多種場景的數據分析。同時確保了金融信息的安全性和保密性，為後續平臺的穩健運行提供有力保障。

1、數據需求周期大幅縮短

傳統的數據需求流程需要經過多個部門審批、協調，由IT人員排期手動提取。統一查詢平臺藉助SQL/自助取數，允許數據分析、業務人員在統一的平臺上按需自助提取，大大減少了溝通、開發、測試成本，使得數據獲取周期從原來的3-5天縮短到分鐘級出數。

2、數據驅動決策門檻顯著降低

藉助自助取數及SQL收藏等功能，使得一線業務及運營管理人員也能便捷訪問多源異構數據資產，推動全員數據驅動決策，自平臺上線以來，業務側數據分析參與度顯著提高，登錄人次、停留時長、SQL收藏量、查詢任務數、數據導出次數等指標均遠超項目規劃預期。

3、數據風險操作統一溯源

藉助平臺的審計日誌功能，全面覆蓋各類對接資料庫的數據操作行為，實現操作行為完整記錄率的100%觸達，不僅增強了數據安全管理及合規性，還將數據風險操作的定位與排查時間從數小時大幅縮短至數分鐘內，審計響應效率提升達80%以上。

4、數據訪問許可權可視可管

統一查詢平臺運用行/列級許可權控制及數據脫敏技術，實現數據訪問許可權的可視化與精細化管理，提高了數據安全管控能力。數據表許可權配置有效覆蓋率提升至95%以上，有效阻止非法數據訪問；實現對客戶信息、渠道數據等的自動識別與脫敏處理，有力保障了企業在數據共用與應用中的安全性與合規性。

《行業指標體系白皮書》下載地址：https://www.dtstack.com/resources/1057?src=szsm

《數棧產品白皮書》下載地址：https://www.dtstack.com/resources/1004?src=szsm

《數據治理行業實踐白皮書》下載地址：https://www.dtstack.com/resources/1001?src=szsm

想瞭解或咨詢更多有關大數據產品、行業解決方案、客戶案例的朋友，瀏覽袋鼠雲官網：https://www.dtstack.com/?src=szbky