白鯨開源 X SelectDB 金融大數據聯合解決方案公佈！從源頭解決大數據開發挑戰

業務挑戰與痛點

隨著互聯網技術的發展、雲計算技術的成熟、人工智慧技術的興起和數字化經濟的崛起，數據已成為企業的核心資產。在金融行業中，數字化已成為了支撐各類業務場景的核心力量，包括個人理財、企業融資、股票交易、保險理賠、貸款服務、支付結算、投資咨詢、資產管理等等。然而，在基於大數據分析與處理技術的業務建設中，當下的金融企業也面臨許多挑戰與不足：

1. 實時與查詢性能不足，高併發支持挑戰大： 金融行業中常見的風控、決策分析、高管看板、實時營銷等業務場景均要求數據的高時效性以及秒級甚至毫秒級的查詢性能；同時金融行業常見的支付、轉賬、賬務業務場景均對吞吐量有很高的要求，需要穩定的高併發數據服務支持。然而基於離線數倉的架構實時性能不足，儼然已經無法滿足數據快速獲取和業務價值變現的訴求。
2. “數據孤島”制約大數據發揮價值： 金融行業的數據來源通常包含三大類：業務信息數據、行為數據和第三方數據。這些數據通常來自不同的數據源。煙囪式系統建設導致各部門業務系統相互獨立，形成大大小小的數據孤島，造成數據分析和決策困難等。
3. 數據質量問題頻發： 金融大數據來自不同的生產部門，數據通過不同的鏈路、不同的寫入方式到達目標端供查詢，服務鏈路的穩定性難以保障，導致數據的準確性、完整性、一致性等質量問題頻發，各團隊花費了大量精力也難以很好地保障整體數據服務質量。
4. 架構複雜帶來成本增加： 金融企業的技術棧差異非常大，複雜的技術棧使得開發與維護的成本成倍增長，平臺之間的數據遷移成本、多副本存儲成本、數據轉換的風險成本隨著技術棧的增多而逐年遞增。

金融行業的數字化轉型已經被推上日程，選擇正確的技術與工具以完成大數據業務的構建是抓住機遇的關鍵一環。在眾多應對數字化轉型的策略中，實時數倉可以幫助企業實現數據的實時採集、存儲和查詢，通過 T+0 的大數據分析流程幫助企業快速通過數據捕捉到業務變化。而 DataOps 則可以幫助企業實現數據的快速交付、高質量和高效率，從而更好地支持業務決策和創新。基於實時數據倉庫+DataOps 展開數字化轉型已經成為趨勢。

基於 SelectDB +白鯨開源 WhaleStudio 的解決方案

方案整體介紹

SelectDB 是飛輪科技基於 Apache Doris 打造的新一代實時數據倉庫，面向不同行業提供通用的端到端實時大數據分析解決方案，幫助企業輕鬆構建起 T+0 的實時大數據分析流程。目前，飛輪科技已推出 SelectDB Cloud 和 SelectDB Enterprise 兩款企業級產品，能夠差異化地滿足雲上開箱即用、私有化部署和自主可控的不同需求。

SelectDB 的解決方案能夠金融企業提供：

• 實時高效的數據導入和數據更新： 提供從數據流、各類資料庫、數據湖外表等異構數據源的毫秒級實時數據導入和集成能力；實時插入/更新/刪除的數據更新能力，高效實現秒級別的小批量實時寫入。
• 百億數據秒級查詢響應： 提供世界級領先的極致查詢性能。單邊聚合及多表關聯場景下，均可達 ClickHouse、Presto、Greenplum、Hive 等同類產品的三倍到數十倍，生產環境下輕鬆實現百億數據秒級查詢響應。
• 統一的分析體驗： 提供多種查詢負載上的極速統一體驗，單一引擎可同時支撐報表分析，即席分析，湖倉融合，日誌檢索分析，增量跑批等多種場景。
• 簡單高效的數據分析體驗： 支持標準 SQL 並與 MySQL 協議高度相容；內置可視化的運維及管理工具，提供豐富的大數據生態鏈接工具。
• 金融級穩定的安全保障： 基於開源 Apache Doris 研發，代碼由團隊自主研發並掌握底層核心架構，100% 自主可控；與信創生態高度相容，可穩定地運行在各類主流國產化軟硬體生態中；企業級安全特性加持，如多租戶資源隔離、跨集群複製、網路安全、安全審計等，保證金融級別高可用。

WhaleStudio 是白鯨開源科技根據全球領先的 DataOps 理念打造的新一代數據集成調度工具，它基於白鯨開源主導的Apache DolphinScheduler和 Apache SeaTunnel 的開源版打造而成。目前，WhaleStudio 支持公有雲、私有雲和混合雲，已與 AWS、阿裡雲、華為雲等國內外頭部雲廠商達成合作，全面支持雲原生，幫助企業更好地適應大數據和雲原生大時代下的數據處理與治理，同時支持 Oracle、DB2，Informix，MySQL，MongoDB、達夢等資料庫CDC實時讀取，也支持開源生態的數據湖 Hudi，Iceberg 數據打通和調度等，讓企業用戶實現數據湖、數據倉庫、雲的一體化數據同步和調度。

針對金融行業大數據實時分析的場景，飛輪科技聯合白鯨開源共同推出金融行業的大數據解決方案，致力於解決企業在大數據業務中面臨的性能不足、數據實效性差、開發/運維效率低下、成本居高不下等問題。該方案主要包含數據應用層、數據倉庫層、數據同步&集成層和底層數據源四部分：

數據應用層

在 SelectDB + 白鯨開源 WhaleStudio 的實時數據分析能力支持下，能夠幫助銀行、信貸、基金、保險等金融企業構建起整體高性能、統一、簡單、易用的大數據平臺，從而為業務系統提供通用的支持，其中包括：

• 風險管理系統，為風控各類業務構建起實時快速的預警和反饋系統，實現分鐘級/秒級的數據產生、入庫、查詢流程，例如審批系統、貸後管理系統、用戶中心、額度中心、反欺詐系統、決策引擎、風控數據平臺等；
• 核心業務系統，高效地完成對客戶的行為、身份核查、客戶徵信、三方數據、交易數據等多源數據實時、極速的聚合分析，例如信貸管理系統、中間業務系統、支付與清算系統、互聯網銀行系統、資金管理系統、核算中心、賬務中心、財務系統等；
• 管理決策類，通過 T+0 數據實時處理，快速實現商業決策，例如運營管理系統、客服系統、消息中心、支付中心、商戶管理、客戶關係管理、報表（商業智能）類、財務管理

數據倉庫層

數據倉庫層所提供的數據分析能力是實現實時業務分析的關鍵，也是實現高性能的查詢和高併發的寫入的核心層。同時，也需要滿足金融企業對數據的一致性以及和周邊生態的支持的需求。SelectDB 與白鯨開源 WhaleStudio 的整體能力能夠幫助很好地支持數據服務層的構建：

• 實時、便捷的數據導入
  SelectDB X 白鯨開源的方案能夠為企業提供實時、便捷和高吞吐的數據導入。白鯨開源 WhaleStudio 方案支持常用的資料庫和文件系統、消息隊列和各類數據湖繫數據源實時導入，包括各類資料庫、Kafka、Elasticsearch 、Redis、Neo4j 等；SelectDB 底層實現了統一的流式導入框架，而在這個框架之上，SelectDB 提供了非常豐富的導入方式以適應不同的數據源和數據導入場景：對於實時、小批量的數據導入，SelectDB 提供 StreamLoad、Flink Doris Connector、RoutineLoad、Insert into value 等方式，能夠實現秒級的高效導入；SelectDB 還提供十餘種常見的數據湖格式和外部數據源的訪問支持，通過進行高效的聯邦分析實現大數據量、高吞吐場景的實時導入。除此之外，SelectDB 還提供了豐富的集成工具來連接各種來自周邊大數據工具的數據源，內置 Kafka、Flink、Spark、DataX 等常見的 Connector，基於此，企業開發者能夠更加便捷的將數據移動到上，並利用 SelectDB 從數據資產中獲取更高的價值。

• 高效的數據更新
  高併發的更新，在高併發的更新過程中，數據服務層需要在上億數據中快速定位需要更新的數據並完成更新。面對實時更新的場景，SelectDB 在 Unique Key 模型之上引入了 Merge-On-Write（MoR） 和 Merge-On-Write（MoE）兩種數據更新方式，能夠高效、統一地支持不同數據量的更新場景。其中，MoR 能夠支持低頻次、大批量的數據更新場景；而 MoW 則能夠實現秒級別的小批量實時寫入，查詢性能較 MoR 提升 5-10 倍。該類方式在寫入的時候將舊的數據標記刪除做輕量級 merge，能夠始終保證有效的主鍵只會出現在一個文件中（即在寫入的時候保證了主鍵的唯一性），不需要在讀取的時候通過歸併排序來對主鍵進行去重，從而大大減少了高頻寫入場景下查詢執行時的額外消耗，幫助企業在多種場景的查詢中實現明顯的性能提升。此外，SelectDB 針對其它各類常見的更新方式，均提供了完備的支持，包括upsert、條件更新、條件刪除、部分列更新、分區覆蓋等。

• 極致的查詢性能
  性能是數據分析最關鍵的指標，基於豐富的索引結構、高效的列式存儲與行列混存引擎、向量化執行引擎、RBO 和 CBO 結合的智能優化策略、智能物化視圖、Pipeline 執行引擎、智能緩存等一系列的技術優化，SelectDB 能夠為企業的提供支持高併發、高吞吐的極速查詢能力，幫助企業快速應對不同場景中的高效查詢需求：

• 高併發點查： 查詢返回的數據量較少，通常只需返回一行或者少量行數據。但對於查詢耗時極為敏感、期望在毫秒內返回查詢結果，並且面臨著數萬 QPS 超高併發的挑戰。在金融中常見的場景包括面向客戶的各類訂單交易明細查詢如實時轉賬、交易和麵向機器的程式化查詢如各類客戶畫像及行為分析、實時風控等。

• 報表查詢： 大部分相關場景下處理數據量適中，對查詢性能要求通常在秒級甚至毫秒級，同時需要較強的數據的更新能力、對 SQL 查詢語法友好、較強的多表 join 的能力以及能夠很好的支持複雜的關聯查詢。

• 即席查詢： 應用於如畫像、風控等場景。數據量較為龐大，響應時間要求較高，對於絕大多數相關場景要求查詢返回時間在秒級別。

• 傳統批量數據處理（ETL/ELT）： 需要在固定的時間間隔內（如每天夜間）處理大量積累的數據，處理的數據延遲往往在幾小時到幾天之間，要求較高的數據一致性。

數據同步&集成層：白鯨數據集成系統

數據採集和加工是數據處理的關鍵組成部分，在數據 3.0 時代，傳統數據平臺提供的 ETL 解決方案已無法滿足在激烈市場競爭環境下生存的金融企業的需求，因為為了應對不斷變化的業務需求，企業通常會選用至少兩種資料庫：一種負責業務的聯機交易資料庫，一種負責數據分析的數據倉庫。兩種資料庫之間的數據同步是通過複雜、高度定製的 ETL 管道來解決的，數據管道需要不斷維護，複雜度極高，這會導致使用傳統技術來做數據集成的金融企業面臨高成本維護成本的挑戰。這些挑戰在雲時代會進一步被放大，因為在雲上構建 SaaS 服務的創業公司，產品越來越多，同時硬體性能的進步也使得原本數據集成的設計出現了非常大的局限性。

針對數據採集和加工中的挑戰，白鯨開源 WhaleStudio 下的組件白鯨數據集成系統能夠提供新一代高效、穩定的數據集成同步解決方案。

白鯨數據集成系統 是下一代高性能、分散式、海量數據集成框架，圍繞實現批量、實時數據同步以及實時發佈的目標，希望使數據集成變得簡單、安全和可擴展，向用戶提供簡單的、易用的產品交互界面和流暢的使用體驗，不需要專業培訓就可以快速上手。

白鯨數據集成系統的核心能力強大，包括：

• 支持 150+ 種連接器類型，解決了各種數據源、版本之間的適配問題；
• 面向數據科學家、數據開發工程師以及任何需要數據集成服務的用戶，支持編程模式和引導模式兩種配置同步作業的方式，適應不同用戶群體的使用習慣；
• 支持全場景數據集成需求，包含離線全量同步、離線增量同步、實時增量同步、變化數據捕捉（即 CDC）、資料庫同步備份等。

在保證數據質量的前提下，自研的白鯨數據集成系統的 Zeta 數據集成引擎能夠以遠超其他產品的速度完成數據同步，並且更省資源。 覆蓋全數據同步場景，除了代碼模式外，也提供可視化拖拽界面給數據科學家、數據分析師、產品經理等業務用戶支持全流程可視化的任務定義、調用、監控和管理。

白鯨開源 WhaleStudio 整體架構

在獨特產品架構支撐下，白鯨數據集成系統為用戶提供完善的數據集成和同步功能，助力企業數字化轉型：

• 數據管道：數據管道列表頁面，對數據管道進行運行、編輯、發版、刪除操作；
• 連接器：支持數百種數據介面，多種數據集成方式；
• 監控：完善的監控機制，可跟蹤輸入輸出的統計數據，當前運行日誌，以及運行歷史及狀態。

白鯨數據集成系統能夠幫助企業快速完成複雜數據源之間 CDC 與批量整合問題，解決傳統同步集成引擎痛點問題，以無中心化、精確處理一次、斷點續傳等多種方式確保數據強一致性， 其支持可視化建立集成任務、支持可視化運維、無主鍵增量集成支持、支持整庫同步與表結構自動變更、支持多自動建表、支持可視化轉換處理等產品特點也使得白鯨數據集成系統與傳統數據平臺解決方案相比擁有顯著優勢。

數據源

SelectDB +白鯨開源 WhaleStudio 的方案夠接入各類數據的業務系統，如賬戶系統、CRM、交易系統、核心系統、信審系統等，幫助金融企業完成對於客戶、存款、貸款、支付、資金、總賬、渠道等多種類型的核心數據的實時存儲、分析和處理。
SelectDB + 白鯨開源 WhaleStudio 能夠便捷地支持多種異構數據源、資料庫的接入，其中包括：

• 支持常用的資料庫和文件系統，包括關係型資料庫 Oracle、MySQL、SQL Server等，非關係型資料庫MongoDB、Redis、Cassandra 等，分散式資料庫 Hadoop、Couchbase、Elasticsearch 等，記憶體資料庫 Redis，圖形資料庫Neo4j，以及其他處理實時及離線數據的各類資料庫。
• 支持消息隊列，包括 Redis、Neo4j、Kafka、RocketMQ、Pulsar等，以及各種自定義數據源；
• SaaS&Http&Socket；
• 各類數據湖系，例如 Iceberg、Hudi、DeltaLake
• HDFS、S3 等存儲系統。

方案優勢

基於 SelectDB + 白鯨開源 WhaleStudio 的聯合解決方案，能夠為銀行、等金融企業帶來以下收益：

• 實時分析能力大幅度提升： 幫助大數據量複雜場景的數據分析時效性由每周 (更新一次) 到每天 (更新一次) ，大大提升了分析的時效性， 幫助金融企業通過 T+0 分析輕鬆構建起風險分析、欺詐檢測、實時消費者分析、交易分析等業務場景。
• 毫秒級性能實現，倍數級性能提升： WhaleStudio 的任務調度性能是市面產品平均性能的 2 倍，數據集成效率比市面同等產品平均性能快 420%；SelectDB 為企業提供寬表及多表場景下均優於同類產品三到數十倍的極致性能。SelectDB + WhaleStudio 的方案能夠在數據服務場景下，為企業實現毫秒級查詢響應，帶來數十倍的性能提升。
• 降低開發及運維成本，提高效率： 金融機構可以通過 SelectDB+白鯨開源 WhaleStudio 大數據解決方案實現從業務開發、運維、管理等全流程的效率優化。SelectDB 與白鯨開源 WhaleStudio 均提供了一系列可視化的操作界面和豐富的功能，使得運維人員能夠輕鬆地進行數據管理和維護。基於 SelectDB 極簡的架構和融合統一的能力，以及白鯨開源 WhaleStudio 的高效調度、數據集成和同步能力，綜合效率大幅提升，原來需要 10 人完成的任務，2-3 人即可完成。

客戶案例

• 某大型國有券商： 該券商將白鯨調度系統進行全棧信創化部署運行，已經完成了建立以“統一數據編排調度系統”為核心的 DataOps 平臺，構建統一、標準化的數據協作平臺，降低數據開發門檻，提升開發運維效率的目標，實現了統一的數據開發平臺、統一的編排調度、統一的數據資產運營，有效降低用戶數據加工處理的成本，提升數據服務能力，真正實現精益、敏捷的數據運營。同時，在上層基於 SelectDB 構建起實時數據倉庫， 利用 SelectDB 端到端的實時能力和極致查詢性能，更好地完成了實時流處理、離線批處理等任務，實現了業務的實時分析流程。現階段，該券商已經遷移完核心調度任務每天約 8 千個工作流作業，在不斷接入新系統後，目標完成日工作流 10 萬+，任務量 50 萬+，同時對接公司統一許可權管理、審計、監控、告警等系統，極大提升了公司運營效率。

• 某知名消費金融企業： 隨著某消費金融客戶數量和放貸金額持續上升，如何依托大數據、數據分析等技術來提供更好決策支持、提高工作效率和用戶體驗，成為了當前亟需解決的問題。基於此，公司決定搭建數據中台，利用白鯨調度系統實現了不同數據源之間的快速整合，大大提高了研發效率，同時將原有的離線數倉替換為 SelectDB 實時數倉，最終統一了數據出口，提升了數據質量，並實現了查詢速度 400 倍的提升。

• 某一線銀行信貸企業： 某銀行信貸業務利用 SelectDB X 白鯨數據集成系統作為架構核心完成了業務數據的統一存儲與分析，該架構支持了該企業在營收信貸業務過程中廣告投放的業務，並幫助該企業的用戶行為日誌降低了 70% 的存儲成本，整體業務效率提升 50 %。白鯨調度系統提供了高效、簡單、易用的數據集成框架及引擎，能夠用戶的全場景數據集成需求；SelectDB 提供了豐富且開箱即用的用戶行為分析函數，避免業務人員重覆進行複雜 SQL 函數編寫、驗證、推導再應用，極大提高了數據開發效率。在 SelectDB X 白鯨數據集成的支持下，該銀行信貸企業智能營銷的投產比得到了顯著提升，完成了精準投放增加獲客的重要目標。

本文由 白鯨開源 提供發佈支持！