白鯨調度系統助力國內頭部券商打造國產信創化 DataOps 平臺

導讀

國內某頭部券商是國內排名前三的全國性大型綜合證券公司。作為證券行業領頭羊之一，該券商一直高度重視核心系統的自主可控以及網路信息安全。早些時候，其已經完成了信創化資料庫改造和OA系統適配，接下來的當務之急是完成數據能力平臺的信創化改造。隨著該券商近年來數據中台的發展，企業內部數據系統紛繁龐雜，需要統一的調度系統來實現調度管理統一化、監控可視化、預警智能化等功能。在經過長時間調研之後，該券商攜手白鯨開源，基於白鯨調度系統為其數據開發和數據服務的統一管理提供了高效、完善的解決方案，助力其建設 DataOps 底座。本文將詳細介紹該券商基於白鯨調度系統在其複雜多樣的金融信貸場景中實踐應用。

背景

核心系統自主可控以及網路信息安全已經是國家戰略層面的重要問題，在證券行業更是向來是被高度重視的話題。2023年6月9日，中國證券業協會印發《證券公司網路和信息安全三年提升計劃(2023-2025)》。《計劃》鼓勵券商信息科技資金投入占比提升至23-25年平均營收的7%或平均凈利潤的10%，同時高度重視自主可控和信息安全。在《計劃》提到的31項主要任務中，其中有17項任務關於提高數據架構與核心系統的自主掌控能力和安全防控能力。2022年國內金融信創發展迅速，據不完全統計，2022年金融信創項目數同比增長300%，在券商行業，信創建設主要集中在資料庫改造、OA系統適配、交易系統的改造、數據能力平臺建設等方面。

作為證券行業領頭羊之一，該券商以數據為引擎，賦能精準投放產品和服務，做到業務和科技超融合，形成有效閉環，希望同時解決之前面臨的幾大核心問題：

• 需求與供給的矛盾：響應業務需求不及時，數據產品開發耗時過久、角色協作性不足
• 業務與技術的矛盾：缺少數據消費者反饋機制，數據產品運營能力不足，復用性不高
• 成本與效益的矛盾：數據價值未顯性化：對大數據能力建設的指導性不強

而隨著該券商數據驅動的深入，更多的業務部門對數據部門有更多的數據需求，傳統的數據賦能方式已經無法滿足其需求。在信息化推動數字加發展的新時代，DataOps應運而生，剋服了傳統數據賦能的弊端。

DataOps作為數據管理技術，管理著從數據源到價值的信息流，加速從數據中提取價值的過程。它面向數據全生命周期，以價值最大化為目標，利用自動化來提高數據和洞察力處理的敏捷性，協同數據開發、運營和管理全鏈路過程，實現數據研發運營的一體化、敏捷化、標準化、自動化、智能化、價值顯性化。DataOps的特點是敏捷、高效，能夠為企業帶來巨大的價值，促進企業數字化轉型，激發技術創新。

證券行業有著業務數據量大、數據處理過程複雜等特點，對於數據管道策略、建設和運營有著更加迫切的需求，為滿足實際業務需求，已經走在了DataOps探索的前沿。

白鯨開源作為全球領先的DataOps解決方案提供商，成為該券商合作的首選，通過周密調研和細緻驗證，其最終選定了白鯨開源作為合作伙伴，共同打造了國產信創化DataOps平臺，為數據開發和數據服務的統一管理提供了高效、完善的解決方案。

金融證券業務場景下調度系統的挑戰

該券商近年來數據中台發展迅速，接到需求時，其已建成數據倉庫、數據交換、數據湖、數據管控等關係緊密的中台系統。但是由於這些系統各自有著獨立的調度系統，執行相應的跑批作業，這會造成調度系統功能資源重覆、任務管理不方便、運維監控分散、系統間調度聯繫不緊密等問題，所以，客戶最迫切的需求，是一個可以有助於快速構建數據中台並實施基礎數據平臺的工具，以實現調度管理統一化、監控可視化、預警智能化等功能。

01 需求場景

具體來說，該券商對於這個統一調度平臺的需求包括：

• 遷移數據平臺、數據湖平臺

任務腳本遷移到統一的調度系統中。

• 需要關聯的平臺

要求使用統一調度系統調度第三方平臺的任務離線開發平臺，包括其自有的數據交換平臺。

02 各業務線挑戰和需求

從各個業務線層面來說，客戶面臨的挑戰和需求包括：

• 對信創環境的需求。
• 安全部門的需求，對於漏洞掃描以及安全漏洞修複的時效性有較高的要求。
• 數倉、數據湖、離線開發平臺、數據交換平臺等各個業務線各自有自己的調度系統，不能集中統一管理和監控，運維成本巨大。
• 金融證券行業業務特性，有個性化節假日日曆以及動態更改日曆等強場景需求。
• 業務日期需要和節假日以及日曆緊密關聯。
• 任務在交易時間和非交易時間執行的業務不一致。

• 對於事件觸發（文件、資料庫、消息等）的場景需求。
• 業務部門的任務總數量比較大，達到50W/天，對於任務的併發量需求比較大。

而高效的管理體系、統一的數據標準、良好的數據質量是數據價值實現的基礎，針對當前客戶數據能力建設存在的問題，決定採用白鯨調度系統，以價值最大化為目標，協同數據開發、運營和管理全鏈路過程的數據平臺，實現數據研發運營的一體化、敏捷化、標準化、自動化、智能化、價值顯性化，以實現持續精益數據開發、持續交付合規可信數據、數據服務更加完善的目標：

• 數據開發運維一體化、敏捷化：通過關聯數據開發運營各項活動，構建數據流水線，提升響應和處理的敏捷性；
• 數據管理運營協同：數據管理成果通過被業務分析人員、數據科學家等角色自助使用，支撐業務運營，同時，運營結果反向指導數據管理工作，實現管理與運營的協同；
• 打造端到端業務價值鏈：倡導由數據價值驅動的數據開發運營，打破傳統的“數據管理是成本工作”的觀念，保證了數據開發運營服務於企業整體戰略發展，減少各業務線數據的割裂。

白鯨開源DataOps平臺助力客戶建設DataOps底座

白鯨調度系統是以自主研發的分散式調度引擎為核心，一站式、一體化的數據開發管理運營平臺，致力於線上集成環境下，統一完成數據的開發、編排、測試、調度、發佈、服務和運維、監控等工作。

該券商DataOps整體規劃分為三步進行，其中第一步解決數據底層操作調度系統問題，統一內部數據倉庫、大數據集群、數據集市和科學計算平臺中運算資源和任務調度已經完成，新一代國產信創的DataOps平臺的第一期項目——統一調度系統於2022年11月全棧信創化部署運行，為公司實現數據開發和數據服務的統一管理提供了高效、完善的解決方案， 具有全棧化信創技術支持、全面雲、湖、倉一體化架構、高性能、高可靠性、簡單易用、完整的數據運營能力等特點。

• 全局數據治理、數據安全管理、數據資產管理：客戶是一個數據密集型企業，數據來源紛繁龐雜，針對數據隱私、數據安全、數據主權、數據標準等問題，白鯨開源 DataOps 平臺全面適配信創技術，支持基礎環境、伺服器、資料庫、中間件、客戶端、應用軟體等信創適配，相容國內主流軟硬體廠商的產品，以專業的底層基礎能力推動上層業務的擴展和創新。
• 開發IDE/CICD管理：任務腳本可直接引用本地和遠程倉庫文件，無需重覆工作；支持自動化的CI/CD流程，同時支持本地文件上傳與跨環境打包部署，幫助客戶快速適配DataOps流程，實現開發、測試、部署的整體流程提效。
• 批流一體數據集成：支持公有雲、私有雲和混合雲，支持雲原生，支持傳統數據倉庫，支持開源的數據湖，同時支持批流任務同時管理，讓企業用戶實現數據湖、數據倉庫、雲的一體化調度。
• 數據服務 API：白鯨開源 DataOps 以RESTful API 的形式提供數據服務API，可以讓開發人員通過編寫代碼來訪問和操作數據服務中的數據，而無需瞭解數據服務的底層實現細節。
• 數據編排調度：豐富的事件管理功能，支持自定義多種業務日曆與切日時間管理，滿足企業多部門間的協同使用場景。
• 管理和監控：白鯨開源 DataOps 平臺配置中心提供監控與配置看板，為客戶提供數據源管理、日曆時間管理、資源管理、並行度管理、告警監控和多租戶管理。

白鯨調度系統推進信貸業務場景落地

針對客戶的業務線挑戰，白鯨開源DataOps平臺下的大數據任務調度組件——白鯨調度系統都能全面契合證券業務特點和功能需求：

• 統一數據調度平臺：指標數據通過白鯨調度系統和 Shell 任務編排實現風控離線數倉各分層數據的調度與流通、統一管理，支持不同的業務線之間的任務互相依賴，解決了各個業務線不能互相打通，各自為戰的問題。
• 通過自研技術，支持了全信創環境要求。
• 完善的商業服務，專業級漏洞掃描，確保全全漏洞修複的時效性。
• 完善的許可權系統，支持對接客戶的許可權系統，解決了單點登錄、統一用戶許可權、項目和資源統一管理的強需求。
• 支持金融證券行業的業務特性，提供調度日曆、業務數據日曆分開，並支持不同時區、日曆導入等功能，針對企業調度當中的業務數據日期/時間單獨進行設計，更好滿足行業需求，比如
• 支持多種日曆管理，多地區多市場的交易日、工作日、自然日等
• 支持日曆Excel模板導入
• 支持調度日曆與業務日曆分開
• 支持多時區、多偏移量設置
• 支持業務日期單獨管理，單獨切日
• 支持金融證券行業的業務特性，提供牌管理功能，支持業務時間單獨計算的需求。
• 支持金融證券行業的業務特性，提供了每日日切功能，解決交易時間業務特性的需求。
• 新增觸發器任務，支持事件監控和事件觸發功能，滿足客戶傳統多系統之間數據傳輸觸發的需要。
• 高性能高併發的特性也很好地解決了多個業務線的大數據量任務調度需求。

此外，白鯨調度系統為客戶提供的整個集群環境由多個服務集群組成，解決了服務單點問題。此外，由於採用2 Master x N Worker的分散式去中心化架構，任務容量會隨著集群增長線性增長，在保證服務穩定可用的前提下，成功支持了客戶各個業務的不同調度需求和任務量可擴展的需求。

用戶收益

• 數百萬任務同時線上，秒級任務高達10萬併發，去中心化的多Master多Worker機制，保證了極高的穩定性和性能，可對調用的資源進行控制和分配，利用多租戶機制，實現任務之間的並行度控制、資源控制、用戶資源限制等諸多功能。
• 第一期項目——統一調度系統於2022年11月已經全棧信創化部署運行，為公司提供了完整的數據運營能力，包括完整的數據編排調度、批流一體數據集成、數據開發IDE、統一數據服務和數據治理功能，配合多樣化的技術套件，可以在實現統一的數據開發平臺、統一的編排調度、統一的數據資產運營的同時，更好地完成離線批處理、實時流處理等任務，有效降低用戶數據加工處理的成本，提升數據服務能力，真正實現精益、敏捷的數據運營。
• 基於有效的數據開發能力，數據富能力和數據資產化能力，結合智能營銷、智能資訊、數據可視化、賬戶分析等場景，客戶的DataOps平臺可為各管理部門提供有效、及時的數據服務，其數據成果通過被業務分析人員、數據科學家、模型設計人員、開發人員等角色自助使用，可以高效支撐業務運營、科技開發，同時運營結果和科技開發反向指導數據管理工作，實現數據運營與管理的協同。
• 實現了客戶各業務部門任務處理，每天完成約8千個工作流作業，在後續不斷接入新系統後，目標是完成日工作流10萬，任務量50W。
• 對接公司統一許可權管理、審計、監控、告警等系統，極大提升了公司運營效率。

客戶簡介

該券商是經中國證監會批准設立的全國性大型綜合證券公司，公司在全國30個省、自治區和直轄市設有數百家分支機構，擁有數家全資子公司。自成立以來，客戶各項業務快速發展，在企業融資、收購兼併、證券經紀、證券金融、固定收益、資產管理、股票及衍生品交易等領域形成了自身特色和核心業務優勢，並搭建了研究咨詢、信息技術、運營管理、風險管理、合規管理等專業高效的業務支持體系。

本文由 白鯨開源 提供發佈支持！