巨杉資料庫助力民生銀行、廣發銀行前臺智慧化業務

来源:https://www.cnblogs.com/sequoiadbsql/archive/2019/01/11/10253716.html
-Advertisement-
Play Games

巨杉資料庫目前已經在超過50家大型商業銀行核心業務上線使用,本文為銀行金融科技轉型應用系列文章第一篇,此後巨杉還將陸續推出銀行業應用和科技創新文章,大家敬請期待。 ...


巨杉資料庫目前已經在超過50家大型商業銀行核心業務上線使用,本文為銀行金融科技轉型應用系列文章第一篇,此後巨杉還將陸續推出銀行業應用和科技創新文章,大家敬請期待。

隨著銀行業務的拓展以及網點業務的需求量加大,在新一輪技術浪潮驅動下,各大商業銀行也在紛紛推進智能網點的建設。其中,商業銀行的櫃面無紙化就是最先推進的業務之一。

包括廣發銀行、民生銀行在內的大型商業銀行,已經於近幾年陸續上線櫃面無紙化業務,並開始在全國網點進行推廣使用。今後,隨著櫃面無紙化、“一站式”綜合店員、人工智慧等系統的陸續應用,各大商業銀行也將全面實現網點智能化轉型建設。

大型商業銀行,平均有超過300~400個業務系統,每一個業務系統既有完整技術棧,又和不同的業務之間存在許多的相互依賴和相關的關係,業務和技術複雜度遠超其他行業。此外,銀行對於平臺可靠性要求最為嚴苛,核心數據需保證0丟失、0錯誤率,核心業務系統也有“5個9”以上的穩定性要求。這些要求給後臺資料庫帶來了極大的要求,因此業界也戲稱銀行是企業級資料庫的“試金石”。

“無紙化”業務作為商業銀行的新一代應用業務,對於數據管理帶來了新的挑戰。針對銀行在新一代櫃面無紙化業務上的痛點需求,巨杉資料庫在保證穩定安全的基礎上,利用其所支持的非結構化存儲、結構化事務、可彈性擴張、高可用、以及多數據中心災備等能力,全面支持廣發、民生銀行的櫃面無紙化業務,為業務帶來巨大提升。

 

 

巨杉資料庫分散式雙活部署整體示意圖

 

巨杉資料庫為底層數據引擎的分散式非結構化數據管理平臺,已經在包括民生銀行、廣發銀行在內的超過50家大型銀行業務應用。在某大型股份制商業銀行業務系統中,巨杉資料庫總集群部署節點數達到122台物理伺服器,部署邏輯節點1530個,平臺服務銀行網點數超過840個 ,性能響應在毫秒級別,數據實現了同城數據中心災備和雙活。 

1)非結構化數據存儲

作為一款分散式的交易型資料庫,SequoiaDB資料庫提供了同時存儲結構和和非結構化引擎的機制,非結構化數據的存儲在引擎中主要是以 LOB形式來實現的。SequoiaDB 3.0在對象存儲API的基礎之上提供了標準Posix文件系統介面,能夠原生接入任何支持Posix協議標準的操作系統,用戶對應用程式無需任何改造即可從NAS遷移至SequoiaDB。 

在巨杉資料庫中,LOB大對象存儲引擎可將各種尺寸的非結構化文件切分成小存儲塊,按散列映射存放於集群的多個數據組,實現文件的高效併發存取,對外提供對象標識進行文件訪問。 

在巨杉資料庫中,LOB存儲結構分為元數據文件(lobm)與數據文件(lobd)。其中,元數據文件存儲整個LOB數據文件的元數據模型,包括每個頁的空閑狀況、散列桶、以及數據映射表等一系列數據結構。而數據文件則存儲用戶真實數據,數據頭之後所有數據頁按照page size進行切分,每個數據頁不包含任何元數據信息。

 

 

與結構化數據的記錄引擎完全不同,巨杉資料庫的非結構化存儲提供了原生的對象文件塊存儲機制,同時適用於影像類大文件與票據類小文件。在巨杉資料庫對小文件存儲與檢索的過程當中,每個數據塊均使用散列演算法判斷其所處的物理位置,因此不會進行任何物理查表操作,資料庫也不需要維護每個對象文件的物理位置表,因此不論從安全性、吞吐量、以及響應速度都遠遠高於其他同類對象存儲。 

2)多活與災備

巨杉資料庫的原生分散式架構,一方面提供了引擎級別的內部數據多副本和高可用以及基於Raft演算法的數據一致性的保證。同時,在跨數據中心層面,可以做到分散式集群為單位的容災和多活機制,在滿足數據安全要求下減少了數據安全方面的部署和運維難度。

從多活架構的角度看,巨杉資料庫都秉承著計算存儲分離的設計思路,因此其SQL解析與執行器往往與數據存儲和事務控制分別運行在不同的進程中。在這種情況下,利用資料庫自身分散式與三副本複製的特性,將數據打散放置在多個數據中心內,每個數據中心配置本地SQL服務節點,從應用程式的角度看不需要關註底層資料庫的主從架構,僅需要通過JDBC連接到本地的SQL服務節點進行讀寫操作即可。在這種架構下,每個SQL節點完全對等,並均可以處理讀寫操作。所有的事務控制、一致性控制、鎖等待等機制都由底層的分散式資料庫直接提供。

以兩地三中心為例,在該架構中,城市A機房1作為主機房,提供與同城的機房2之間的同步數據複製。而對於城市B的機房來說,在帶寬足夠的情況下可以選擇使用同步機制與城市A的機房進行數據複製。而在帶寬不足時則可以選擇非同步的複製方式。

同時,巨杉也支持異地災備機房的定期追加更新。用戶可以通過定義異地災備機房的同步策略,使災備機房定期進行日誌文件的同步,以做到災備機房與主機房的數據擁有一定的時間差異,避免手工誤操作。

 

 

3)高性能實時性能響應

通過分散式架構,多維數據分區,高性能索引,以及數據壓縮等機制,影像平臺無論非結構化數據還是結構化數據在大數據量下依舊保持性能的平滑擴展,實時響應。在性能測試對比中,對比巨杉資料庫,傳統NAS方案想要達到同樣吞吐量至少需要3倍以上的磁碟數量。

以下是巨杉資料庫在實際測試環境中,對於非結構化數據管理這塊的測試數據:

  • 2GB/s的整體吞吐量,分散式架構
    • 6節點x86伺服器、整個集群共36塊SAS盤
    • 傳統方案,高端配置:1.5GB/s 120塊盤以上

 

  • 100%寫入場景

吞吐量(MB/秒)

50KB

200KB

1MB

10MB

整個集群(6節點)

353.3

1232.8

2223.3

2077.5

平均單物理節點

58.9

205.5

370.5

346.3

數據寫入平均時延(ms)

14

16

44

466

 

  • 100%讀取場景

吞吐量(MB/秒)

50KB

200KB

1MB

10MB

整個集群(6節點)

352.9

1225.1

2410.9

2653.3

平均單物理節點

58.8

204.2

401.8

442.2

數據寫入平均時延(ms)

14

16

41

369

 

  • 混合業務場景

吞吐量(MB/秒)

50KB

200KB

1MB

10MB

整個集群(6節點)

363.7

1266.0

1872.8

2323.8

平均單物理節點

60.6

211.0

312.1

387.3

數據寫入平均時延(ms)

寫:14

讀:16

寫:14

讀:15

寫:35

讀:106

寫:293

讀:749

  

民生銀行

民生銀行是中國第一家主要由民營企業發起設立的全國性股份制商業銀行,截至2017年末,中國民生銀行已經成為資產總額59,020.86億元,一級資本凈額超過3800億元、資產總額超過5.9萬億元、分支機構近3000家、員工近5.8萬人的大型商業銀行。在英國《銀行家》雜誌2017年7月發佈的全球1000家大銀行排名中,中國民生銀行位居第29位。民生銀行堅持“民營企業的銀行、科技金融的銀行、綜合服務的銀行”的戰略定位,銳意變革創新,加速戰略轉型,致力於成為一家特色鮮明、價值成長、持續創新的標桿性銀行。

(摘自民生銀行官網)

 

廣發銀行

廣發銀行是國內首批組建的股份制商業銀行之一。目前在全國設立了43家一級分行、843家營業機構,並與全球125個國家和地區的1,718家銀行總部及其分支機構建立了代理行關係,為超過30萬對公客戶、3,422萬個人客戶、5,711萬張信用卡客戶、2,427萬移動金融客戶提供優質、全面的金融服務。廣發銀行在移動金融創新領域一直走在行業前列,強力推動智慧化銀行發展,持續推動移動金融創新,在升級普惠金融、助力實體經濟等方面取得了豐富成果。

(摘自廣發銀行官網)

 

關於巨杉資料庫

目前,巨杉資料庫已經在目前,巨杉資料庫付費企業級客戶與社區用戶總數超過1000家,並已在超過50家500強級別的銀行、保險、證券等大型金融機構生產業務上線。

對於非結構化數據管理,巨杉資料庫在金融行業的應用場景包括:金融行業新一代影像平臺、內容管理雲平臺、傳統ECM替換、電腦視覺與人工智慧、金融雙錄系統以及電子證照等數十個個業務場景。

 

 

 原文鏈接:http://blog.sequoiadb.com/cn/Detail-id-76

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 這兩天看了蓋國強老師的<<深入淺出>>,很佩服蓋老師鑽研的精神。書中常用到一個查詢語句,為了獲取當前會話的跟蹤文件路徑,sql如下: 語句中包含了視圖 >v$mystat v$thread v$ parameter v$session v$process 對於v$mystat視圖在網上查了一下就出現 ...
  • 一、收到郵件顯示: 二、存儲過程代碼部分: BEGIN SET NOCOUNT ON; --初始化 Declare @MailTo nvarchar(max) Declare @MailCc nvarchar(max) Declare @MailBcc nvarchar(max) Declare @ ...
  • 1。表結構相同的表,且在同一資料庫(如,table1,table2)Sql :insert into table1 select * from table2 (完全複製)insert into table1 select distinct * from table2(不複製重覆紀錄)insert i ...
  • 多表聯查: select p.*,s.Sheng , i.Shifrom [dbo].[ProductRecordInfo] --表名 p left join [ShengInfo] s on p.ShengInfo = s.ShengId --使用left join左連接 讓兩個表中的指定欄位產生 ...
  • 進程堵塞處理方法: select * from sys.sysprocesses where blocked <>0 and DB_NAME(dbid)='GSHCPDB' ##查詢堵塞進程 dbcc inputbuffer(74) select * from sys.sysprocesses wh ...
  • 今天遇到了一個關於資料庫一致性錯誤的案例。海外工廠的一臺SQL Server 2005(9.00.5069.00 Standard Edition)資料庫在做DBCC CHECKDB的時候出現了一致性錯誤,下麵總結一下處理過程。具體的一致性錯誤信息如下所示: Msg 8992, Level 16, ... ...
  • https://www.cnblogs.com/wchxj/p/8159609.html 問題描述 場景:我們的應用系統是分散式集群的,可橫向擴展的。應用中某個介面操作滿足以下一個或多個條件: 1. 介面運行複雜代價大, 2. 介面返回數據量大, 3. 介面的數據基本不會更改, 4. 介面數據一致性 ...
  • 上一篇我們說了創建一個簡單的顯示報表,但在實際工作中,我們有很多要帶條件的報表 現在先認識一下報表數據,首次打開SSDT,報表數據在視窗的左側,要是找不到了,沒關係,在工具欄-視圖-最下麵的報表數據 下麵我們通過簡單的方式創建一個帶條件的報表 可以通過先創建參數再修改Sql語句,我在這裡為了簡單通過 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...