華為雲蘇光牛:堅持產品能力的升級,做金融數字化的堅實數據底座

来源:https://www.cnblogs.com/huaweiyun/archive/2023/06/16/17485539.html
-Advertisement-
Play Games

摘要:華為全球智慧金融峰會2023上,華為雲資料庫服務產品部總經理蘇光牛帶來了《華為雲分散式資料庫GaussDB,做金融數字化的堅實數據底座》的主題分享。 6月7日,華為全球智慧金融峰會2023在上海順利舉行,華為雲資料庫服務產品部總經理蘇光牛帶來了《華為雲分散式資料庫GaussDB,做金融數字化的 ...


摘要:華為全球智慧金融峰會2023上,華為雲資料庫服務產品部總經理蘇光牛帶來了《華為雲分散式資料庫GaussDB,做金融數字化的堅實數據底座》的主題分享。

6月7日,華為全球智慧金融峰會2023在上海順利舉行,華為雲資料庫服務產品部總經理蘇光牛帶來了《華為雲分散式資料庫GaussDB,做金融數字化的堅實數據底座》的主題分享,為大家介紹了華為雲GaussDB的商業進展和技術創新能力。

以下是演講實錄:

尊敬的各位領導、各位來賓,大家下午好!非常感謝大家蒞臨本次峰會,今天,我主要給大家分享下GaussDB的商業進展以及產品能力升級方面的最新情況。

1.華為雲GaussDB正在從金融覆蓋到更多行業

從2019年開始,我們在華為內部通過持續的錘煉,推出了融合多項技術的自主創新的GaussDB資料庫,而且陸續完成了華為公司內部核心系統的替代,這裡麵包括三個方面。

第一個是我們在終端雲上實現了6PB數據的全面替代和上線,分散式節點有6千個節點的規模,資源利用率提升了30%。

第二個是在ERP的替換中,我們替換了600多套的業務庫,經歷了十倍流量的突發流量考驗,業務效率得到了10倍的提升,實現了零故障、零時延和零調賬。這裡簡單給大家普及一下,華為公司的訂單系統的特點,每到一個月的月末,每到一個季度的結束以及每年結束的時候,它的流量是平時流量的5-10倍。所以華為公司在ERP上線的時候,我們是經歷了20倍流量的測試和壓測才能上線。

第三個就是我們的運營商設備,累計發貨也有30多萬套。

從我們的收入結構也可以發現,GaussDB從最初的金融行業已經覆蓋到更多的關基行業,非金融的占比提升了一倍,越來越多的客戶選擇GaussDB作為其數字化轉型的伙伴。

2.在豐富的實踐場景中打磨成熟

我們知道,資料庫是一個全場景的軟體,所以場景實際上是資料庫的磨刀石。下麵,我將進一步解讀剛纔講的這幾個業務和後面要講的金融業務對資料庫的磨煉是極其重要的。

華為的MetaERP系統,是一個典型的重度的使用傳統商業資料庫的場景,也是製造業裡面非常典型的一個應用的代表,在華為公司,ERP是我們的生產系統,它支撐了華為每年數千億訂單,170多個國家的訂單發貨。從華為自身業務連續性的視角看,華為的ERP替換,相當於長征途中的強渡大渡河。作為全球資料庫應用場景最複雜的ERP系統之一,華為的MetaERP面臨幾個挑戰:第一個就是有近7億行的SQL腳本需要改造;第二個我剛也提到了,業務高峰期業務流量可能達到5-10倍,在實際上線前,我們做了20倍流量的壓測;第三個就是大表的改造,有最大160億行大表,超過100億行的表就有十幾個,這些大表的遷移都非常具有挑戰性。那如何解決呢?

第一個,對於SQL腳本的替換,我們的UGO工具實現了近100%的自動化結構遷移。今天,我們去替換資料庫,如果還投入幾十個人去改造一個應用實現替換的話,是不可以維繫的。第二個,就是數據遷移,我們是在35個小時內,實現了3200億行數據的遷移。也就是說,今天大家已經不用擔心數據遷移的一致性和完備性問題了。

另外,我們通過智能代價估計、高效索引併發控制等演算法順利地通過了業務歷史最大峰值20倍流量的壓測。

這裡也給大家講一個小故事,在ERP切換成功後,華為成都的一個操作人員,第一次運行資產核算任務,只用了3分鐘。但是之前這個操作人員的歷史經驗都需要2個多小時。所以他認為這次可能是運行失敗了,按照操作的規範立即預警。經過實際確認,結果是準確的,是一個“美麗的誤會”。

而華為終端雲服務,這個代表著新興的一類生於雲、長於雲的雲原生企業的典型應用,它的主要挑戰是什麼呢?首先是成本問題,如何提升資源利用率,特別是在海量的數據和分散式的情況下,大量的部署節點帶來的成本問題以及傳統的機房轉換到雲上的成本挑戰;其次是海量業務帶來的大量的分散式的訴求,需要有非常強的擴展性,和彈性伸縮能力;最後是數據多樣化,因為其中既有關係型數據,也有非關係型數據。

GaussDB原生的分散式架構,使負載更加均衡,已經上線的最大單集群節點數超過了200個,並且支持多種生態,實現了資源利用率和運營效率的大幅度提升。

還有就是對資料庫要求最高的金融核心系統,幾乎所有的金融CIO或CTO都知道遷移並不好做,金融行業大量的應用都重度依賴傳統資料庫的介面,存在大量的不確定性,客戶都希望有一套可量化的、逐步推進執行的方案。

從晶元、伺服器、存儲、網路到資料庫、操作系統,GaussDB是當前國內唯一能夠做到軟硬協同、全棧自主創新的國產品牌,高度相容傳統資料庫的語法,有一站式的數據加應用平滑遷移方案,使得遷移變得更簡單。同時基於多數派協議的原生分散式架構,更大幅提升了系統的可用性。

3.面向更深入、更廣泛的場景,我們思考如何更好地滿足客戶訴求

隨著GaussDB的成熟,未來GaussDB將向兩個方向發展。第一是做深做透金融行業,一次性解決金融客戶數字化轉型和可持續發展的雙重訴求;第二是從金融走向政務、能源、交通等更多關鍵信息基礎設施行業,這也是我們一個新的使命。

在做深做透金融上,我們發現客戶以前只關註介面的適配性,現在開始逐步重視替換後應用的可用性、穩定性。大家都知道,主機的可靠性大部分來自硬體,而沒有了這種專用硬體的加持,如何通過軟硬體協同保障大機整體可用性指標就非常重要了。金融核心業務不同於互聯網追求性能峰值的極限,更需要的是一個確定的不抖動的性能,讓每一筆交易的時延都可控。最後,在客戶從幾個應用替換到幾百個應用替換的落地過程中,如何把遷移做成可量化的實施過程,是擺在每個金融CIO眼前最大的挑戰。

近些年,關基行業的數據規模也越來越大,由於科技力量薄弱,技術人員投入相對較少,就需要資料庫簡單易用,最好能直接復用在金融行業已經實踐成熟的技術來降低總體擁有成本,實現快速推進。

4.GaussDB始終以安全可信、高質量為首要目標

為了滿足更多場景的客戶訴求,今天我們發佈了新一代的分散式資料庫GaussDB,具備五高兩易的全面能力。下來我就其中的一些關鍵的新能力跟大家做一下解讀和分享。

在講具體的產品能力升級變化之前,我想先給大家分享下GaussDB沒變的東西,那就是我們對安全可信、高質量的追求。

從產品定義、代碼實現、開源治理到運營運維等各個環節,GaussDB基於華為軟體工程全棧可信框架,實現了從結果可信到過程可信,做到了包括開發GaussDB軟體的整個工具鏈在內的真正的自主創新。

同時,我們構建起了一個9層的測試防護網,通過全鏈路的深度交互測試平臺減少低概率、複雜交互類的問題,當前已有20萬測試用例消減了大部分基本問題,今年我們還會繼續增加到80萬,還構建了10多個金融客戶場景化的防護網,消減了金融場景化的問題,實現真正的高質量。

5.聚焦客戶業務痛點,GaussDB產品關鍵能力全新升級

在產品能力升級上,我想大家最關心的還是可用性。我們的GaussDB新版本支持了Paxos一致性協議,更好地提升了RTO,高負載業務下DN故障倒換可以穩定在10秒以內;去年我們跟工商銀行聯創推出了國內首個雙集群強一致的方案,實現了集群級故障完全隔離RPO=0,雙AZ雙活;今年我們又進一步支持了雙集群的邏輯複製,以及全新的應用無損透明切換方案,做到應用大版本升級完全不停機,主備倒換應用微感知,真正實現大機業務7*24小時不間斷。

在性能上,GaussDB存儲引擎可以實現業務長時間頻繁更新下依然保持系統高性能,同時不抖動。這得益於GaussDB和招行的聯創,我們重構了底層的整個存儲引擎,採用的是原地更新的模式,它和常見的基於不斷追加的這種引擎最大的區別是,傳統的模式在底層垃圾的回收和記憶體做數據化的時候會有非常大的抖動。經過實測,我們在大壓力的情況下,性能的抖動依然可以控制在3%,同時存儲空間的利用率提升了17%。

在智能化上,對DBA來說,最頭疼的就是在系統出現亞健康狀態的時候,如何能夠快速感知到問題,及時地進行識別和分析,方便進一步操作。作為國內首個AI-Native資料庫,GaussDB提供從應用開發到運維階段全流程的資料庫智能化體驗,有全新的SQL Audit工具,在開發驗證階段就完成SQL自動審核,減少亞健康出現的情況,一旦出現亞健康狀態,GaussDB可以快速感知到問題,識別出實時慢SQL,併進一步通過慢SQL的耗時點分析,自動診斷出是否處於被阻塞狀態,以便運維人員進行判斷查殺。在一些嚴重過載的情況下,我們還有過載熔斷能力可以自動kill過載會話,避免因個別慢SQL拖住整個系統。還有DBMind的慢SQL根因分析、索引推薦、異常檢測等多種運維功能也讓DBA更加得心應手。

除了上面講的這些硬核技術外,對於客戶關註的性價比、平滑遷移,GaussDB的新版本也做了大量的工作。首先是海量數據帶來的存儲資源壓力。壓縮是一個辦法,但簡單的高壓縮比並不是我們追求的目標,我們更關註的是如何讓業務儘量無感地使用壓縮,並且性能不會有大幅降低,最好控制在5%,甚至更低的性能影響,這才是真正有用的壓縮。我們既能夠降低資源的使用,對應用的侵入性更小。

其次,新版本還將支持內核多租戶的能力,幫助用戶可以快速在不同的租戶資源上進行遷移,讓應用使用更加靈活,資源利用率更高。

最後,GaussDB有一站式的遷移解決方案,讓原本不確定的遷移工作變成一個確定性的事情。第一個就是我們的UGO,可以對現有系統的所有應用進行掃描和評估,告訴我們哪些能夠相容,哪些不能相容,以及如何進行改造,現在我們已經做到95%的自動化。第二個就是DRS,可以實現線上零中斷遷移,並且通過數據比對保證數據零丟失。第三個是流量回放,和UGO配合,可以真實地抓取源資料庫上的流量,在新資料庫上進行回放,避免大家現在普遍遇到的覆蓋不全的問題。我認為,只有通過上述工程化可落地的方案,才能真正地實現國產資料庫的規模替換。

資料庫的發展,除了產品的創新,更離不開產學研用的通力合作。金融客戶是資料庫的重要出發點和落腳點,為GaussDB的發展起到了關鍵的作用。我們希望更多的金融客戶能夠開放自己更多的典型業務場景,基於分散式架構,來設計自己的多地多中心方案,形成最佳實踐,加速推進行業數字化轉型。

號外

7月7日,華為開發者大會2023 ( Cloud )將拉開帷幕,並將在國內30多個城市、海外10多個國家開設分會場,誠邀您參加這場不容錯過的年度開發者盛會,讓我們一起開啟探索之旅!

我們將攜手開發者、客戶、合作伙伴,為您呈現華為雲系列產品服務與豐富的創新實踐,並與您探討AI、大數據、資料庫、PaaS、aPaaS、媒體服務、雲原生、安全、物聯網、區塊鏈、開源等技術話題,展開全面深入的交流。

大會將匯聚全球科學家、行業領袖、技術專家、社區大咖,開設200多場開發者專題活動,為全球開發者提供面對面交流與合作的機會,共同探討技術創新和業務發展。

大會官網:https://developer.huaweicloud.com/HDC.Cloud2023.html

參會購票:https://www.vmall.com/product/10086352254099.html?cid= 211761

點擊參與開發者社區活動,觀賞技術大咖秀、玩轉技術夢工廠,有機會贏取4000元開發者禮包!

歡迎關註“華為雲開發者聯盟”公眾號,獲取大會議程、精彩活動和前沿乾貨。

 

點擊關註,第一時間瞭解華為雲新鮮技術~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • # 背景 如題,這可能算是.net 做小程式的服務端時,繞不開的一個問題,老生常談了。同樣的問題,我記得我2018/19年的一個項目的解決方案是: **修改官方的SignalR.js的客戶端**:把裡面用到瀏覽器的Websocket改成微信小程式的官方api的。目前網上也有不少這樣的方案,已經改好開 ...
  • ## 一、問題一:不能正常開啟虛擬機 創建虛擬機後,我錯誤的使用了`shutdown now`的關機命令,每次關機不能正常啟動虛擬機,需要重啟VMware的五大服務,然後重啟電腦才能正常啟動虛擬機。 ## 二、問題二:啟動虛擬機黑屏的解決方案 偶爾啟動虛擬機時,會一直長時間的黑屏沒有反應,從網上查找 ...
  • ## 一、虛擬機鏡像地址 [我這裡有鏡像](https://msdn.itellyou.cn/) ## 二、目的 使用vmware搭建centos虛擬機集群,進行基礎服務搭建,對系統業務提供服務支撐 ## 三、效果 centos虛擬機ip不會自動改變,使用設置的靜態ip,可以整個區域網互相訪問 ## ...
  • ​改革開放以來,我國國民經濟與科學技術取得了長足的發展,信息化、工業成熟度與自動化程度不斷深化,極大地增強了國家的綜合實力、在世界範圍內顯示了大國地位。在當前科技產業的發展和變革的歷史性交匯期,“工業4.0”、“中國製造2025”等一系列加快我國製造業轉型升級、提高製造業核心競爭力的政策正在推動製造 ...
  • 本文分享自天翼雲開發者社區《淺談HPC中的Lustre》,作者:n****m 1. 什麼是 lustre? Lustre 體繫結構是一個為集群設計的存儲體繫結構。 其核心組件是運行在 Linux 操作系統上、 支持標準的 POSIX* UNIX 文件系統介面、 並遵循 GPL2.0 許可的 Lust ...
  • ![file](https://img2023.cnblogs.com/other/3195851/202306/3195851-20230616175541667-1729991882.jpg) Catalog(目錄)提供了關於資料庫、表格和訪問數據所需的信息的元數據,以及統一的 API 來管理元 ...
  • ![file](https://img2023.cnblogs.com/other/2685289/202306/2685289-20230616173226789-2009691483.jpg) > 截至今天,Apache DolphinScheduler 項目在 GitHub 上的 Star 數 ...
  • > mysql單表數據量太大 導致查詢緩慢問題如何解決 您好,這是Bing。根據網路搜索結果,mysql單表數據量太大導致查詢緩慢的問題有以下幾種可能的解決方案: - 使用索引。索引是一種數據結構,可以幫助資料庫高效地獲取數據。索引可以根據WHERE和JOIN中出現的列創建,以提高查詢效率。索引的種 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...