當GaussDB遇上了畢昇編譯器

来源:https://www.cnblogs.com/huaweiyun/archive/2023/06/12/17475675.html
-Advertisement-
Play Games

摘要:當應用軟體及硬體確定後,編譯器對應用的自動優化將成為應用性能的關鍵。 從應用優化說起 一個應用的優化通常有架構級優化、模塊級優化和函數級優化,高性能作為雲資料庫GaussDB主打特性之一,其在這幾方面都進行了大量的優化,也有很強的性能表現。如何進一步提升性能,是否還有其他方面的切入點? 答案之 ...


摘要:當應用軟體及硬體確定後,編譯器對應用的自動優化將成為應用性能的關鍵。

從應用優化說起

一個應用的優化通常有架構級優化、模塊級優化和函數級優化,高性能作為雲資料庫GaussDB主打特性之一,其在這幾方面都進行了大量的優化,也有很強的性能表現。如何進一步提升性能,是否還有其他方面的切入點?

答案之一是編譯器,編譯器作為人機交流的橋梁,一方面正確地把高級語言翻譯成機器語言,另一方通過各種優化變換方法生成更高效的等價語義,所以當應用軟體及硬體確定後,編譯器對應用的自動優化將成為應用性能的關鍵。

1.畢昇編譯器是什麼

畢昇編譯器是華為編譯器實驗室針對通用處理器架構構建,支持C/C++/Fortran編程語言,增強和引入了多種編譯優化技術,致力於打造高性能、高可信及易擴展的編譯器工具鏈。畢昇編譯器針對鯤鵬架構深度優化,SPEC CPU 2017性能較開源GCC提升30%。

  • 高性能:編譯深度優化,增強多核並行化,自動向量化等,大幅提升指令和數據呑吐量。
  • 多算力支持:支持其他Arm架構國產晶元,如飛騰。支持x86、RISC-V、龍芯等架構。
  • 高可信:商業+自研測試套,每日100萬+測試用例,全面質量保障;開發態提供多種安全編碼工具;社區CVE及時修複;車規級安全認證。

2. 相關編譯器優化技術

2.1 函數內聯(inline)

函數/過程是編程語言的重要組成部分,函數/過程之間的調用是有一定的開銷,比如保存和恢覆上下文、傳遞參數等操作開銷。函數內聯優化是一種常用的優化技術,它可以將函數調用處直接替換為函數體,從而減少函數調用的開銷。下麵是一個簡單的示例,展示瞭如何在編譯器中應用inline優化。

 int square(int x) { 
 return x * x; 
 } 
 int calculate(int a) { 
 return square(a) + square(a + 1); 
 } 

編譯器進行自動內聯後,如下:

 int calculate(int a) { 
 return (a * a) + ((a + 1) * (a + 1));
 }

在優化後的代碼中,不再有調用square函數的開銷,另外內聯後可以幫助編譯器發現更多的優化機會,比如本例中,可以進一步進行編譯期間的計算。

這隻是一個簡單的例子,實際的編譯器inline優化會更為複雜,涉及到更多的優化策略和技術。畢昇編譯器進行了inline優化增強,如下是mataERP場景下inline的情況。

函數內聯後對應用熱補丁機制有一定影響,製作工作量會略有增加。

2.2 指令預取優化

指令預取(Instruction Prefetching)是一種電腦體繫結構中的優化技術,用於提前獲取未來可能需要執行的指令數據,並將其預載入到指令緩存中,以減少指令訪問延遲和提高程式的執行效率。

在執行程式時,處理器需要從記憶體中獲取指令數據併進行解碼和執行。由於記憶體訪問的延遲比處理器的執行速度慢,處理器可能需要等待指令數據的到達,導致指令執行的停滯。為了剋服這種延遲,指令預取技術被引入。

指令預取的基本原理是根據程式的訪存模式和分支預測信息,提前預測和獲取未來可能需要執行的指令數據。這樣,當處理器執行到需要這些指令的時候,它們已經被預先載入到指令緩存(例如指令高速緩存)中,避免了等待時間。

如下麵這個來自GaussDB的函數:

畢昇編譯器(右側)插入了prfm預取指令,prfm是鯤鵬平臺上定義的記憶體數據預取指令,執行指令預取優化。

2.3 自動向量化技術

自動向量化技術是編譯器利用硬體架構提供的SIMD(single instruction multiple data)指令,如Arm的NEON/SVE指令,x86平臺的SSE/AVX指令,一條指令可以處理多路數據,從而提升應用二進位的執行效率。畢昇編譯器做了大量向量化新場景識別和演算法增強,並結合鯤鵬SIMD指令特點進行深度優化。

如上圖,如有兩組四個整形數據相加運算,左側需要四次操作,而右側向量化後只需要1次操作。

2.4 鏈接時優化技術

鏈接時優化LTO(Link Time Optimization)是程式鏈接期優化,也叫鏈接期過程間優化。如下圖,編譯器在鏈接時將所有編譯單元(過程)合併在一起,這樣可以發掘不同過程間的優化機會,比如內聯(inline)、函數特化(function specialization)、冗餘代碼消除、常量傳播等等,通常可以獲得更高的性能收益。當然同時也帶來編譯器時間加長的負面收益。

2.5 CFGO優化

對於控制流較多、對數據分段訪問較多的應用(例如資料庫類應用)非常適合編譯器的反饋類優化技術,CFGO(Continuous FGO)通過收集程式運行時信息(profile)進行優化決策。編譯器根據這些運行時信息指導各種編譯優化技術進行更準確的優化決策,生成目標程式。

3. 性能收益

畢昇編譯器協同GaussDB跨域創新,基於應用層優化、編譯中端優化、算力優化等多種手段對GaussDB應用場景持續優化。

  • 高性能:對插入、更新、刪除等不同負載的業務,畢昇 for GuassDB優化實現 TPCC性能提升30%,TPCH性能提升13%,應用性能提升5%-10%。
  • 高安全:畢昇編譯器全面升級代碼檢測工具,保障安全可信代碼開發,實現高質量、高安全的持續集成、交付與部署。

4. 總結與展望

資料庫和編譯器都是關鍵的基礎軟體,為關基行業提供軟體根技術,後續將進行如下幾方面的工作:

(1)完成GaussDB切換畢昇編譯器,直接獲取已有的性能收益;

(2)針對典型客戶場景,技術能力聯合創新和快速驗證;

(3)突破編譯器/虛擬機關鍵技術,支撐高斯PLSQL性能提升;

目前GaussDB已啟動切換畢昇編譯器進程,併在已經在銀行、政務雲等客戶進行了POC驗證,相信後續畢昇編譯器可以為GaussDB提供更強大的競爭力,從而也為更多行業客戶創造更多的商業價值。

另外,畢昇編譯器作為通用編譯器,也可涵蓋金融領域其他應用場景,如優化haproxy應用,助力工行音視頻交互服務獲得收益;落地上交所CICD,通過協助檢測記憶體安全、代碼規範,保障高質量交付。

 

點擊關註,第一時間瞭解華為雲新鮮技術~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • ## 硬碟壞道概念新知 現在一般很少提到硬碟壞道這個概念,硬碟無非壞了或者沒壞兩個狀態。玩NAS一段時間,就會遇到其中的中間狀態——“壞道”。本文僅就**機械硬碟**的“壞道”進行分析。 目前遇到過幾次文件系統損壞掛載不上。因為好玩,嘗試了多種文件系統。 1. ext4的硬碟斷電壞了,掛載提示nee ...
  • 大家好,我是 god23bin。今天我給大家帶來的是 Linux 命令系列,每天只需一分鐘,記住一個 Linux 命令不成問題。今天,需要你花費兩分鐘時間,因為我們要介紹的是兩個常用的查看文件內容的命令:cat 和 tail 命令。 ...
  • 問題 在系統日誌中(/var/log/messages),有時會看到大面積的下麵的報錯: nf_conntrack: table full, dropping packet 這說明系統接到了大量的連接請求,但是系統的連接跟蹤表已經滿了,無法再記錄新的連接了。這時候,系統會丟棄新的連接請求。 在 Ce ...
  • 目錄 一、免交互概念 二、基本免交互例子 三、expect 四、實驗演示 一、免交互概念 概念:對於shell腳本的自動化運維,就要實現免交互來達到自動化運維的效果 二、基本免交互例子 可以免交互統計出行號 1.命令行免交互統計 2.使用腳本免交互統計 3.使用免交互命令列印 4.免交互修改密碼 5 ...
  • # NFS遠程掛載 ## 一、概述 > NFS是一種基於TCP/IP 傳輸的網路文件系統協議。通過使用NFS協議,客戶機可以像訪問本地目錄一樣訪問遠程伺服器中的共用資源 > NAS存儲: NFS服務的實現依賴於RPC (Remote Process Call,遠端過程調用)機制,以完成遠程到本地的映 ...
  • 前言:window的命名規則禁止創建aux、con等命名文件和文件夾。 如果需要創建該文件或目錄,請使用cmd控制台創建,如下指令: 創建文件夾 D:\test>md aux\ 刪除文件夾 D:\test>rd aux\ 創建文件 D:\test>copy nul \\.\D:\aux.txt 已復 ...
  • # 安裝指定版本的mysql(mysql5.7) ## 目標:解決需求,安裝mysql5.7 ## 前言: > 安裝軟體的三種方式: > > 1. rpm 安裝 > 2. 源代碼編譯安裝 > 3. yum倉庫安裝 > - 本地光碟 > - 阿裡雲yum源 > - 自建yum倉庫文件夾 > 4. 去m ...
  • # 導入Maven依賴 ```XML org.apache.zookeeper zookeeper 3.4.6 org.apache.hbase hbase-client 2.2.5 org.apache.hadoop hadoop-client 3.2.1 org.apache.hadoop ha ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...