硬核解讀,WeTune是如何提升資料庫查詢重寫性能?

来源:https://www.cnblogs.com/huaweiyun/p/18283101
-Advertisement-
Play Games

在資料庫世界里,查詢重寫是提升性能的關鍵環節。WeTune作為一款革命性工具,能自動發現新重寫規則,打破現有系統依賴人工發現重寫規則的局限,大幅提升資料庫查詢性能。 ...


近日,上海交通大學軟體學院副院長王肇國和高斯實驗室GaussDB資料庫優化器專家Ethan聯手開展了一場以《智能優化揭秘——GaussDB資料庫查詢重寫的自動挖掘與生成》為主題的技術對談,深入探討了WeTune 2.0的重寫規則與GaussDB的合作落地。直播過程包含對WeTune 2.0的項目背景、WeTune改寫規則的自動發掘方式及實現、WeTune 2.0版本優勢、在GaussDB中的應用與技術轉化、未來前景等內容的解析與分享,一起傾聽他們產教融合背後的故事吧。以下是本訪談的文字記錄。

WeTune產品的項目背景

查詢改寫是資料庫SQL優化過程中非常重要的部分,在語義不變的情況下,它可以把一條普通的或者性能不好的SQL語句優化成一條性能更好的SQL語句,實現查詢效率的提升。改寫規則作為查詢改寫中最關鍵的一個組件,想要在資料庫裡面添加改寫規則,往往依賴於資料庫專家經驗的積累。如今,SQL語句的生成對象不再受限於程式員,外部框架和大模型也能夠自動生成,隨著生成源的增加,原來的SQL改寫規則不再適用。

由上海交通大學軟體學院副院長王肇國團隊開發出的WeTune剛好能解決這一問題,其核心思想就是自動發掘某些場景下的改寫規則。於是,華為雲資料庫GaussDB團隊與王肇國教授團隊深度合作,成功完成WeTune 2.0在GaussDB產品上的落地。

WeTune改寫規則的自動發掘方式

自動挖掘的前提是暴力枚舉,枚舉之後檢驗語義是否正確,通過等價性驗證去把最後一道關,所以,WeTune的等價性驗證能力決定了它能夠枚舉哪些規則。下麵是WeTune的改寫規則的自動發掘方式:

方式一,嘗試暴力枚舉所有在語法上合法的改寫規則;

方式二,用形式化驗證的方式去驗證枚舉的規則是否正確(輸入、輸出的SQL是否在語義上等價);

方式三,借鑒資料庫cost estimation技術檢驗改寫規則是否有效,SQL優化性能是否更好。
在實際運用中,以上改寫規則的三種自動發掘方式也面臨著一些現實層面的挑戰。

暴力枚舉雖然空間大,但開銷也大,導致很多算力浪費。不過,上海交通大學軟體學院副院長王肇國團隊通過開發的一種只枚舉小規則的技術,用小規則去推大規則,解決算力浪費的問題。

等價性驗證。改寫規則等價性驗證,本質上就是SQL等價性驗證,把不可判定問題的驗證轉換成可滿足性等價、可判定問題的驗證。另外,SQL等價性本身是一個關係型代數,把它轉換成線性代數的求解。通過這兩個維度解決了現有的SQL等價性驗證問題,使得改寫規則的枚舉能力和範圍大大提升。目前WeTune 2.0支持SQL:1999所有語法的驗證。

除了借鑒資料庫cost estimation技術來檢驗SQL優化性能是否更好以外,還會創建資料庫實例,將改寫規則在資料庫實例上運行,以保證SQL優化效果最佳。

有了這三方面的解決方案之後,2022年,上海交通大學軟體學院副院長王肇國團隊對WeTune 1.0版本進行了一個性能測試。他們從GitHub上通過對起始時間、受歡迎程度等維度進行篩選排序,找了涵蓋電商、論壇等不同應用場景的20個開源應用,併在這些應用上運行程式,共收集了大概8500多條SQL語句。結果顯示,WeTune 1.0優化的SQL語句大概674條,而其他商業資料庫只能優化427條。相較而言,WeTune 1.0 優化效果大幅領先。

WeTune改寫規則的自動挖掘實現

WeTune 2.0在SQL等價性驗證、枚舉的能力和範圍、規則的表達上都進行了精心設計,對GaussDB使用體驗有極大提升。

第一,WeTune有驗證規則的能力。對於開發流程來講,驗證規則是很重要的一步。

第二,WeTune有自動發現規則的能力。重寫規則依賴人工、偏場景化會導致發現規則比較緩慢。WeTune可以幫助做優化,提高發現規則的效率。

第三,WeTune有自動枚舉的能力。等價驗證加上自動枚舉,自動挖掘一次能夠發現成千上萬條規則,相當於把查詢重寫整個模塊開發流程做了一個加速。對於一個商業的資料庫來講, WeTune自動挖掘可以減少開發人員冗餘的規則添加,提高開發效率,降低人力成本。

第四,WeTune定義新的查詢重寫語言。WeTune應用在GaussDB資料庫里,進行查詢重寫規則擴充的時候,其實定義了一種新的查詢重寫的語言。以前要寫很多行的代碼,才能給一套規則註入到引擎裡面。現在不用寫代碼,只需要兩三行的語言描述,通過規則驗證後,直接放在資料庫引擎裡面,完成一個規則的實現。對開發者來說,體驗非常好,對驗證流程和開發流程幫助極大。

WeTune 2.0版本優勢

相比WeTune 1.0版本,WeTune 2.0版本有幾個比較大的優勢:

第一,增強的WeTune枚舉能力,包括枚舉的速度和枚舉更多的複雜規則;

第二,增強的WeTune驗證能力,可以支持更多的SQL特性;

第三,可以讓用戶可讀、可載入、甚至可以直接使用手寫。

對比現有基於代碼的查詢引擎,WeTune 2.0不需要代碼、不需要編譯、不需要去發佈版本,客戶自己可以寫改寫規則,寫完之後,通過GaussDB提早準備的介面,直接放到資料庫裡面就可以即時生效。GaussDB可以為用戶提前預留好很多重寫規則,後續如發現重寫規則不夠用,可自行增加,非常方便。

第四,改寫規則可在客戶端實現部署。WeTune目前主要部署在雲端,後面改寫規則也可以部署在客戶端,進行自動載入,實現不同用戶間互不幹擾。

WeTune 2.0在華為雲GaussDB的落地

WeTune和現有資料庫應用落地過程中,不同的架構會面臨不同挑戰。WeTune 2.0在華為雲GaussDB的落地,從技術角度來講,GaussDB資料庫是System-R架構,它的重寫規則是耦合在代碼裡面,增加或卸載一個規則需要改寫查詢引擎。把WeTune應用在System-R架構上面涉及到理論、技術、工程層面的一些問題。

不過,上海交通大學和華為的積極交流和深入探討,也為彼此提供了不同的視角。
在資料庫開發過程中,改寫規則非常依賴人工經驗。隨著客戶場景越來越多,很多規則已經超出了現有的承載能力。從產品開發流程層面上講,想要在GaussDB裡面添加一個新的重寫規則,論證重寫規則是否等價是非常困難的。但是有了WeTune以後,開發者只要按照形式化語言去描述重寫規則,然後WeTune拿去做驗證,證明該規則在約束下是等價的,就可以放心地將該重寫規則添加到GaussDB中,節約驗證時間,對GaussDB的開發等流程非常有幫助。

WeTune從框架上去解決了這兩個重寫規則是否等價的問題,這是WeTune非常突出的貢獻點。對於客戶來說,在使用GaussDB進行SQL優化時,只管放心用,優化交給GaussDB;對於開發者來說,只需要關心SQL語義,性能交給GaussDB。

GaussDB引入WeTune2.0以後,自然會產生非常多的規則,幫助用戶優化SQL的同時,也引入了另外一個成本,即會產生了SQL優化代價。

如何解決引入大量規則之後,產生的性能問題?

從客戶角度來講,很多業務其實是相對比較固定的,而且上線之前也提前會做系統測試。若系統裡面SQL優化度很高,那麼就不必改寫規則和暴力枚舉,這樣就可以降低優化成本。

在實際環境中,大家希望資料庫有成千上萬條的改寫規則可以給用戶去用,可以生成改寫的SQL語句。但是,改寫規則非常多的時候,會導致改寫和規則匹配的時間非常長,導致資源的極大浪費,也會影響用戶體驗。那如何在性能上做加速呢?

目前來講,主要通過兩方面來去解決:

一方面是從通用的匹配演算法入手。當改寫規則非常多的時候,匹配演算法能夠幫助性能有數量級的提升;

另一方面,從應用的場景或從SQL產生的源頭來進行分類。不同應用場景下、不同業務目的、不同的框架需要的改寫規則不一樣,WeTune 2.0可以對於不同場景和需求來去做定製化的規則探索。

WeTune在資料庫產業的價值及未來前景

WeTune是多個技術合起來形成了一個規則挖掘。從學術角度來講,SQL等價性驗證可以往資料庫測試這個方向再邁一步。

在資料庫測試過程中,對於SQL的優化引擎,可以使用差分測試。差分測試是一種很經典的資料庫測試方式,驗證重寫規則可以使用,驗證SQL優化引擎過程中也適用。WeTune等價性驗證器可以去枚舉語義等價但形式完全不同的兩條SQL,這樣可以確保在測試對比過程中,程式運行是不一樣的路徑,可以更高效或覆蓋面更廣地完成資料庫引擎的測試任務。

WeTune不僅減輕了資料庫開發者或者DBA的負擔,目前在教育領域里有一定的應用,WeTune等價性驗證幫助國內外很多高校助教批改學生的資料庫作業,減輕資料庫教育工作者的工作壓力。

華為與高校的深度合作將持續推進,融合雙方的技術優勢和科研力量,共同探索資料庫領域的前沿技術,培養更多高水平的資料庫人才。未來,華為和上海交通大學研究團隊將攜手,共同突破資料庫查詢重寫技術的瓶頸,通過持續的創新和優化,進一步提升GaussDB的查詢性能和效率。我們期待更多的技術合作和探索,推動資料庫技術向智能化、自動化方向發展,為廣大企業和用戶帶來更多價值。

 

 

點擊關註,第一時間瞭解華為雲新鮮技術~

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 《Spark 快速大數據分析》是一本為 Spark 初學者準備的書,它沒有過多深入實現細節,而是更多關註上層用戶的具體用法。不過,本書絕不僅僅限於 Spark 的用法,它對 Spark 的核心概念和基本原理也有較為全面的介紹,讓讀者能夠知其然且知其所以然。 Spark快速大數據分析PDF下載 本書作 ...
  • 二、MySQL基礎操作 1. 資料庫操作 顯示所有資料庫 SHOW DATABASES; 創建資料庫 CREATE DATABASE MyDb; 刪除資料庫 -- 直接刪除庫,不檢查是否存在 DROP DATABASE MyDb; -- 或檢查是否存在 DROP DATABASE [IF EXIST ...
  • 引言 這篇文章將給大家講解關於DolphinScheduler與AWS的EMR和Redshift的集成實踐,通過本文希望大家能更深入地瞭解AWS智能湖倉架構,以及DolphinScheduler在實際應用中的重要性。 AWS智能湖倉架構 首先,我們來看一下AWS經典的智能湖倉架構圖。 這張圖展示了以 ...
  • GreatSQL中 Insert 慢是什麼情況? 背景概述 客戶反映,業務上某張表的 Insert 操作速度很慢,單條 Insert 語句的最大執行時間超過了 5 秒。在收到客戶問題後,我們仔細檢查了資料庫狀態以及主機的負載情況,發現目前一切正常,並沒有發現資料庫故障或主機負載過高導致 insert ...
  • MongoDB 的介紹 MongoDB 是一個開源的非關係型資料庫系統,採用 C++ 編寫,旨在處理大量數據存儲和高吞吐量的應用程式。MongoDB 使用 JSON 風格的文檔存儲數據,具有高度的靈活性和性能。 主要特點: 非關係型資料庫:不採用傳統的關係型資料庫表格模型,而是使用文檔存儲模型。 高 ...
  • 採訪對象 | 陳炳燁 採訪人&編輯 | Debra Chen Apache SeaTunnel社區第一位學生Committer就此誕生!這位來自西安交通大學軟體工程專業的同學從較為簡單的文檔修改工作,逐步深入到代碼層面,到最後獨立負責開發模塊,為Apache SeaTunnel項目的發展添磚加瓦的同 ...
  •  本系列文章是 DolphinScheduler 由淺入深的教程,涵蓋搭建、二開迭代、核心原理解讀、運維和管理等一系列內容。適用於想對 DolphinScheduler瞭解或想要加深理解的讀者。 祝開卷有益:) 用過 DolphinScheduler 的小伙伴應該都知道,DolphinSched ...
  • 本書從一個系統化的視角,秉承大道至簡的主導思想,介紹Spark中最值得關註的內 容,講解Spark部署、開發實戰,並結合Spark的運行機制及拓展,幫讀者開啟Spark技術之旅。 Spark大數據處理:技術、應用與性能優化(全)PDF下載 Spark已經在全球範圍內廣泛使用,無論是Intel、Yah ...
一周排行
    -Advertisement-
    Play Games
  • 通過WPF的按鈕、文本輸入框實現了一個簡單的SpinBox數字輸入用戶組件並可以通過數據綁定數值和步長。本文中介紹了通過Xaml代碼實現自定義組件的佈局,依賴屬性的定義和使用等知識點。 ...
  • 以前,我看到一個朋友在對一個系統做初始化的時候,通過一組魔幻般的按鍵,調出來一個隱藏的系統設置界面,這個界面在常規的菜單或者工具欄是看不到的,因為它是一個後臺設置的關鍵界面,不公開,同時避免常規用戶的誤操作,它是作為一個超級管理員的入口功能,這個是很不錯的思路。其實Winform做這樣的處理也是很容... ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他的程式每次關閉時就會自動崩潰,一直找不到原因讓我幫忙看一下怎麼回事,這位朋友應該是第二次找我了,分析了下 dump 還是挺經典的,拿出來給大家分享一下吧。 二:WinDbg 分析 1. 為什麼會崩潰 找崩潰原因比較簡單,用 !analyze -v 命 ...
  • 在一些報表模塊中,需要我們根據用戶操作的名稱,來動態根據人員姓名,更新報表的簽名圖片,也就是電子手寫簽名效果,本篇隨筆介紹一下使用FastReport報表動態更新人員簽名圖片。 ...
  • 最新內容優先發佈於個人博客:小虎技術分享站,隨後逐步搬運到博客園。 創作不易,如果覺得有用請在Github上為博主點亮一顆小星星吧! 博主開始學習編程於11年前,年少時還只會使用cin 和cout ,給單片機點點燈。那時候,類似async/await 和future/promise 模型的認知還不是 ...
  • 之前在阿裡雲ECS 99元/年的活動實例上搭建了一個測試用的MINIO服務,以前都是直接當基礎設施來使用的,這次準備自己學一下S3相容API相關的對象存儲開發,因此有了這個小工具。目前僅包含上傳功能,後續計劃開發一個類似圖床的對象存儲應用。 ...
  • 目錄簡介快速入門安裝 NuGet 包實體類User資料庫類DbFactory增刪改查InsertSelectUpdateDelete總結 簡介 NPoco 是 PetaPoco 的一個分支,具有一些額外的功能,截至現在 github 星數 839。NPoco 中文資料沒多少,我是被博客園群友推薦的, ...
  • 前言 前面使用 Admin.Core 的代碼生成器生成了通用代碼生成器的基礎模塊 分組,模板,項目,項目模型,項目欄位的基礎功能,本篇繼續完善,實現最核心的模板生成功能,並提供生成預覽及代碼文件壓縮下載 準備 首先清楚幾個模塊的關係,如何使用,簡單畫一個流程圖 前面完成了基礎的模板組,模板管理,項目 ...
  • 假設需要實現一個圖標和文本結合的按鈕 ,普通做法是 直接重寫該按鈕的模板; 如果想作為通用的呢? 兩種做法: 附加屬性 自定義控制項 推薦使用附加屬性的形式 第一種:附加屬性 創建Button的附加屬性 ButtonExtensions 1 public static class ButtonExte ...
  • 在C#中,委托是一種引用類型的數據類型,允許我們封裝方法的引用。通過使用委托,我們可以將方法作為參數傳遞給其他方法,或者將多個方法組合在一起,從而實現更靈活的編程模式。委托類似於函數指針,但提供了類型安全和垃圾回收等現代語言特性。 基本概念 定義委托 定義委托需要指定它所代表的方法的原型,包括返回類 ...