近日，上海交通大學軟體學院副院長王肇國和高斯實驗室GaussDB資料庫優化器專家Ethan聯手開展了一場以《智能優化揭秘——GaussDB資料庫查詢重寫的自動挖掘與生成》為主題的技術對談，深入探討了WeTune 2.0的重寫規則與GaussDB的合作落地。直播過程包含對WeTune 2.0的項目背景、WeTune改寫規則的自動發掘方式及實現、WeTune 2.0版本優勢、在GaussDB中的應用與技術轉化、未來前景等內容的解析與分享，一起傾聽他們產教融合背後的故事吧。以下是本訪談的文字記錄。

WeTune產品的項目背景

查詢改寫是資料庫SQL優化過程中非常重要的部分，在語義不變的情況下，它可以把一條普通的或者性能不好的SQL語句優化成一條性能更好的SQL語句，實現查詢效率的提升。改寫規則作為查詢改寫中最關鍵的一個組件，想要在資料庫裡面添加改寫規則，往往依賴於資料庫專家經驗的積累。如今，SQL語句的生成對象不再受限於程式員，外部框架和大模型也能夠自動生成，隨著生成源的增加，原來的SQL改寫規則不再適用。

由上海交通大學軟體學院副院長王肇國團隊開發出的WeTune剛好能解決這一問題，其核心思想就是自動發掘某些場景下的改寫規則。於是，華為雲資料庫GaussDB團隊與王肇國教授團隊深度合作，成功完成WeTune 2.0在GaussDB產品上的落地。

WeTune改寫規則的自動發掘方式

自動挖掘的前提是暴力枚舉，枚舉之後檢驗語義是否正確，通過等價性驗證去把最後一道關，所以，WeTune的等價性驗證能力決定了它能夠枚舉哪些規則。下麵是WeTune的改寫規則的自動發掘方式：

方式一，嘗試暴力枚舉所有在語法上合法的改寫規則；

方式二，用形式化驗證的方式去驗證枚舉的規則是否正確（輸入、輸出的SQL是否在語義上等價）；

方式三，借鑒資料庫cost estimation技術檢驗改寫規則是否有效，SQL優化性能是否更好。
在實際運用中，以上改寫規則的三種自動發掘方式也面臨著一些現實層面的挑戰。

暴力枚舉雖然空間大，但開銷也大，導致很多算力浪費。不過，上海交通大學軟體學院副院長王肇國團隊通過開發的一種只枚舉小規則的技術，用小規則去推大規則，解決算力浪費的問題。

等價性驗證。改寫規則等價性驗證，本質上就是SQL等價性驗證，把不可判定問題的驗證轉換成可滿足性等價、可判定問題的驗證。另外，SQL等價性本身是一個關係型代數，把它轉換成線性代數的求解。通過這兩個維度解決了現有的SQL等價性驗證問題，使得改寫規則的枚舉能力和範圍大大提升。目前WeTune 2.0支持SQL:1999所有語法的驗證。

除了借鑒資料庫cost estimation技術來檢驗SQL優化性能是否更好以外，還會創建資料庫實例，將改寫規則在資料庫實例上運行，以保證SQL優化效果最佳。

有了這三方面的解決方案之後，2022年，上海交通大學軟體學院副院長王肇國團隊對WeTune 1.0版本進行了一個性能測試。他們從GitHub上通過對起始時間、受歡迎程度等維度進行篩選排序，找了涵蓋電商、論壇等不同應用場景的20個開源應用，併在這些應用上運行程式，共收集了大概8500多條SQL語句。結果顯示，WeTune 1.0優化的SQL語句大概674條，而其他商業資料庫只能優化427條。相較而言，WeTune 1.0 優化效果大幅領先。

WeTune改寫規則的自動挖掘實現

WeTune 2.0在SQL等價性驗證、枚舉的能力和範圍、規則的表達上都進行了精心設計，對GaussDB使用體驗有極大提升。

第一，WeTune有驗證規則的能力。對於開發流程來講，驗證規則是很重要的一步。

第二，WeTune有自動發現規則的能力。重寫規則依賴人工、偏場景化會導致發現規則比較緩慢。WeTune可以幫助做優化，提高發現規則的效率。

第三，WeTune有自動枚舉的能力。等價驗證加上自動枚舉，自動挖掘一次能夠發現成千上萬條規則，相當於把查詢重寫整個模塊開發流程做了一個加速。對於一個商業的資料庫來講， WeTune自動挖掘可以減少開發人員冗餘的規則添加，提高開發效率，降低人力成本。

第四，WeTune定義新的查詢重寫語言。WeTune應用在GaussDB資料庫里，進行查詢重寫規則擴充的時候，其實定義了一種新的查詢重寫的語言。以前要寫很多行的代碼，才能給一套規則註入到引擎裡面。現在不用寫代碼，只需要兩三行的語言描述，通過規則驗證後，直接放在資料庫引擎裡面，完成一個規則的實現。對開發者來說，體驗非常好，對驗證流程和開發流程幫助極大。

WeTune 2.0版本優勢

相比WeTune 1.0版本，WeTune 2.0版本有幾個比較大的優勢：

第一，增強的WeTune枚舉能力，包括枚舉的速度和枚舉更多的複雜規則；

第二，增強的WeTune驗證能力，可以支持更多的SQL特性；

第三，可以讓用戶可讀、可載入、甚至可以直接使用手寫。

對比現有基於代碼的查詢引擎，WeTune 2.0不需要代碼、不需要編譯、不需要去發佈版本，客戶自己可以寫改寫規則，寫完之後，通過GaussDB提早準備的介面，直接放到資料庫裡面就可以即時生效。GaussDB可以為用戶提前預留好很多重寫規則，後續如發現重寫規則不夠用，可自行增加，非常方便。

第四，改寫規則可在客戶端實現部署。WeTune目前主要部署在雲端，後面改寫規則也可以部署在客戶端，進行自動載入，實現不同用戶間互不幹擾。

WeTune 2.0在華為雲GaussDB的落地

WeTune和現有資料庫應用落地過程中，不同的架構會面臨不同挑戰。WeTune 2.0在華為雲GaussDB的落地，從技術角度來講，GaussDB資料庫是System-R架構，它的重寫規則是耦合在代碼裡面，增加或卸載一個規則需要改寫查詢引擎。把WeTune應用在System-R架構上面涉及到理論、技術、工程層面的一些問題。

不過，上海交通大學和華為的積極交流和深入探討，也為彼此提供了不同的視角。
在資料庫開發過程中，改寫規則非常依賴人工經驗。隨著客戶場景越來越多，很多規則已經超出了現有的承載能力。從產品開發流程層面上講，想要在GaussDB裡面添加一個新的重寫規則，論證重寫規則是否等價是非常困難的。但是有了WeTune以後，開發者只要按照形式化語言去描述重寫規則，然後WeTune拿去做驗證，證明該規則在約束下是等價的，就可以放心地將該重寫規則添加到GaussDB中，節約驗證時間，對GaussDB的開發等流程非常有幫助。

WeTune從框架上去解決了這兩個重寫規則是否等價的問題，這是WeTune非常突出的貢獻點。對於客戶來說，在使用GaussDB進行SQL優化時，只管放心用，優化交給GaussDB；對於開發者來說，只需要關心SQL語義，性能交給GaussDB。

GaussDB引入WeTune2.0以後，自然會產生非常多的規則，幫助用戶優化SQL的同時，也引入了另外一個成本，即會產生了SQL優化代價。

如何解決引入大量規則之後，產生的性能問題？

從客戶角度來講，很多業務其實是相對比較固定的，而且上線之前也提前會做系統測試。若系統裡面SQL優化度很高，那麼就不必改寫規則和暴力枚舉，這樣就可以降低優化成本。

在實際環境中，大家希望資料庫有成千上萬條的改寫規則可以給用戶去用，可以生成改寫的SQL語句。但是，改寫規則非常多的時候，會導致改寫和規則匹配的時間非常長，導致資源的極大浪費，也會影響用戶體驗。那如何在性能上做加速呢？

目前來講，主要通過兩方面來去解決：

一方面是從通用的匹配演算法入手。當改寫規則非常多的時候，匹配演算法能夠幫助性能有數量級的提升；

另一方面，從應用的場景或從SQL產生的源頭來進行分類。不同應用場景下、不同業務目的、不同的框架需要的改寫規則不一樣，WeTune 2.0可以對於不同場景和需求來去做定製化的規則探索。

WeTune在資料庫產業的價值及未來前景

WeTune是多個技術合起來形成了一個規則挖掘。從學術角度來講，SQL等價性驗證可以往資料庫測試這個方向再邁一步。

在資料庫測試過程中，對於SQL的優化引擎，可以使用差分測試。差分測試是一種很經典的資料庫測試方式，驗證重寫規則可以使用，驗證SQL優化引擎過程中也適用。WeTune等價性驗證器可以去枚舉語義等價但形式完全不同的兩條SQL，這樣可以確保在測試對比過程中，程式運行是不一樣的路徑，可以更高效或覆蓋面更廣地完成資料庫引擎的測試任務。

WeTune不僅減輕了資料庫開發者或者DBA的負擔，目前在教育領域里有一定的應用，WeTune等價性驗證幫助國內外很多高校助教批改學生的資料庫作業，減輕資料庫教育工作者的工作壓力。

華為與高校的深度合作將持續推進，融合雙方的技術優勢和科研力量，共同探索資料庫領域的前沿技術，培養更多高水平的資料庫人才。未來，華為和上海交通大學研究團隊將攜手，共同突破資料庫查詢重寫技術的瓶頸，通過持續的創新和優化，進一步提升GaussDB的查詢性能和效率。我們期待更多的技術合作和探索，推動資料庫技術向智能化、自動化方向發展，為廣大企業和用戶帶來更多價值。

點擊關註，第一時間瞭解華為雲新鮮技術~