本文分享自華為雲社區《全球廠商之最，華為GaussDB&GeminiDB，17篇論文入選國際資料庫頂會ICDE》 ，作者：GaussDB 資料庫。 5月13-17日，國際資料庫頂級學術會議 ICDE 2024 於荷蘭烏得勒支舉行。華為GaussDB 和GeminiDB 17篇論文入選，成為全球論文入 ...
本文分享自華為雲社區《全球廠商之最，華為GaussDB&GeminiDB，17篇論文入選國際資料庫頂會ICDE》 ，作者：GaussDB 資料庫。
5月13-17日，國際資料庫頂級學術會議 ICDE 2024 於荷蘭烏得勒支舉行。華為GaussDB 和GeminiDB 17篇論文入選，成為全球論文入選數量最多的資料庫廠商。華為愛丁堡研究所資料庫實驗室主任Nikolaos Ntarmos發表了題為”Huawei Cloud GaussDB, a Better Way to Database“的演講，向全球的學術機構和代表介紹了華為GaussDB的技術和商業成果。
ICDE全稱為”IEEE International Conference on Data Engineering”（IEEE國際數據工程大會），與SIGMOD、VLDB 並稱資料庫領域三大頂會，是資料庫領域最權威的國際頂級學術會議之一，在國際上享有盛譽並具有廣泛的學術影響力。
ICDE收錄了各大研究機構以及科技企業在資料庫領域最前沿、最頂級的研究成果。ICDE 2024是第40屆IEEE國際數據工程大會，華為17篇論文的入選，是華為科研團隊與外部團隊或組織友好合作共同努力的結果。下麵將摘選華為在本次大會入選的部分論文，後續將對所有入選的論文進行專題解讀。
GaussML: An End-to-End In-database Machine Learning System
《GaussML: An End-to-End In-database Machine Learning System》論文是由清華大學、華為和蘇黎世理工大學聯合共同完成，通過提升資料庫內機器學習演算法訓練和推理的性能，深度滿足用戶實時性分析的訴求。該論文獲得大會評審組的高度評價，認為其提出了一個全新的機器學習引擎。
原生庫內機器學習框架，簡稱GaussML，將機器學習訓練作為執行運算元，利用資料庫並行和分散式能力，展示出超越業界同類產品10倍以上機器學習推理和訓練的性能優勢，主要能力包括：
第一，論文首次提出資料庫內原生AI機器學習引擎的架構，機器學習演算法訓練和推理融合在SQL執行流程中，藉助資料庫的優化器、負載管理、併發處理、分散式並行能力，實現機器學習訓練和推理的極致高效；
第二，GaussML同時構建庫內AutoML能力，可以自適應進行參數調整，根據負載變化進行模型更正，設計一種端到端模型自動調優的能力，簡化用戶調整模型參數代價，提升資料庫內模型的使用便利；
第三，GaussML通過在資料庫內置原生機器學習訓練和推理流程，實現端到端自動調優能力，構建完整的庫內機器學習引擎，支撐客戶業務的智能實時分析。該框架通過提供SQL-like介面，簡化數據科學家使用機器學習訓練和推理代價，支持常用的機器學習演算法，滿足絕大多數客戶使用。
綜上，論文中提出一種全新的機器學習引擎，在多個公開數據集上該引擎表現出卓越的高性能優勢，向資料庫智能化發展上邁出了更遠一步。
GaussDB-Global: A Geographically Distributed Database System
《GaussDB-Global: A Geographically Distributed Database System》論文是華為高斯資料庫技術團隊的研究成果。論文中提出了一種基於高精度時鐘同步方法的分散式事務處理方法，並構建了跨地域分散式的全球資料庫系統GaussDB-Global。該論文的主要實現：
第一，採用同步時鐘的去中心化方法，地理分散式資料庫系統解決了中心化事務管理器的性能瓶頸問題，實現了中心化的事務管理到去中心化分散式事務管理之間無縫過渡，提供了更加靈活、便捷的部署方式，實現一套集群全球化部署。
第二，在分片數據的遠程讀取和長距離日誌傳送問題上，地理分散式資料庫系統支持在非同步副本上讀取，強一致性，可調整的新鮮度保證，以及動態負載均衡。在跨地域集群上的實驗結果表明，與中心化基線相比，該方法提供了高達14倍的只讀性能，標準數據集TPC-C吞吐量高出50%以上。
QCFE: An Efficient Feature Engineering for Query Cost Estimation
《QCFE: An Efficient Feature Engineering for Query Cost Estimation》論文是由哈爾濱工業大學和華為團隊共同完成，通過提出了一個高效的特征工程方法(QCFE)，解決了現有查詢語句評估時的特征工程問題，該方法在時間-準確性效率方面取得顯著改進。論文的主要貢獻包括：
第一，提出了特征快照（Feature Snapshot）的概念，用於整合被忽略變數的影響，如資料庫旋鈕、硬體等，以提高查詢成本模型的準確性。
第二，設計了差異傳播特征減少方法，通過剪枝無效特征，進一步提高模型訓練和推斷效率。
第三，引入了簡化的SQL模板設計，以提高計算特征快照的時間效率。
第四，在廣泛的基準測試中，展示了QCFE相對於現有方法在時間-準確性效率方面的優勢，包括TPC-H、job-light和Sysbench等。
綜上，該研究的創新點在於提出了一種有效的特征工程方法，能夠顯著改善查詢成本估算的時間和準確性。
TRAP: Tailored Robustness Assessment for Index Advisors via Adversarial Perturbation
《TRAP: Tailored Robustness Assessment for Index Advisors via Adversarial Perturbation》論文是由廈門大學、清華大學和華為共同研究，通過提出一個基於對抗性擾動的工作負載生成框架TRAP，解決了現有的index advisor的魯棒性評估問題。
TRAP框架能夠生成有效的對抗性工作負載，用於評估index advisor的魯棒性。在index advisor的評估方面，TRAP具有明顯優勢。研究發現：
第一，通過對抗性工作負載的有效生成，可以準確評估index advisor的魯棒性，因為這些工作負載不會偏離原始工作負載，但可以識別由於工作負載漂移而導致的性能漏洞。
第二，為設計更具魯棒性的基於學習的index advisor，採用細粒度的狀態表示和候選剪枝策略可以提高性能。
第三，對於設計更具魯棒性的基於啟髮式的index advisor，考慮索引選擇過程中的索引交互作用和多列索引的使用是至關重要的。
綜上，以上發現為index advisor的設計和評估提供了深刻見解，並強調了在實際應用中評估index advisor的重要性。
Temporal-Frequency Masked Autoencoders for Time Series Anomaly Detection
《Temporal-Frequency Masked Autoencoders for Time Series Anomaly Detection》論文的問世，是為了幫助時序資料庫通過提前感知異常來降低損失。通過設計了一個輕量的基於深度學習的時頻掩碼自編碼器異常檢測演算法（TFMAE），展示了其在多個公開數據集上的良好性能。該論文被大會評審組高度評價，認為其提出了時序異常檢測的新範式，最終無需修改被 ICDE 2024 直接錄用。
作為首篇採用時頻掩碼對比的時序異常檢測論文，論文研究圍繞以下三點進行：
第一，提出了基於時間域和頻率域掩碼的時間序列異常檢測對比準則，其代替傳統重建誤差確定異常檢測閾值，這是一個不受分佈偏移影響的判斷準則。
第二，提出了基於視窗的時間域掩碼策略和基於幅度的頻率域掩碼策略以消除序列中潛在的異常觀察和模式。因此，TFMAE 是一個抗異常偏置模型。
第三，五個真實世界數據集與兩個合成數據集上實驗表明，TFMAE 在檢測性能與速度方面均取得提升。
綜上，《Temporal-Frequency Masked Autoencoders for Time Series Anomaly Detection》是首篇採用時頻掩碼對比的時序異常檢測論文，對醫療、製造、金融等行業的廣泛應用，具有現實推動作用。
本次大會華為入選論文研究方向涉及AI4DB、時序資料庫、查詢優化、資料庫內機器學習演算法訓練和推理……如此多的科技成果得益於華為長期在資料庫前沿技術領域的探索和實踐，以及與全球頂尖學術機構共同解決資料庫領域世界難題，通過產、學、研、用深度融合，將前沿創新研究融入產品技術，構建健康的資料庫產業生態，為客戶提供創新的、有競爭力的資料庫產品和服務。
未來，華為將在資料庫領域持續創新，持續深耕，引領行業發展走出新高度。
