openGauss DB4AI框架揭秘

1. openGauss AI框架的特點

DB4AI這個方向中，資料庫通過集成AI能力，在用戶進行AI計算時就可以避免數據搬運的問題。不同於其他的DB4AI框架，本次openGauss開源的原生框架是通過添加AI運算元的方式完成資料庫中的AI計算。

那麼除了避免了數據搬運所帶來的問題這個普遍優勢，openGauss的AI框架還具有以下的優勢和特點：

1）極低的學習門檻

當前最主流的計算框架：Tensorflow、pytorch、keras等大多依托於python語言作為構建的腳本語言，雖然python已經足夠的簡單易學但還是需要一定的學習成本。而當前的框架，設計提供了CREATE MODEL和PREDICT BY兩種語法用於完成AI的訓練和推斷任務。該語法相比較python更加趨近於自然語言，符合人們的用語直覺。

CREATE MODEL point_kmeans USING kmeans FEATURES position FROM kmeans_2d WITH num_centroids=3;
SELECT id, PREDICT BY point_kmeans (FEATURES position) as pos FROM (select * from kmeans_2d_test limit 10)

2）極簡的數據版本管理

本次DB4AI特性中還添加了snapshot功能。資料庫通過快照的形式將數據集中的數據固定在某個時刻，同樣也支持保存經過處理過濾的數據。功能分為全量保存和增量保存，其中因為增量保存每次僅存儲數據變化，快照的空間占用大大的降低了。用戶可以直接通過不同版本名稱的快照直接獲取相對應的數據。

3）極優的性能體驗

相比於目前很多的AIinDB項目，openGauss的特性通過添加AI運算元的方式將模型計算內置到資料庫中。以演算法訓練為例，其中的數據的讀取、模型的計算更新和最終的模型保存將在資料庫的執行器中完成。這種方式將更加充分地利用和釋放資料庫的計算能力。深入內核的技術路線使得我們的特性在計算速度上優於其他更高層級調用的方法。

圖1.與MADlib性能對比

2. 技術原理與優勢

1）DB4AI-Snapshot

首先DB4AI.snapshot特性需要用戶通過對操作數據存儲的SQL查詢指定哪些數據將填充新快照來創建快照。初始快照始終創建為操作數據的真實和可重用副本，使數據的特定狀態不可變。因此，初始快照作為後續數據整理的起點，但它始終允許回溯到創建初始快照時原始數據的確切狀態。

由於已創建的快照無法更改，因此在開始數據整理之前，必須“準備”快照。準備好的快照的數據可以進行協作修改，為模型訓練做準備，特別是為數據管理做準備。此外，快照通過將每個操作作為元數據記錄在DB4AI系統目錄中，自動跟蹤所有的更改，為數據提供完整的集成歷史。

快照准備完成後，可以發佈快照。發佈的快照是不可變的，DB4AI系統強制只有發佈的快照才能用於模型訓練。保證訓練任務

存檔過時的快照以用於文檔目的。在這種狀態下，數據保持不變但不能用於訓練新的模型。最後，清除快照，刪除模式中的數據表以及視圖、恢復存儲空間。需要註意的是，快照管理為了實施嚴格的模型來源無法清除具有依賴的快照。

利用GUC參數，snapshot使用物化存儲模式或者增量存儲。在增量存儲模式中，新快照對應的視圖和數據表只保存相對父快照修改的內容，從而大大降低存儲空間。

2）DB4AI-Query

原生AI框架深度內嵌於資料庫內核中，通過查詢優化和查詢執行，構建包含AI運算元的執行計劃。計算完成後，框架的存儲模塊將負責保存模型相關信息。整個AI框架主題分成3部分，分別是：查詢優化模塊、計算執行模塊和模型存儲模塊。

查詢優化：

框架新增詞法、語法規則CREATE MODEL、PREDICT BY作為AI計算入口。在查詢優化中，模塊負責簡單的輸入校驗，包括：屬性名合法性、演算法當前是否支持、模型名稱是否衝突等。校驗完成後，該模塊根據訓練和推測任務生成對應的查詢計劃。

計算執行：

查詢執行模塊負責根據需求演算法類型的不同添加相對應的AI運算元到執行計劃中，並執行運算其中包括數據讀取和模型計算更新。各個演算法之間高內聚低耦合，具有非常好的演算法擴展性，對開發者之後添加演算法友好。

模型存儲：

當模型完成訓練，執行器會把模型數據以tuple的形式傳遞給存儲模塊，最終將模型保存到系統表gs_model_warehouse中。

接下來我們以CREATE MODEL為例介紹用於訓練模型的查詢語句是如何實現的：

• 第一步 對Query進行詞法分析、語法分析(Lex、Yacc)。通過識別模式類別和模式組合校對語句是否存在語法錯誤，生成分析樹。

• 第二步 通過詞法分析、語法分析(Lex、Yacc)後，資料庫會對得到的每一個分析樹進行語義分析和重寫。在語義分析生成查詢樹的過程中，針對命令類型為createmodelStmt的情況，資料庫首先會對演算法類型進行檢查判斷演算法屬於監督學習還是非監督學習，根據這個判斷結果繼而進一步校驗查詢語句所輸入的屬性、超參、模型名稱是否非法等。校驗完成後，語義分析生成查詢樹，傳遞給資料庫執行器。

• 第三步 在執行階段根據演算法類型的不同，執行器會添加不同的演算法運算元到執行計劃中，將AI運算元添加到掃描運算元的上層。在運算元執行計算的過程中，把掃描得到的數據輸入到演算法模型中進行計算和更新，最後根據超參設置的迭代條件結束運算元執行。

• 第四步 計算完成後，執行器會將已訓練完成的模型以元組的形式傳遞給存儲引擎，接收到的元組轉寫模型結構體，經校驗保存到系統表gs_model_warehouse中。用戶可以通過查看系統表的方式查看模型的相關信息。

DB4AI作為openGauss原創的高級特性，凝結了openGauss在AI上的全新實踐，通過DB4AI進一步拓展了openGauss資料庫的應用領域。

利用openGauss提供的開箱即用的DB4AI功能，既有效解決數據倉庫、數據湖場景中數據搬遷的問題，又提升了數據遷移過程中涉及的信息安全問題。未來，結合openGauss的多模、並行計算等領先優勢，必將進一步地形成統一的數據管理平臺，減少數據異構、碎片化存儲帶來的運維、使用困難。DB4AI特性的發佈，是將openGauss進一步打造成一把鋒利的瑞士軍刀的關鍵一步！