openGauss DB4AI框架揭秘

来源:https://www.cnblogs.com/gasstation/archive/2022/11/23/16918893.html
-Advertisement-
Play Games

前幾天,Gartner 發佈了企業機構在2023年需要探索的十大戰略技術趨勢。 Gartner 傑出研究副總裁 Frances Karamouzis 表示:“為了在經濟動蕩時期增加企業機構的盈利,首席信息官和IT高管必須在繼續加快數字化轉型的同時,將目光從節約成本轉向新的卓越運營方式。Gartner ...


1. openGauss AI框架的特點

DB4AI這個方向中,資料庫通過集成AI能力,在用戶進行AI計算時就可以避免數據搬運的問題。不同於其他的DB4AI框架,本次openGauss開源的原生框架是通過添加AI運算元的方式完成資料庫中的AI計算。

那麼除了避免了數據搬運所帶來的問題這個普遍優勢,openGauss的AI框架還具有以下的優勢和特點:

1)極低的學習門檻

當前最主流的計算框架:Tensorflow、pytorch、keras等大多依托於python語言作為構建的腳本語言,雖然python已經足夠的簡單易學但還是需要一定的學習成本。而當前的框架,設計提供了CREATE MODEL和PREDICT BY兩種語法用於完成AI的訓練和推斷任務。該語法相比較python更加趨近於自然語言,符合人們的用語直覺。

CREATE MODEL point_kmeans USING kmeans FEATURES position FROM kmeans_2d WITH num_centroids=3;
SELECT id, PREDICT BY point_kmeans (FEATURES position) as pos FROM (select * from kmeans_2d_test limit 10)

2)極簡的數據版本管理

本次DB4AI特性中還添加了snapshot功能。資料庫通過快照的形式將數據集中的數據固定在某個時刻,同樣也支持保存經過處理過濾的數據。功能分為全量保存和增量保存,其中因為增量保存每次僅存儲數據變化,快照的空間占用大大的降低了。用戶可以直接通過不同版本名稱的快照直接獲取相對應的數據。

3)極優的性能體驗

相比於目前很多的AIinDB項目,openGauss的特性通過添加AI運算元的方式將模型計算內置到資料庫中。以演算法訓練為例,其中的數據的讀取、模型的計算更新和最終的模型保存將在資料庫的執行器中完成。這種方式將更加充分地利用和釋放資料庫的計算能力。深入內核的技術路線使得我們的特性在計算速度上優於其他更高層級調用的方法。

 

圖1.與MADlib性能對比

 

2. 技術原理與優勢

1)DB4AI-Snapshot

 

首先DB4AI.snapshot特性需要用戶通過對操作數據存儲的SQL查詢指定哪些數據將填充新快照來創建快照。初始快照始終創建為操作數據的真實和可重用副本,使數據的特定狀態不可變。因此,初始快照作為後續數據整理的起點,但它始終允許回溯到創建初始快照時原始數據的確切狀態。

由於已創建的快照無法更改,因此在開始數據整理之前,必須“準備”快照。準備好的快照的數據可以進行協作修改,為模型訓練做準備,特別是為數據管理做準備。此外,快照通過將每個操作作為元數據記錄在DB4AI系統目錄中,自動跟蹤所有的更改,為數據提供完整的集成歷史。

快照准備完成後,可以發佈快照。發佈的快照是不可變的,DB4AI系統強制只有發佈的快照才能用於模型訓練。保證訓練任務

存檔過時的快照以用於文檔目的。在這種狀態下,數據保持不變但不能用於訓練新的模型。最後,清除快照,刪除模式中的數據表以及視圖、恢復存儲空間。需要註意的是,快照管理為了實施嚴格的模型來源無法清除具有依賴的快照。

利用GUC參數,snapshot使用物化存儲模式或者增量存儲。在增量存儲模式中,新快照對應的視圖和數據表只保存相對父快照修改的內容,從而大大降低存儲空間。

2)DB4AI-Query

原生AI框架深度內嵌於資料庫內核中,通過查詢優化和查詢執行,構建包含AI運算元的執行計劃。計算完成後,框架的存儲模塊將負責保存模型相關信息。整個AI框架主題分成3部分,分別是:查詢優化模塊、計算執行模塊和模型存儲模塊。

查詢優化:

框架新增詞法、語法規則CREATE MODEL、PREDICT BY作為AI計算入口。在查詢優化中,模塊負責簡單的輸入校驗,包括:屬性名合法性、演算法當前是否支持、模型名稱是否衝突等。校驗完成後,該模塊根據訓練和推測任務生成對應的查詢計劃。

計算執行:

查詢執行模塊負責根據需求演算法類型的不同添加相對應的AI運算元到執行計劃中,並執行運算其中包括數據讀取和模型計算更新。各個演算法之間高內聚低耦合,具有非常好的演算法擴展性,對開發者之後添加演算法友好。

模型存儲:

當模型完成訓練,執行器會把模型數據以tuple的形式傳遞給存儲模塊,最終將模型保存到系統表gs_model_warehouse中。

 

接下來我們以CREATE MODEL為例介紹用於訓練模型的查詢語句是如何實現的:

 

  • 第一步 對Query進行詞法分析、語法分析(Lex、Yacc)。通過識別模式類別和模式組合校對語句是否存在語法錯誤,生成分析樹。

  • 第二步 通過詞法分析、語法分析(Lex、Yacc)後,資料庫會對得到的每一個分析樹進行語義分析和重寫。在語義分析生成查詢樹的過程中,針對命令類型為createmodelStmt的情況,資料庫首先會對演算法類型進行檢查判斷演算法屬於監督學習還是非監督學習,根據這個判斷結果繼而進一步校驗查詢語句所輸入的屬性、超參、模型名稱是否非法等。校驗完成後,語義分析生成查詢樹,傳遞給資料庫執行器。

  • 第三步 在執行階段根據演算法類型的不同,執行器會添加不同的演算法運算元到執行計劃中,將AI運算元添加到掃描運算元的上層。在運算元執行計算的過程中,把掃描得到的數據輸入到演算法模型中進行計算和更新,最後根據超參設置的迭代條件結束運算元執行。

  • 第四步 計算完成後,執行器會將已訓練完成的模型以元組的形式傳遞給存儲引擎,接收到的元組轉寫模型結構體,經校驗保存到系統表gs_model_warehouse中。用戶可以通過查看系統表的方式查看模型的相關信息。

DB4AI作為openGauss原創的高級特性,凝結了openGauss在AI上的全新實踐,通過DB4AI進一步拓展了openGauss資料庫的應用領域。

利用openGauss提供的開箱即用的DB4AI功能,既有效解決數據倉庫、數據湖場景中數據搬遷的問題,又提升了數據遷移過程中涉及的信息安全問題。未來,結合openGauss的多模、並行計算等領先優勢,必將進一步地形成統一的數據管理平臺,減少數據異構、碎片化存儲帶來的運維、使用困難。DB4AI特性的發佈,是將openGauss進一步打造成一把鋒利的瑞士軍刀的關鍵一步!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • rpm環境安裝dpkg包管理工具 索引:dpkg-scanpackages、dpkg、dpkg-query、dpkg-source、dpkg-scansource 在centos、redhat、麒麟伺服器版本中想對deb包進行管理,那麼就需要安裝dpkg包管理工具 主要是解決一些內網環境的特定包的需 ...
  • 使用的MCU型號為 AIR32F103CCT6. 通過工作機制和示例代碼, 說明如何使用AIR32自帶的記憶體實現簡單的語音錄製和播放功能, 以及使用 ADPCM 對音頻數據進行壓縮, 提高錄製時長. 通過這些機制, 可以快速擴充為實用的錄製設備, 例如外掛I2C或SPI存儲, 或提升無線傳輸的音質,... ...
  • 1、安裝軟體包時報錯 sudo apt-get install make libc6:i386 lib32z1 lib32stdc++6 zlib1g-dev libncurses5-dev ncurses-term libncursesw5-dev g++ u-boot-tools:i386 te ...
  • powercfg /lastwake 查詢誰喚醒了我的電腦。 禁止設備喚醒電腦:設備管理器——滑鼠和其它指針設備——電源管理——允許此設備喚醒電腦(取消勾選) ...
  • Mac 如何連接遠程伺服器 iTerm2可以以明文保存密碼,實現快速連接遠程伺服器,但是,密碼最好不要暴露在明文里。我們可以藉助更為通用的方法。 在Mac這樣的類UINX系統中,使用iTerm2這樣的終端工具(當然也可以使用Mac自帶的終端)連接遠程伺服器,邏輯是比較通暢的,不需要像Win那樣使用X ...
  • 一、創建表的完整語法 1、創建表的語法 create table 表名( ​ 欄位名1 欄位類型(數字) 約束條件, ​ 欄位名2 欄位類型(數字) 約束條件, ​ 欄位名3 欄位類型(數字) 約束條件,...) 2、創建表的條件 欄位名和欄位類型必須填寫 數字和約束條件是可選的,可以不填 約束條件 ...
  • 我們將 身份驗證 選擇為 SQL Server 身份驗證。輸入剛剛創建的用戶名和密碼: 但是現在還是不能直接使用,因為許可權問題。你會看到下麵的錯誤提示框: 解決問題的方法 所以,我們現在還是需要通過 Windows 身份驗證 連接資料庫。在裡面進行下麵的設置設置。 Step 1 . 對著伺服器,點擊 ...
  • 字元編碼與配置文件 \s查看MySQL相關信息 相關信息有:當前用戶、版本、編碼、埠號 MySQL5.6及之前的版本編碼需要人為統一 之後的版本已經全部預設統一 如果想要永久修改編碼配置 需要操作配置文件my-default.ini 註意事項: mysql預設埠號3306 當重覆起mysql服務 ...
一周排行
    -Advertisement-
    Play Games
  • 簡介 本文的初衷是希望幫助那些有其它平臺視覺演算法開發經驗的人能快速轉入Halcon平臺下,通過文中的示例開發者能快速瞭解一個Halcon項目開發的基本步驟,讓開發者能把精力完全集中到演算法的開發上面。 首先,你需要安裝Halcon,HALCON 18.11.0.1的安裝包會放在文章末尾。安裝包分開發和 ...
  • 本文是對Datawhale的動手學數據分析課程的學習總結,記錄了整體的學習過程、答案以及個人感想,代碼較為詳細。 ...
  • JZ7重建二叉樹 描述 給定節點數為 n 的二叉樹的前序遍歷和中序遍歷結果,請重建出該二叉樹並返回它的頭結點。 例如輸入前序遍歷序列{1,2,4,7,3,5,6,8}和中序遍歷序列{4,7,2,1,5,3,8,6} 提示: 1.vin.length == pre.length 2.pre 和 vin ...
  • 我們都知道在Java編程中多線程的同步使用synchronized關鍵字來標識,那麼這個關鍵字在JVM底層到底是如何實現的呢。 我們先來思考一下如果我們自己實現的一個鎖該怎麼做呢: 首先肯定要有個標記記錄對象是否已經上鎖,執行同步代碼之前判斷這個標誌,如果對象已經上鎖線程就阻塞等待鎖的釋放。 其次要 ...
  • 目錄 一.OpenGL 色階 1.Windows OpenGL ES 版本 2.Windows OpenGL 版本 二.OpenGL 色階 GLSL Shader 三.猜你喜歡 零基礎 OpenGL ES 學習路線推薦 : OpenGL ES 學習目錄 >> OpenGL ES 基礎 零基礎 Ope ...
  • 1. 查看Linux伺服器版本信息 # cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core) 2. 禪道開源版安裝包下載 wget http://dl.cnezsoft.com/zentao/9.8.2/ZenTaoPMS.9.8. ...
  • Spring 框架可以為 Java 應用程式開發提供全面的基礎設施支持,它是現在非常流行的 Java 開源框架,對於一個 Java 開發人員來說,熟練掌握 Spring 是必不可少的。 ...
  • 前言 本篇是c++總結的第二篇,關於c++的對象模型,在構造、拷貝虛函數上重點分析,也包含了c++11class的新用法和特性,如有不當,還請指教! c++三大特性 訪問許可權 ​ 在c++中通過public、protected、private三個關鍵字來控製成員變數和成員函數的訪問許可權,它們分別表示 ...
  • 一.小結 1.使用二維數組來存儲表格 2.可以使用以下語法來聲明二維數組變數: 元素類型[ ] [ ]數組變數 3.可以使用以下語法來創建二維數組變數: new 元素類型 [行的個數][列的個數] 4.使用下麵的語法表示二維數組中的每個元素: 數組變數[行下標][列的個數] 5.可使用數組初始化語法 ...
  • typimg是一款為typora編輯器提供圖像自定義上傳服務的工具,該工具將在typora中輸入的網路圖片、本地圖片、剪貼板圖片/截圖上傳到博客園,支持在MacOS、Windiws、Linux三個平臺上運行。 ...