解放雙手,資料庫智能調參CDBTune等你來測

来源:https://www.cnblogs.com/tencentdb/archive/2022/06/02/16337373.html
-Advertisement-
Play Games

好消息,騰訊雲資料庫團隊智能調參CDBTune產品現已進入內測階段,歡迎資料庫愛好者、使用者、開發者前來測試。 CDBTune(cloud database tune)是基於2019至2021年間騰訊雲資料庫團隊連續發表兩篇頂級論文的研究成果,對雲資料庫進行調優的一整套解決方案,旨在充分藉助深度學習 ...


好消息,騰訊雲資料庫團隊智能調參CDBTune產品現已進入內測階段,歡迎資料庫愛好者、使用者、開發者前來測試。

CDBTune(cloud database tune)是基於2019至2021年間騰訊雲資料庫團隊連續發表兩篇頂級論文的研究成果,對雲資料庫進行調優的一整套解決方案,旨在充分藉助深度學習技術提升資料庫的運行效率。

在現實場景中,由於業務系統的千差萬別以及大量參數帶來的可設置範圍複雜度,往往需要藉助經驗去構築一套相對較為優異且通用的參數模板。因此,資料庫當前運行參數往往也不是業務所需的最佳參數。同時,資料庫參數調優能力也是專家級資料庫管理者的專屬技能,這也就意味著調優性能受限於人力。除此之外,資料庫參數調優還存在以下常見問題:

參數非常多:例如 MySQL,有幾百個配置項,調優難度大。

人力成本高:需要專職 DBA,依靠專家經驗,人時成本高。

工具普適性:現存工具功能有限,耗時久效果一般。

雲上新需求:部分用戶沒有專職運維團隊,參數調優很難實現。

騰訊雲資料庫團隊通過不斷強化學習演算法來解決資料庫參數設置的問題,目標是使用有限的樣本,構建端到端的模型,輸入為當資料庫當前狀態,輸出為推薦的配置,並且將時間成本控制到儘可能的短。基於此,團隊構建了一個使用深度強化學習的雲資料庫調優系統,通過設置性能目標獎勵,比如TPS上升,QPS上升或者延遲降低,認為是獲得獎勵,使得AI像玩游戲一樣來調整參數,最終資料庫獲得更高的一個性能。

在整個過程中,資料庫上執行推薦配置資料庫的當前狀態將發生變化。內部指標可用於衡量與強化學習狀態相對應的資料庫的運行時的行為。而外部指標可評估資料庫的性能或獎勵,不斷重覆整個過程,直到模型收斂。從調優效果比對圖中可以看出,CDBTune在所有的情況下均體現了更好的性能,響應時間普遍降低50%以上。

file

同時也得益於騰訊雲充沛且完善的硬體基礎設施,以及遺傳演算法、專家經驗、定型價格,使得只能調參得以產品化,不僅僅停留在理論層面。

智能調參CDBTune服務於資料庫適應業務的各個階段,所能實現的功能也正對應著每一階段的特性。具體如下:

實例新購階段,可針對每一種場景訓練出最優配置,並且考慮到業務特征支持靈活自定義,在不同的工作負載上有15%-50%的性能提升。

在未知併發量、負載的情況下,CDBTune支持交易類場景、OLTP性能測試場景、壓力測試場景選擇。
在已有最佳性能參數的情況下,CDBTune支持針對性調優,不覆蓋原有最佳性能參數設置,不影響客戶手工指定最優參數。
在特殊業務場景下,應用程式必須適配特殊場景,參數調整不影響參數模版的使用。

業務的快速迭代階段,可主動判斷業務類型,當適應快速迭代後,僅需2-3小時即可獲得調優結果。

當業務特征快速變化時,主動確定業務類型,減少逐一匹配帶來的資源損耗。
不同的場景可以根據自身情況進行完全自定義,針對具體場景進行專項調用。
預估優化結果,一鍵快速應用至實例。

穩定運行階段,整個資料庫運行的負載及特性明確,該階段主要目標為降低TCO。

根據長期運行監控分析工作負載特征。
記錄工作負載相關SQL信息。
記錄工作負載相關資源信息。

整體而言,CDBTune具體優勢如下:

全生命周期:CDBTune支持在新購階段以及運行階段進行分析,覆蓋資料庫實例全生命周期。
靈活易操作:針對不同的場景可以根據實際需求進行負載特征的調整,適配多樣化的業務場景。
快速可靠:對比傳統的深度學習演算法要獲取最佳參數建議時長減少60%以上。
優越性能:針對性優化,獲得更好更準確的參數建議,實現更優的參數設置。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 文件系統 操作系統就是處理各種數據的,這些數據在硬碟上就是二進位,人類肯定不能直接看懂這些二進位數據,要有一個翻譯器,將這些二進位的數據還原為人類能看懂的文件形式,這個工作就是由文件系統來完成的,文件系統的目的就是實現數據的查詢和存儲,由於使用場合、使用環境的不同,Linux 有多種文件系統,不同的 ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 1 簡介 FCN-4是一個應用於音頻自動標註的全捲積神經網路。使用該網路完成音頻標註任務時,首先需要使用python的音頻處理工具包Librosa提取音頻的時頻特征,針對mp3格式的音頻文件,Librosa讀取音頻文件的工作依賴音頻處理後端ffm ...
  • 本文例子參考《STM32單片機開發實例——基於Proteus虛擬模擬與HAL/LL庫》 源代碼:https://github.com/LanLinnet/STM33F103R6 項目要求 理解H橋電路的工作原理,結合前面幾個項目學習過的定時器中斷、EXTI、串口通訊等,要求通過7個按鈕控制步進電動機 ...
  • mysql -uroot -proot -h192.168.56.10 表示使用mysql的客戶端進行連接資料庫管理系統 -u後面是連接資料庫的用戶名,一般預設的情況下用戶名都是root -p後面是連接資料庫的密碼,在安裝mysql的時候自己設置的 -h表示資料庫管理系統所在的伺服器的ip地址,如果 ...
  • 一、 概述 compose 是用來定義和運行一個或多個容器(通常都是多個)運行和應用的工具。使用 compose 可以簡化容器鏡像的構建以及容器的運行。 compose 使用 YAML 文件來定義多容器之間的關係。一個 docker-compose up 就可以把完整的應用跑起來。 本質上,comp ...
  • job提交階段 1、準備好待處理文本。 2、客戶端submit()前,獲取待處理數據的信息,然後根據參數配置,形成一個任務分配的規劃。 3、客戶端向Yarn請求創建MrAppMaster並提交切片等相關信息:job.split、wc.jar、job.xml。Yarn調用ResourceManager ...
  • 資料庫安全,是指以保護資料庫系統、資料庫伺服器和資料庫中的數據、應用、存儲,以及相關網路連接為目的,防止資料庫系統及其數據遭到泄露、篡改或破壞的安全技術。 資料庫是企業最為核心的數據保護對象。與傳統的網路安全防護體系不同,資料庫安全技術更加註重從客戶內部的角度出發做安全,其安全要求包括了保密性、完整 ...
  • 作者:王志斌 編輯:鐘華龍 本文來自社區小伙伴 王志斌 的投稿。從小白的角度,帶你一步步實現將 RadonDB PostgreSQL 集群部署到 Kubernetes 上。文章分為上下兩部分,《第一部 Kubernetes 環境準備》已經發佈。第二部分將帶大家部署一個 RadonDB Postgre ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...