MySQL調優 優化需要考慮哪些方面

来源:https://www.cnblogs.com/G-Aurora/archive/2020/07/03/13230186.html
-Advertisement-
Play Games

MySQL調優 優化需要考慮哪些方面 優化目標與方向定位 總體目標:使得響應時間更快,吞吐量更大。 (throughout 吞吐量:單位時間內處理事務的數量) 如何找到需要優化的地方 使用反饋。比如做出一些操作後導致效率降低 分析日誌。 監控伺服器資源。系統,記憶體,I/O 監控資料庫運行狀況 可優化 ...


MySQL調優 優化需要考慮哪些方面

 

優化目標與方向定位

  • 總體目標:使得響應時間更快,吞吐量更大。 (throughout --- 吞吐量:單位時間內處理事務的數量)

  • 如何找到需要優化的地方

    • 使用反饋。比如做出一些操作後導致效率降低

    • 分析日誌。

    • 監控伺服器資源。系統,記憶體,I/O

    • 監控資料庫運行狀況

 

可優化維度

設計優化

  • 選擇適合的DBMS
  • 對錶恰當的設計
    • 儘量遵循第三範式。減少冗餘的同時減少增刪改時出錯的可能。
    • 適當地"反範式",以空間換時間,提高多表聯查的效率。
    • 選擇恰當的欄位類型。儘量選擇數據類型,儘量選擇字元長度小的字元類型。

查詢優化

  • 對SQL查詢進行邏輯優化 --- 就是使用恰當的SQL語句讓查詢速度更快
    • 比如“小表驅動大表”的EXISTS和IN
    • 比如子查詢優化,簡化查詢條件等等
  • 對SQL查詢進行物理優化 --- 就是通過索引或錶鏈接的方式進行優化,本質上是對Server層優化器和執行器進行“人工輔助”,人為地減輕優化器和執行器的壓力。
    • 索引
      • 為表設計精簡且高效的索引 --- 索引不是越多越好,索引需要占據存儲空間,過多的索引也會提高優化器選擇索引的難度。比如欄位內數據重覆度高時不建立索引,如性別
      • 若在where中對索引欄位進行了表達式計算,會造成該欄位索引失效。
      • 設計聯合索引時選擇恰當的順序 --- 最左首碼原則
    • 表連接
      • 單表:全表掃描或局部掃描
      • 兩表:合併連接,HASH連接,嵌套迴圈連接
      • 多表:連接順序

 

外置緩存

數據都是存放在資料庫(磁碟)中的,在有使用需要的時候就會將磁碟數據調入記憶體。但當用戶量增大時,使用大量數據,頻繁讀取磁碟會消耗大量資源。因此我們可以事先將常用的數據放入記憶體中來提高查詢效率。

  • 鍵值存儲資料庫 Redis 和 Memcached 等
  • Redis 支持持久化且支持的數據類型和數據結構比Memcached多。Memcached僅進行記憶體存儲且僅支持鍵值對存儲。
  • 對於查詢響應要求高的場景可以考慮上述記憶體資料庫,不過增加的開發人員的工作量。

 

庫級優化

一般來說現在常見的關係型資料庫單表可以存儲億級的數據量。

當數據量達到億級以上時可以採用以下方案進行庫級優化。

  • 讀寫分離:使用主從資料庫代替單一資料庫,降低單一資料庫時的負載。主庫完成寫操作,從庫完成讀操作。
  • 分庫分表
    • 垂直切分
      • 垂直分庫:數據表過多時,對錶進行劃分,將相關聯的數據表存放在一個庫中
      • 垂直分表:數據表列較多時,對列進行劃分並拆分成多個表,將經常一起使用的列存入一張表中
    • 水平切分
      • 表中數據量達到億級以上時,在保持相同的表結構的情況下,將表按照某一屬性拆分成不同小表。
  • 分庫分表也會增加維護和使用成本,要加以平衡。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • WSL中文本地化 Windows Subsystem for Linux(簡稱WSL)是一個在Windows 10上能夠運行原生Linux二進位可執行文件(ELF格式)的相容層。它是由微軟與Canonical公司合作開發,其目標是使純正的Ubuntu 14.04 "Trusty Tahr"映像能下載 ...
  • CentOS 7/8修改系統運行級別 CentOS 5、 CentOS 6可以通過修改配置文件/etc/inittab 參數,從而修改系統運行級別,切換系統的runlevel,但是從CentOS 7開始,不能用這個命令了,只能由systemd統一管理,並且減少到了兩個等級(當然這裡不包含powero... ...
  • 之前民工哥也給大家介紹過一款Nginx配置生成器:強大!Nginx 配置線上一鍵生成“神器”,不太瞭解的人可以去看一看。 最近民工哥又發現一款好用的網頁版開源工具,同樣它的功能也是Nginx配置生成器,功能非常強大,方便實用,它是:NginxWebUI。 NginxWebUI介紹 NginxWebU ...
  • 華為5月中旬首次向上汽的量產車型EUNIQ系列供應電機控制器,引起汽車電子行業人士高度關註。華為提供的電機控制器,可以3%的高精度調整電機扭矩和輸出控制。經過上汽MAXUS與華為的聯合調教,EUNIQ系列純電版車型0~50km/h加速成績小於5秒。優異的表現來源於車規級MCU的性能以及華為在電機控制 ...
  • SQL基礎隨記3 範式 鍵 什麼是範式?哈,自己設計會使用但是一問還真說不上來。遂將不太明晰的概念整體下 什麼是 & 分類 範式(NF),一種規範,設計資料庫模型時對關係內部各個屬性之間的聯繫的合理化程度的不同等級的規範要求。 分類: 1NF、2NF、3NF、BCNF(巴斯科德範式)、4NF、5NF ...
  • 1. 背景描述和需求 數據分析程式部署在Docker中,有一些分析計算需要使用Spark計算,需要把任務提交到Spark集群計算。 接收程式部署在Docker中,主機不在Hadoop集群上。與Spark集群網路互通。 需求如下 1、在Docker中可程式化向Spark集群提交任務 2、在Docker ...
  • HDFS 文件操作命令 註,其實常用命令不用網上搜,和linux下的命令很類似,觸類旁通,直接在linux 上 hadoop fs 看一下就行了,不需要刻意去記 我把 linux 上的 help 列舉下,方便直接看吧,hdfs dfs 與 hadoop fs 效果一樣 常用的就是 hdfs dfs ...
  • 7月2日消息:近2.3萬個MongoDB資料庫遭黑客攻擊勒索特幣贖金,幾乎占MongoDB資料庫的47%。黑客要求每個資料庫2天內支付0.015 BTC(約合140美元),否則泄露其數據。如何解決此類數據安全問題?本文為您帶來“資料庫遭比特幣勒索的解密與恢復實戰”。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...