MySQL調優 優化需要考慮哪些方面

来源:https://www.cnblogs.com/G-Aurora/archive/2020/07/03/13230186.html
-Advertisement-
Play Games

MySQL調優 優化需要考慮哪些方面 優化目標與方向定位 總體目標:使得響應時間更快,吞吐量更大。 (throughout 吞吐量:單位時間內處理事務的數量) 如何找到需要優化的地方 使用反饋。比如做出一些操作後導致效率降低 分析日誌。 監控伺服器資源。系統,記憶體,I/O 監控資料庫運行狀況 可優化 ...


MySQL調優 優化需要考慮哪些方面

 

優化目標與方向定位

  • 總體目標:使得響應時間更快,吞吐量更大。 (throughout --- 吞吐量:單位時間內處理事務的數量)

  • 如何找到需要優化的地方

    • 使用反饋。比如做出一些操作後導致效率降低

    • 分析日誌。

    • 監控伺服器資源。系統,記憶體,I/O

    • 監控資料庫運行狀況

 

可優化維度

設計優化

  • 選擇適合的DBMS
  • 對錶恰當的設計
    • 儘量遵循第三範式。減少冗餘的同時減少增刪改時出錯的可能。
    • 適當地"反範式",以空間換時間,提高多表聯查的效率。
    • 選擇恰當的欄位類型。儘量選擇數據類型,儘量選擇字元長度小的字元類型。

查詢優化

  • 對SQL查詢進行邏輯優化 --- 就是使用恰當的SQL語句讓查詢速度更快
    • 比如“小表驅動大表”的EXISTS和IN
    • 比如子查詢優化,簡化查詢條件等等
  • 對SQL查詢進行物理優化 --- 就是通過索引或錶鏈接的方式進行優化,本質上是對Server層優化器和執行器進行“人工輔助”,人為地減輕優化器和執行器的壓力。
    • 索引
      • 為表設計精簡且高效的索引 --- 索引不是越多越好,索引需要占據存儲空間,過多的索引也會提高優化器選擇索引的難度。比如欄位內數據重覆度高時不建立索引,如性別
      • 若在where中對索引欄位進行了表達式計算,會造成該欄位索引失效。
      • 設計聯合索引時選擇恰當的順序 --- 最左首碼原則
    • 表連接
      • 單表:全表掃描或局部掃描
      • 兩表:合併連接,HASH連接,嵌套迴圈連接
      • 多表:連接順序

 

外置緩存

數據都是存放在資料庫(磁碟)中的,在有使用需要的時候就會將磁碟數據調入記憶體。但當用戶量增大時,使用大量數據,頻繁讀取磁碟會消耗大量資源。因此我們可以事先將常用的數據放入記憶體中來提高查詢效率。

  • 鍵值存儲資料庫 Redis 和 Memcached 等
  • Redis 支持持久化且支持的數據類型和數據結構比Memcached多。Memcached僅進行記憶體存儲且僅支持鍵值對存儲。
  • 對於查詢響應要求高的場景可以考慮上述記憶體資料庫,不過增加的開發人員的工作量。

 

庫級優化

一般來說現在常見的關係型資料庫單表可以存儲億級的數據量。

當數據量達到億級以上時可以採用以下方案進行庫級優化。

  • 讀寫分離:使用主從資料庫代替單一資料庫,降低單一資料庫時的負載。主庫完成寫操作,從庫完成讀操作。
  • 分庫分表
    • 垂直切分
      • 垂直分庫:數據表過多時,對錶進行劃分,將相關聯的數據表存放在一個庫中
      • 垂直分表:數據表列較多時,對列進行劃分並拆分成多個表,將經常一起使用的列存入一張表中
    • 水平切分
      • 表中數據量達到億級以上時,在保持相同的表結構的情況下,將表按照某一屬性拆分成不同小表。
  • 分庫分表也會增加維護和使用成本,要加以平衡。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • WSL中文本地化 Windows Subsystem for Linux(簡稱WSL)是一個在Windows 10上能夠運行原生Linux二進位可執行文件(ELF格式)的相容層。它是由微軟與Canonical公司合作開發,其目標是使純正的Ubuntu 14.04 "Trusty Tahr"映像能下載 ...
  • CentOS 7/8修改系統運行級別 CentOS 5、 CentOS 6可以通過修改配置文件/etc/inittab 參數,從而修改系統運行級別,切換系統的runlevel,但是從CentOS 7開始,不能用這個命令了,只能由systemd統一管理,並且減少到了兩個等級(當然這裡不包含powero... ...
  • 之前民工哥也給大家介紹過一款Nginx配置生成器:強大!Nginx 配置線上一鍵生成“神器”,不太瞭解的人可以去看一看。 最近民工哥又發現一款好用的網頁版開源工具,同樣它的功能也是Nginx配置生成器,功能非常強大,方便實用,它是:NginxWebUI。 NginxWebUI介紹 NginxWebU ...
  • 華為5月中旬首次向上汽的量產車型EUNIQ系列供應電機控制器,引起汽車電子行業人士高度關註。華為提供的電機控制器,可以3%的高精度調整電機扭矩和輸出控制。經過上汽MAXUS與華為的聯合調教,EUNIQ系列純電版車型0~50km/h加速成績小於5秒。優異的表現來源於車規級MCU的性能以及華為在電機控制 ...
  • SQL基礎隨記3 範式 鍵 什麼是範式?哈,自己設計會使用但是一問還真說不上來。遂將不太明晰的概念整體下 什麼是 & 分類 範式(NF),一種規範,設計資料庫模型時對關係內部各個屬性之間的聯繫的合理化程度的不同等級的規範要求。 分類: 1NF、2NF、3NF、BCNF(巴斯科德範式)、4NF、5NF ...
  • 1. 背景描述和需求 數據分析程式部署在Docker中,有一些分析計算需要使用Spark計算,需要把任務提交到Spark集群計算。 接收程式部署在Docker中,主機不在Hadoop集群上。與Spark集群網路互通。 需求如下 1、在Docker中可程式化向Spark集群提交任務 2、在Docker ...
  • HDFS 文件操作命令 註,其實常用命令不用網上搜,和linux下的命令很類似,觸類旁通,直接在linux 上 hadoop fs 看一下就行了,不需要刻意去記 我把 linux 上的 help 列舉下,方便直接看吧,hdfs dfs 與 hadoop fs 效果一樣 常用的就是 hdfs dfs ...
  • 7月2日消息:近2.3萬個MongoDB資料庫遭黑客攻擊勒索特幣贖金,幾乎占MongoDB資料庫的47%。黑客要求每個資料庫2天內支付0.015 BTC(約合140美元),否則泄露其數據。如何解決此類數據安全問題?本文為您帶來“資料庫遭比特幣勒索的解密與恢復實戰”。 ...
一周排行
    -Advertisement-
    Play Games
  • 概述:在C#中,++i和i++都是自增運算符,其中++i先增加值再返回,而i++先返回值再增加。應用場景根據需求選擇,首碼適合先增後用,尾碼適合先用後增。詳細示例提供清晰的代碼演示這兩者的操作時機和實際應用。 在C#中,++i 和 i++ 都是自增運算符,但它們在操作上有細微的差異,主要體現在操作的 ...
  • 上次發佈了:Taurus.MVC 性能壓力測試(ap 壓測 和 linux 下wrk 壓測):.NET Core 版本,今天計劃準備壓測一下 .NET 版本,來測試並記錄一下 Taurus.MVC 框架在 .NET 版本的性能,以便後續持續優化改進。 為了方便對比,本文章的電腦環境和測試思路,儘量和... ...
  • .NET WebAPI作為一種構建RESTful服務的強大工具,為開發者提供了便捷的方式來定義、處理HTTP請求並返迴響應。在設計API介面時,正確地接收和解析客戶端發送的數據至關重要。.NET WebAPI提供了一系列特性,如[FromRoute]、[FromQuery]和[FromBody],用 ...
  • 原因:我之所以想做這個項目,是因為在之前查找關於C#/WPF相關資料時,我發現講解圖像濾鏡的資源非常稀缺。此外,我註意到許多現有的開源庫主要基於CPU進行圖像渲染。這種方式在處理大量圖像時,會導致CPU的渲染負擔過重。因此,我將在下文中介紹如何通過GPU渲染來有效實現圖像的各種濾鏡效果。 生成的效果 ...
  • 引言 上一章我們介紹了在xUnit單元測試中用xUnit.DependencyInject來使用依賴註入,上一章我們的Sample.Repository倉儲層有一個批量註入的介面沒有做單元測試,今天用這個示例來演示一下如何用Bogus創建模擬數據 ,和 EFCore 的種子數據生成 Bogus 的優 ...
  • 一、前言 在自己的項目中,涉及到實時心率曲線的繪製,項目上的曲線繪製,一般很難找到能直接用的第三方庫,而且有些還是定製化的功能,所以還是自己繪製比較方便。很多人一聽到自己畫就害怕,感覺很難,今天就分享一個完整的實時心率數據繪製心率曲線圖的例子;之前的博客也分享給DrawingVisual繪製曲線的方 ...
  • 如果你在自定義的 Main 方法中直接使用 App 類並啟動應用程式,但發現 App.xaml 中定義的資源沒有被正確載入,那麼問題可能在於如何正確配置 App.xaml 與你的 App 類的交互。 確保 App.xaml 文件中的 x:Class 屬性正確指向你的 App 類。這樣,當你創建 Ap ...
  • 一:背景 1. 講故事 上個月有個朋友在微信上找到我,說他們的軟體在客戶那邊隔幾天就要崩潰一次,一直都沒有找到原因,讓我幫忙看下怎麼回事,確實工控類的軟體環境複雜難搞,朋友手上有一個崩潰的dump,剛好丟給我來分析一下。 二:WinDbg分析 1. 程式為什麼會崩潰 windbg 有一個厲害之處在於 ...
  • 前言 .NET生態中有許多依賴註入容器。在大多數情況下,微軟提供的內置容器在易用性和性能方面都非常優秀。外加ASP.NET Core預設使用內置容器,使用很方便。 但是筆者在使用中一直有一個頭疼的問題:服務工廠無法提供請求的服務類型相關的信息。這在一般情況下並沒有影響,但是內置容器支持註冊開放泛型服 ...
  • 一、前言 在項目開發過程中,DataGrid是經常使用到的一個數據展示控制項,而通常表格的最後一列是作為操作列存在,比如會有編輯、刪除等功能按鈕。但WPF的原始DataGrid中,預設只支持固定左側列,這跟大家習慣性操作列放最後不符,今天就來介紹一種簡單的方式實現固定右側列。(這裡的實現方式參考的大佬 ...