100個MySQL 的調節和優化的提示

来源:http://www.cnblogs.com/shouce/archive/2016/01/05/5101055.html
-Advertisement-
Play Games

MySQL是一個功能強大的開源資料庫。隨著越來越多的資料庫驅動的應用程式,人們一直在推動MySQL發展到它的極限。這裡是101條調節和優化MySQL安裝的技巧。一些技巧是針對特定的安裝環境的,但這些思路是通用的。我已經把他們分成幾類,來幫助你掌握更多MySQL的調節和優化技巧。 MySQL 伺服器....


MySQL是一個功能強大的開源資料庫。隨著越來越多的資料庫驅動的應用程式,人們一直在推動MySQL發展到它的極限。這裡是101條調節和優化MySQL安裝的技巧。一些技巧是針對特定的安裝環境的,但這些思路是通用的。我已經把他們分成幾類,來幫助你掌握更多MySQL的調節和優化技巧。

  MySQL 伺服器硬體和操作系統調節:

  1. 擁有足夠的物理記憶體來把整個InnoDB文件載入到記憶體中——在記憶體中訪問文件時的速度要比在硬碟中訪問時快的多。

  2. 不惜一切代價避免使用Swap交換分區 – 交換時是從硬碟讀取的,它的速度很慢。

  3. 使用電池供電的RAM(註:RAM即隨機存儲器)。

  4. 使用高級的RAID(註:Redundant Arrays of Inexpensive Disks,即磁碟陣列) – 最好是RAID10或更高。

  5. 避免RAID5(註:一種存儲性能、數據安全和存儲成本兼顧的存儲解決方案) – 確保資料庫完整性的校驗是要付出代價的。

  6. 將操作系統和數據分區分開,不僅僅是邏輯上,還包括物理上 – 操作系統的讀寫操作會影響資料庫的性能。

  7. 把MySQL臨時空間和複製日誌與數據放到不同的分區 – 當資料庫後臺從磁碟進行讀寫操作時會影響資料庫的性能。

  8. 更多的磁碟空間等於更快的速度。

  9. 更好更快的磁碟。

  10. 使用SAS(註: Serial Attached SCSI,即串列連接SCSI)代替SATA(註:SATA,即串口硬碟)。

  11. 較小的硬碟 比 較大的硬碟快,尤其是在RAID配置的情況下。

  12. 使用電池支持的高速緩存RAID控制器。 

  13. 避免使用軟體磁碟陣列。 

  14. 考慮為數據分區使用固態IO卡 (不是磁碟驅動器)  – 這些卡能夠為幾乎任何數量的數據支持2GB/s的寫入速度。

  15. 在Linux中設置swappiness的值為0 – 在資料庫伺服器中沒有理由緩存文件,這是一個伺服器或台式機的優勢。 

  16. 如果可以的話,使用  noatime 和 nodirtime 掛載文件系統 – 沒有理由更新訪問資料庫文件的修改時間。

  17. 使用 XFS 文件系統 – 一種比ext3更快、更小的文件系統,並且有許多日誌選項, 而且ext3 已被證實與MySQL有雙緩衝問題。 

  18. 調整 XFS 文件系統日誌和緩衝變數 – 為了最高性能標準。 

  19. 在 Linux 系統中, 使用 NOOP 或者 DEADLINE IO 定時調度程式 – 同 NOOP 和 DEADLINE定時調度程式相比,這個 CFQ 和 ANTICIPATORY 定時調度程式 顯得非常慢。 

  20. 使用64位的操作系統 – 對於MySQL,會有更大的記憶體支持和使用。 

  21. 刪除伺服器上未使用的安裝包和守護進程 – 更少的資源占用。 

  22. 把使用MySQL的host和你的MySQL host放到一個hosts文件中 – 沒有DNS查找。 

  23. 切勿強制殺死一個MySQL進程 – 你會損壞資料庫和正在運行備份的程式。 

  24. 把伺服器貢獻給MySQL – 後臺進程和其他服務能夠縮短資料庫占用CPU的時間。

  MySQL 配置:

  25. 當寫入時,使用 innodb_flush_method=O_DIRECT 來避免雙緩衝。 

  26. 避免使用 O_DIRECT 和 EXT3 文件系統 – 你將序列化所有要寫入的。 

  27. 分配足夠的 innodb_buffer_pool_size 來載入整個 InnoDB 文件到記憶體中– 少從磁碟中讀取。 

  28. 不要將 innodb_log_file_size 參數設置太大, 這樣可以更快同時有更多的磁碟空間 – 丟掉多的日誌通常是好的,在資料庫崩潰後可以降低恢複數據庫的時間。 

  29. 不要混用 innodb_thread_concurrency 和 thread_concurrency 參數– 這2個值是不相容的。 

  30. 分配一個極小的數量給 max_connections 參數 – 太多的連接會用盡RAM並鎖定MySQL服務。 

  31. 保持 thread_cache 在一個相對較高的數字,大約 16 – 防止打開連接時緩慢。 

  32. 使用skip-name-resolve參數 – 去掉 DNS 查找。

  33.如果你的查詢都是重覆的,並且數據不常常發生變化,那麼可以使用查詢緩存。但是如果你的數據經常發生變化,那麼使用查詢緩存會讓你感到失望。\

  34.增大temp_table_size值,以防止寫入磁碟

  35.增大max_heap_table_size值,以防止寫入磁碟

  36.不要把sort_buffer_size值設置的太高,否則的話你的記憶體將會很快耗盡

  37.根據key_read_requests和key_reads值來決定key_buffer的大小,一般情況下key_read_requests應該比key_reads值高,否則你不能高效的使用key_buffer

  38.將innodb_flush_log_at_trx_commit設置為0將會提高性能,但是如果你要保持預設值(1)的話,那麼你就要確保數據的完整性,同時你也要確保複製不會滯後。

  39.你要有一個測試環境,來測試你的配置,並且在不影響正常生產的情況下,可以常常進行重啟。

  MySQL模式優化:

  40. 保持你的資料庫整理性。 

  41. 舊數據歸檔 - 刪除多餘的行返回或搜索查詢。

  42. 將您的數據加上索引.

  43. 不要過度使用索引,比較與查詢.

  44. 壓縮文字和BLOB數據類型 - 以節省空間和減少磁碟讀取次數.

  45. UTF 8和UTF16都低於latin1執行效率.

  46. 有節制地使用觸發器.

  47. 冗餘數據保持到最低限度 - 不重覆不必要的數據.

  48. 使用鏈接表,而不是擴展行.

  49. 註意數據類型,在您的真實數據中,儘可能使用最小的一個.

  50. 如果其他數據經常被用於查詢時,而BLOB / TEXT數據不是,就把BLOB / TEXT數據從其他數據分離出來.

  51.檢查和經常優化表.

  52. 經常重寫InnoDB表優化.

  53. 有時,當添加列時刪除索引,然後在添加回來索引,這樣就會更快.

  54. 針對不同的需求,使用不同的存儲引擎.

  55. 使用歸檔存儲引擎日誌表或審計表-這是更有效地寫道.

  56.  會話數據存儲在緩存(memcache)的而不是MySQL中 - 緩存允許自動自動填值的,並阻止您創建難以讀取和寫入到MySQL的時空數據.

  57.存儲可變長度的字元串時使用VARCHAR而不是CHAR - 節省空間,因為固定長度的CHAR,而VARCHAR長度不固定(UTF8不受此影響).

  58. 逐步進行模式的變化 - 一個小的變化,可以有巨大的影響.

  59.在開發環境中測試所有模式,反映生產變化.

  60. 不要隨意更改你的配置文件中的值,它可以產生災難性的影響.

  61. 有時候,在MySQL的configs少即是多.

  62.有疑問時使用一個通用的MySQL配置文件.

  查詢優化:

  63. 使用慢查詢日誌去發現慢查詢。

  64. 使用執行計划去判斷查詢是否正常運行。

  65. 總是去測試你的查詢看看是否他們運行在最佳狀態下 –久而久之性能總會變化。

  66. 避免在整個表上使用count(*),它可能鎖住整張表。

  67. 使查詢保持一致以便後續相似的查詢可以使用查詢緩存。

  68. 在適當的情形下使用GROUP BY而不是DISTINCT。

  69. 在WHERE, GROUP BY和ORDER BY子句中使用有索引的列。

  70. 保持索引簡單,不在多個索引中包含同一個列。

  71. 有時候MySQL會使用錯誤的索引,對於這種情況使用USE INDEX。

  72. 檢查使用SQL_MODE=STRICT的問題。

  73. 對於記錄數小於5的索引欄位,在UNION的時候使用LIMIT不是是用OR.

  74. 為了 避免在更新前SELECT,使用INSERT ON DUPLICATE KEY或者INSERT IGNORE ,不要用UPDATE去實現。

  75. 不要使用 MAX,使用索引欄位和ORDER BY子句。

  76. 避免使用ORDER BY RAND().

  77。LIMIT M,N實際上可以減緩查詢在某些情況下,有節制地使用。

  78。在WHERE子句中使用UNION代替子查詢。

  79。對於UPDATES(更新),使用 SHARE MODE(共用模式),以防止獨占鎖。

  80。在重新啟動的MySQL,記得來溫暖你的資料庫,以確保您的數據在記憶體和查詢速度快。

  81。使用DROP TABLE,CREATE TABLE DELETE FROM從表中刪除所有數據。

  82。最小化的數據在查詢你需要的數據,使用*消耗大量的時間。

  83。考慮持久連接,而不是多個連接,以減少開銷。

  84。基準查詢,包括使用伺服器上的負載,有時一個簡單的查詢可以影響其他查詢。

  85。當負載增加您的伺服器上,使用SHOW PROCESSLIST查看慢的和有問題的查詢。

  86。在開發環境中產生的鏡像數據中 測試的所有可疑的查詢。

  MySQL 備份過程:

  87. 從二級複製伺服器上進行備份。

  88. 在進行備份期間停止複製,以避免在數據依賴和外鍵約束上出現不一致。

  89. 徹底停止MySQL,從資料庫文件進行備份。 

  90. 如果使用 MySQL dump進行備份,請同時備份二進位日誌文件 – 確保複製沒有中斷。

  91. 不要信任LVM 快照 – 這很可能產生數據不一致,將來會給你帶來麻煩。

  92. 為了更容易進行單表恢復,以表為單位導出數據 – 如果數據是與其他表隔離的。

  93. 當使用mysqldump時請使用 –opt。

  94. 在備份之前檢查和優化表。

  95. 為了更快的進行導入,在導入時臨時禁用外鍵約束。

  96. 為了更快的進行導入,在導入時臨時禁用唯一性檢測。

  97. 在每一次備份後計算資料庫,表以及索引的尺寸,以便更夠監控數據尺寸的增長。

  98. 通過自動調度腳本監控複製實例的錯誤和延遲。

  99. 定期執行備份。

  100. 定期測試你的備份。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 統計分析中Type I Error與Type II Error的區別 ============== 在統計分析中,經常提到Type I Error和Type II Error。他們的基本概念是什麼?有什麼區別? 下麵的表格顯示 between truth/falseness of the null ...
  • 實體類:using MongoDB.Bson;namespace WindowsFormsApp{ class User { //public ObjectId _id; //BsonType.ObjectId 這個對應了 MongoDB.Bson.ObjectId ...
  • 一、業務場景我們在實際生產環境中遇到了這樣一種需求,即需要檢索一個父子關係的子樹數據估計大家也遇到過類似的場景,最典型的就是省市數據,其中path欄位是按層級關係生成的行政區路徑:如果我們已知某市名,想查出同級和高一級的省名,如保定市同級和上級河北省,那麼我們有什麼實現方式呢給大家10秒鐘,快速搶答...
  • SQL Server無法收縮日誌文件 2 因為邏輯日誌文件的總數不能少於 2問題最近伺服器執行收縮日誌文件大小的job老是報錯我所用的一個批量收縮日誌腳本USE [master]GO/****** Object: StoredProcedure [dbo].[ShrinkUser_DATABASE....
  • 標簽:主從概述本篇文章主要介紹mysql主從的搭建過程和中間涉及的一些概念知識,希望能最全面的將mysql主從所涉及到的知識都概況進來;環境已經安裝好了mysql,這裡就不介紹mysql的安裝方法。測試環境:主:mysql(5.6.21),linux:redhat 6.0,ip:192.168.1....
  • 1.問題背景 預設情況下,線上的mysql複製都是非同步複製,因此在極端情況下,主備切換時,會有一定的概率備庫比主庫數據少,因此切換後,我們會通過工具進行回滾回補,確保數據不丟失。半同步複製則要求主庫執行每一個事務,都要求至少一個備庫成功接收後,才真正執行完成,因此可以保持主備庫的強一致性。為了確.....
  • mysql複製簡單介紹了mysql semi-sync的出現的原因,並說明瞭semi-sync如何保證不丟數據。這篇文章主要側重於semi-sync的實現,結合源碼將semi-sync的實現過程展現給大家。最新的semi-sync源碼可以參考官方5.7版本的實現,https://github....
  • 這一篇《我的MYSQL學習心得(十五)》將會講解MYSQL的日誌 MYSQL里的日誌主要分為4類,使用這些日誌文件,可以查看MYSQL內部發生的事情。 分別是 1、錯誤日誌:記錄mysql服務的啟動、運行、停止mysql服務時出現的問題 2、查詢日誌:記錄建立的客戶端連接和執行的語句 3、二進位日誌...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...