Mysql占用記憶體過高的優化過程

来源:https://www.cnblogs.com/cpw6/archive/2018/08/17/9493463.html
-Advertisement-
Play Games

一.環境說明: 操作系統:CentOS 6.5 x86_64 資料庫:Mysql 5.6.22 伺服器:阿裡雲VPS,32G Mem,0 swap 二.問題情況: 1.某日發現公司線上系統的Mysql某個實例的從庫長時間記憶體占用達到60%如下圖 2.於是開始按照以下步驟排查: (1).查看mysql ...


一.環境說明:

操作系統:CentOS 6.5 x86_64

資料庫:Mysql 5.6.22

伺服器:阿裡雲VPS,32G Mem,0 swap

 

二.問題情況:

1.某日發現公司線上系統的Mysql某個實例的從庫長時間記憶體占用達到60%如下圖

 

2.於是開始按照以下步驟排查:

(1).查看mysql里的線程,觀察是否有長期運行或阻塞的sql:

show full processlist

經查看,沒有發現相關線程,可排除該原因

 

(2).疑似mysql連接使用完成後沒有真正釋放記憶體,查看mysql記憶體,緩存的相關配置,使用如

show global variables like '%sort_buffer_size%';

查看相關的配置項,結果列表彙總如下

( 註:上圖為mysql使用記憶體計算器,具體地址為http://www.mysqlcalculator.com/ )

 

其中左列為mysql預設配置,右列為當前資料庫的配置,可見預期記憶體使用最大值足足達到了1T,不符合當前系統負載量,說明當前配置不合理,需要進行調整

 

(3).其中

key_buffer_size = 32M         //key_buffer_size指定索引緩衝區的大小,它決定索引處理的速度,尤其是索引讀的速度。只對MyISAM表起作用。即使你不使用MyISAM表,但是內部的臨時磁碟表是MyISAM表,也要使用該值。由於我的資料庫引擎為innodb,大部分表均為innodb,此處取預設值一半32M。

 

query_cache_size = 64M    //查詢緩存大小,當打開時候,執行查詢語句會進行緩存,讀寫都會帶來額外的記憶體消耗,下次再次查詢若命中該緩存會立刻返回結果。預設改選項為關閉,打開則需要調整參數項query_cache_type=ON。此處採用預設值64M。

 

tmp_table_size = 64M    //範圍設置為64-256M最佳,當需要做類似group by操作生成的臨時表大小,提高聯接查詢速度的效果,調整該值直到created_tmp_disk_tables / created_tmp_tables * 100% <= 25%,處於這樣一個狀態之下,效果較好,如果網站大部分為靜態內容,可設置為64M,如果為動態頁面,則設置為100M以上,不宜過大,導致記憶體不足I/O堵塞。此處我們設置為64M。


innodb_buffer_pool_size = 8196M   //這個參數主要作用是緩存innodb表的索引,數據,插入數據時的緩衝。專用mysql伺服器設置的大小: 操作系統記憶體的70%-80%最佳。由於我們的伺服器還部署有其他應用,估此處設置為8G。此外,這個參數是非動態的,要修改這個值,需要重啟mysqld服務。設置的過大,會導致system的swap空間被占用,導致操作系統變慢,從而減低sql查詢的效率。


innodb_additional_mem_pool_size = 16M    //用來存放Innodb的內部目錄,這個值不用分配太大,系統可以自動調。不用設置太高。通常比較大數據設置16M夠用了,如果表比較多,可以適當的增大。如果這個值自動增加,會在error log有中顯示的。此處我們設置為16M。


innodb_log_buffer_size = 8M  //InnoDB的寫操作,將數據寫入到記憶體中的日誌緩存中,由於InnoDB在事務提交前,並不將改變的日誌寫入到磁碟中,因此在大事務中,可以減輕磁碟I/O的壓力。通常情況下,如果不是寫入大量的超大二進位數據(a lot of huge blobs),4MB-8MB已經足夠了。此處我們設置為8M。


max_connections = 800    //最大連接數,根據同時線上人數設置一個比較綜合的數字,最大不超過16384。此處我們根據系統使用量綜合評估,設置為800。

sort_buffer_size = 2M    //是一個connection級參數,在每個connection第一次需要使用這個buffer的時候,一次性分配設置的記憶體。並不是越大越好,由於是connection級的參數,過大的設置+高併發可能會耗盡系統記憶體資源。官方文檔推薦範圍為256KB~2MB,這裡我們設置為2M。


read_buffer_size = 2M   //(數據文件存儲順序)是MySQL讀入緩衝區的大小,將對錶進行順序掃描的請求將分配一個讀入緩衝區,MySQL會為它分配一段記憶體緩衝區,read_buffer_size變數控制這一緩衝區的大小,如果對錶的順序掃描非常頻繁,並你認為頻繁掃描進行的太慢,可以通過增加該變數值以及記憶體緩衝區大小提高其性能,read_buffer_size變數控制這一提高表的順序掃描的效率 數據文件順序。此處我們設置得比預設值大一點,為2M。


read_rnd_buffer_size = 250K  //是MySQL的隨機讀緩衝區大小,當按任意順序讀取行時(列如按照排序順序)將分配一個隨機讀取緩衝區,進行排序查詢時,MySQL會首先掃描一遍該緩衝,以避免磁碟搜索,提高查詢速度,如果需要大量數據可適當的調整該值,但MySQL會為每個客戶連接分配該緩衝區所以儘量適當設置該值,以免記憶體開銷過大。表的隨機的順序緩衝 提高讀取的效率。此處設置為跟預設值相似,250KB。


join_buffer_size = 250K   //多表參與join操作時的分配緩存,適當分配,降低記憶體消耗,此處我們設置為250KB。


thread_stack = 256K   //每個連接線程被創建時,MySQL給它分配的記憶體大小。當MySQL創建一個新的連接線程時,需要給它分配一定大小的記憶體堆棧空間,以便存放客戶端的請求的Query及自身的各種狀態和處理信息。Thread Cache 命中率:Thread_Cache_Hit = (Connections - Threads_created) / Connections * 100%;命中率處於90%才算正常配置,當出現“mysql-debug: Thread stack overrun”的錯誤提示的時候需要增加該值。此處我們配置為256K。


binlog_cache_size = 250K  // 為每個session 分配的記憶體,在事務過程中用來存儲二進位日誌的緩存。作用是提高記錄bin-log的效率。沒有什麼大事務,dml也不是很頻繁的情況下可以設置小一點,如果事務大而且多,dml操作也頻繁,則可以適當的調大一點。前者建議是1048576  --1M;後者建議是: 2097152 -- 4194304  即 2--4M。此處我們根據系統實際,配置為250KB。

 

 

調整後各項性能參數如下圖,且經過圖表計算,實例使用的記憶體將穩定在12G左右,符合當前系統負載情況

之後重啟Mysql實例,發現記憶體占用量回落,並且長時間內沒有再次發生占用過高情況,優化成功。

 

三.總結:

具體涉及到記憶體分配,緩存的參數及其具體作用在此不一一贅述,後續可自行查閱相關資料,只有多次根據實際觀測結果調優,才能得到符合當前業務系統運行的最佳配置。

 

參考文章:http://blog.csdn.net/zhu19774279/article/details/38645663


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 我的uvc開源地址: "gitee uvc" 字元設備驅動程式核心:V4L2本身就是一個字元設備,具有字元設備所有的特性,暴露介面給用戶空間。 V4L2 驅動核心:主要是構建一個內核中標準視頻設備驅動的框架,為視頻操作提供統一的介面函數。 平臺V4L2設備驅動:在V4L2框架下,根據平臺自身的特性實 ...
  • 在實際項目中,我們可能會遇到求百分比,比值等帶除法的sql語句。這時,我們也許會遇到分母為零的情況。下麵給出我總結的一些方法: 1. 用NULLIF函數: 首先說一下NULLIF函數的語法: NULLIF(expr1,expr2) 意思是說:如果expr1<>expr2的話,則傳回expr1;如果e ...
  • 占座 ...
  • redis五大數據類型:string(字元串),hash(哈希,類似java的Map),list(列表),set(集合),zset(有序集合) 1、redis的鍵(key) keys 查詢資料庫中的key值,keys * 查出所有,keys rt* 查出匹配的key exists key 判斷key ...
  • 1、什麼是redis redis是高性能的分散式記憶體資料庫(key-value),基於記憶體的可持久化的NoSQL資料庫。 2、redis安裝 安裝步驟:略 安裝目錄下的命令: redis-benchmark:性能測試工具 命令格式:redis-benchmark [-h <host>] [-p <p ...
  • 什麼是主從複製? 主從複製,是用來建立一個和主資料庫完全一樣的資料庫環境,稱為從資料庫;主資料庫一般是準實時的業務資料庫。 主從複製的作用(好處)! 1、做數據的熱備,作為後備資料庫,主資料庫伺服器故障後,可切換到從資料庫繼續工作,避免數據丟失。 2、架構的擴展。業務量越來越大,I/O訪問頻率過高, ...
  • 日誌備份 (log backup) 包括以前日誌備份中未備份的所有日誌記錄的事務日誌備份。 (完整恢復模式) 使用SSMS資料庫管理工具備份事務日誌 1、連接資料庫,選擇資料庫-》右鍵點擊-》選擇任務-》選擇備份。 2、在備份資料庫彈出框中-》備份類型選擇事務日誌備份-》刪除系統自動生成的文件名-》 ...
  • 一:分類 1.樂觀鎖:用數據版本記錄機制實現。為數據增加一個版本表示,一般是資料庫增加一個version欄位。讀取數據時,把version欄位一起獨處,每更新一次,version+1.提交時,提交版本必須大於當前版本才能執行更新。 2.悲觀鎖,在操作數據時,認為此操作會出現數據衝突,所以在進行每次操 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...