Mysql占用記憶體過高的優化過程

来源:https://www.cnblogs.com/cpw6/archive/2018/08/17/9493463.html
-Advertisement-
Play Games

一.環境說明: 操作系統:CentOS 6.5 x86_64 資料庫:Mysql 5.6.22 伺服器:阿裡雲VPS,32G Mem,0 swap 二.問題情況: 1.某日發現公司線上系統的Mysql某個實例的從庫長時間記憶體占用達到60%如下圖 2.於是開始按照以下步驟排查: (1).查看mysql ...


一.環境說明:

操作系統:CentOS 6.5 x86_64

資料庫:Mysql 5.6.22

伺服器:阿裡雲VPS,32G Mem,0 swap

 

二.問題情況:

1.某日發現公司線上系統的Mysql某個實例的從庫長時間記憶體占用達到60%如下圖

 

2.於是開始按照以下步驟排查:

(1).查看mysql里的線程,觀察是否有長期運行或阻塞的sql:

show full processlist

經查看,沒有發現相關線程,可排除該原因

 

(2).疑似mysql連接使用完成後沒有真正釋放記憶體,查看mysql記憶體,緩存的相關配置,使用如

show global variables like '%sort_buffer_size%';

查看相關的配置項,結果列表彙總如下

( 註:上圖為mysql使用記憶體計算器,具體地址為http://www.mysqlcalculator.com/ )

 

其中左列為mysql預設配置,右列為當前資料庫的配置,可見預期記憶體使用最大值足足達到了1T,不符合當前系統負載量,說明當前配置不合理,需要進行調整

 

(3).其中

key_buffer_size = 32M         //key_buffer_size指定索引緩衝區的大小,它決定索引處理的速度,尤其是索引讀的速度。只對MyISAM表起作用。即使你不使用MyISAM表,但是內部的臨時磁碟表是MyISAM表,也要使用該值。由於我的資料庫引擎為innodb,大部分表均為innodb,此處取預設值一半32M。

 

query_cache_size = 64M    //查詢緩存大小,當打開時候,執行查詢語句會進行緩存,讀寫都會帶來額外的記憶體消耗,下次再次查詢若命中該緩存會立刻返回結果。預設改選項為關閉,打開則需要調整參數項query_cache_type=ON。此處採用預設值64M。

 

tmp_table_size = 64M    //範圍設置為64-256M最佳,當需要做類似group by操作生成的臨時表大小,提高聯接查詢速度的效果,調整該值直到created_tmp_disk_tables / created_tmp_tables * 100% <= 25%,處於這樣一個狀態之下,效果較好,如果網站大部分為靜態內容,可設置為64M,如果為動態頁面,則設置為100M以上,不宜過大,導致記憶體不足I/O堵塞。此處我們設置為64M。


innodb_buffer_pool_size = 8196M   //這個參數主要作用是緩存innodb表的索引,數據,插入數據時的緩衝。專用mysql伺服器設置的大小: 操作系統記憶體的70%-80%最佳。由於我們的伺服器還部署有其他應用,估此處設置為8G。此外,這個參數是非動態的,要修改這個值,需要重啟mysqld服務。設置的過大,會導致system的swap空間被占用,導致操作系統變慢,從而減低sql查詢的效率。


innodb_additional_mem_pool_size = 16M    //用來存放Innodb的內部目錄,這個值不用分配太大,系統可以自動調。不用設置太高。通常比較大數據設置16M夠用了,如果表比較多,可以適當的增大。如果這個值自動增加,會在error log有中顯示的。此處我們設置為16M。


innodb_log_buffer_size = 8M  //InnoDB的寫操作,將數據寫入到記憶體中的日誌緩存中,由於InnoDB在事務提交前,並不將改變的日誌寫入到磁碟中,因此在大事務中,可以減輕磁碟I/O的壓力。通常情況下,如果不是寫入大量的超大二進位數據(a lot of huge blobs),4MB-8MB已經足夠了。此處我們設置為8M。


max_connections = 800    //最大連接數,根據同時線上人數設置一個比較綜合的數字,最大不超過16384。此處我們根據系統使用量綜合評估,設置為800。

sort_buffer_size = 2M    //是一個connection級參數,在每個connection第一次需要使用這個buffer的時候,一次性分配設置的記憶體。並不是越大越好,由於是connection級的參數,過大的設置+高併發可能會耗盡系統記憶體資源。官方文檔推薦範圍為256KB~2MB,這裡我們設置為2M。


read_buffer_size = 2M   //(數據文件存儲順序)是MySQL讀入緩衝區的大小,將對錶進行順序掃描的請求將分配一個讀入緩衝區,MySQL會為它分配一段記憶體緩衝區,read_buffer_size變數控制這一緩衝區的大小,如果對錶的順序掃描非常頻繁,並你認為頻繁掃描進行的太慢,可以通過增加該變數值以及記憶體緩衝區大小提高其性能,read_buffer_size變數控制這一提高表的順序掃描的效率 數據文件順序。此處我們設置得比預設值大一點,為2M。


read_rnd_buffer_size = 250K  //是MySQL的隨機讀緩衝區大小,當按任意順序讀取行時(列如按照排序順序)將分配一個隨機讀取緩衝區,進行排序查詢時,MySQL會首先掃描一遍該緩衝,以避免磁碟搜索,提高查詢速度,如果需要大量數據可適當的調整該值,但MySQL會為每個客戶連接分配該緩衝區所以儘量適當設置該值,以免記憶體開銷過大。表的隨機的順序緩衝 提高讀取的效率。此處設置為跟預設值相似,250KB。


join_buffer_size = 250K   //多表參與join操作時的分配緩存,適當分配,降低記憶體消耗,此處我們設置為250KB。


thread_stack = 256K   //每個連接線程被創建時,MySQL給它分配的記憶體大小。當MySQL創建一個新的連接線程時,需要給它分配一定大小的記憶體堆棧空間,以便存放客戶端的請求的Query及自身的各種狀態和處理信息。Thread Cache 命中率:Thread_Cache_Hit = (Connections - Threads_created) / Connections * 100%;命中率處於90%才算正常配置,當出現“mysql-debug: Thread stack overrun”的錯誤提示的時候需要增加該值。此處我們配置為256K。


binlog_cache_size = 250K  // 為每個session 分配的記憶體,在事務過程中用來存儲二進位日誌的緩存。作用是提高記錄bin-log的效率。沒有什麼大事務,dml也不是很頻繁的情況下可以設置小一點,如果事務大而且多,dml操作也頻繁,則可以適當的調大一點。前者建議是1048576  --1M;後者建議是: 2097152 -- 4194304  即 2--4M。此處我們根據系統實際,配置為250KB。

 

 

調整後各項性能參數如下圖,且經過圖表計算,實例使用的記憶體將穩定在12G左右,符合當前系統負載情況

之後重啟Mysql實例,發現記憶體占用量回落,並且長時間內沒有再次發生占用過高情況,優化成功。

 

三.總結:

具體涉及到記憶體分配,緩存的參數及其具體作用在此不一一贅述,後續可自行查閱相關資料,只有多次根據實際觀測結果調優,才能得到符合當前業務系統運行的最佳配置。

 

參考文章:http://blog.csdn.net/zhu19774279/article/details/38645663


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 我的uvc開源地址: "gitee uvc" 字元設備驅動程式核心:V4L2本身就是一個字元設備,具有字元設備所有的特性,暴露介面給用戶空間。 V4L2 驅動核心:主要是構建一個內核中標準視頻設備驅動的框架,為視頻操作提供統一的介面函數。 平臺V4L2設備驅動:在V4L2框架下,根據平臺自身的特性實 ...
  • 在實際項目中,我們可能會遇到求百分比,比值等帶除法的sql語句。這時,我們也許會遇到分母為零的情況。下麵給出我總結的一些方法: 1. 用NULLIF函數: 首先說一下NULLIF函數的語法: NULLIF(expr1,expr2) 意思是說:如果expr1<>expr2的話,則傳回expr1;如果e ...
  • 占座 ...
  • redis五大數據類型:string(字元串),hash(哈希,類似java的Map),list(列表),set(集合),zset(有序集合) 1、redis的鍵(key) keys 查詢資料庫中的key值,keys * 查出所有,keys rt* 查出匹配的key exists key 判斷key ...
  • 1、什麼是redis redis是高性能的分散式記憶體資料庫(key-value),基於記憶體的可持久化的NoSQL資料庫。 2、redis安裝 安裝步驟:略 安裝目錄下的命令: redis-benchmark:性能測試工具 命令格式:redis-benchmark [-h <host>] [-p <p ...
  • 什麼是主從複製? 主從複製,是用來建立一個和主資料庫完全一樣的資料庫環境,稱為從資料庫;主資料庫一般是準實時的業務資料庫。 主從複製的作用(好處)! 1、做數據的熱備,作為後備資料庫,主資料庫伺服器故障後,可切換到從資料庫繼續工作,避免數據丟失。 2、架構的擴展。業務量越來越大,I/O訪問頻率過高, ...
  • 日誌備份 (log backup) 包括以前日誌備份中未備份的所有日誌記錄的事務日誌備份。 (完整恢復模式) 使用SSMS資料庫管理工具備份事務日誌 1、連接資料庫,選擇資料庫-》右鍵點擊-》選擇任務-》選擇備份。 2、在備份資料庫彈出框中-》備份類型選擇事務日誌備份-》刪除系統自動生成的文件名-》 ...
  • 一:分類 1.樂觀鎖:用數據版本記錄機制實現。為數據增加一個版本表示,一般是資料庫增加一個version欄位。讀取數據時,把version欄位一起獨處,每更新一次,version+1.提交時,提交版本必須大於當前版本才能執行更新。 2.悲觀鎖,在操作數據時,認為此操作會出現數據衝突,所以在進行每次操 ...
一周排行
    -Advertisement-
    Play Games
  • 前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器,其界面簡潔大方,操作體驗流暢。該播放器支持多種音頻格式(如 MP4、WMA、OGG、FLAC 等),並具備標記、實時歌詞顯示等功能。 另外,還支持換膚及多語言(中英文)切換。核心音頻處理採用 FFmpeg 組件,獲得了廣泛認可,目前 Git ...
  • OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統,完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面,查看已創建應用的Client ID和Clien ...
  • 解決了這個問題:《winForm下,fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自:https://www.fcnsoft.com/Home/Sho ...
  • 國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面,接收裸 Win 32 的 WM_Pointer 消息,從消息裡面獲取觸摸點信息,使用觸摸點 ...
  • 前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能,還集成了高性能的輕量級 POS 解決方案,確保頁面載入速度極快,提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI: ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的,因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 問題 問題是這樣的:第三方的webapi,需要先調用登陸介面獲取Cookie,訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面,返回的Headers中沒有找到Cookie信息。 分析 首先,使用Postman測試該登陸介面,正常返回Cookie信息,說明是HttpCli ...
  • 國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低,主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上,.NET曾因微軟的閉源策略發展受限,儘管後來推出了跨平臺的.NET ...
  • 在WPF開發應用中,動畫不僅可以引起用戶的註意與興趣,而且還使軟體更加便於使用。前面幾篇文章講解了畫筆(Brush),形狀(Shape),幾何圖形(Geometry),變換(Transform)等相關內容,今天繼續講解動畫相關內容和知識點,僅供學習分享使用,如有不足之處,還請指正。 ...
  • 什麼是委托? 委托可以說是把一個方法代入另一個方法執行,相當於指向函數的指針;事件就相當於保存委托的數組; 1.實例化委托的方式: 方式1:通過new創建實例: public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...