記憶體問題定位與解決

来源:http://www.cnblogs.com/zhuancloud/archive/2017/02/08/6378983.html
-Advertisement-
Play Games

記憶體問題定位基本流程: 主要用到的性能計數器 Page life expectancy (資料庫計數器:主要顯示不被使用的頁,將在緩存中停留的秒數 ) Lazy writes/sec (資料庫計數器:惰性寫入器會在記憶體有壓力且有新的記憶體需求時觸發,成批的刷新“老化的緩衝區”) Page Reads/ ...


記憶體問題定位基本流程:    

主要用到的性能計數器

  1. Page life expectancy (資料庫計數器:主要顯示不被使用的頁,將在緩存中停留的秒數 )
  2. Lazy writes/sec  (資料庫計數器:惰性寫入器會在記憶體有壓力且有新的記憶體需求時觸發,成批的刷新“老化的緩衝區”)
  3. Page Reads/sec,Page Writes/sec  (這裡使用資料庫級別計數器:當需要讀取或寫入的頁不在記憶體中,需要到磁碟中讀取時計數)
  4. Target Server Memory (KB)  (SQL server能夠使用的記憶體總量)
  5. Total Server Memory (KB)  (SQL SERVER使用的記憶體總量,這裡指BUFFER POOL的大小)
  6. Available MBytes  (系統繫數器:主要顯示系統還有多少可用記憶體)

  註:Target Server Memory (KB) - Total Server Memory (KB) 約等於SQL SERVER還可以使用的記憶體數。

 

 

步驟1.排除應用影響記憶體

 

 

    Total Server Memory (KB)(SQL SERVER使用的記憶體總量,這裡指BUFFER POOL的大小)可以查看SQL Server使用的記憶體總量,如果當使用的記憶體總量很小,而伺服器依然有很大的記憶體Available MBytes請檢查,是否限制了SQL Server的記憶體使用。

    Available MBytes 主要顯示系統中還多少空閑記憶體 (如果這個值較大,而Target Server Memory (KB) - Total Server Memory (KB) 為0或者較小,可以適當的調大max server memory(最大記憶體,稍後介紹))

 

    如果Total Server Memory (KB) 計數器有陡降的情況發生,一般可以說明有外部程式對記憶體的使用占用的資料庫使用的記憶體。

 

 

步驟2.記憶體問題定位


記憶體持續壓力   Lazy writes/sec   Page life expectancy     記憶體波動壓力

 

 Page Reads/sec

 Lazy writes/sec

Page life expectancy 


 

  步驟3.記憶體問題分析與解決(通用步驟)

 

系統設置最大記憶體max server memory  

問:我系統記憶體本來就不夠為什麼還要設置使用上限?我這伺服器就給資料庫用還用設置?

答:資料庫是運行在windows 上的應用,他和notepad對於操作系統來說本質上沒區別,那麼這就好比君(操作系統)與 臣(資料庫)的關係。

而SQL SERVER是一個很喜歡記憶體的應用,所以很可能吃掉大量記憶體導致windows系統沒有足夠記憶體使用,,那麼這時候君臣關係就體現的淋漓盡致了,君(windows) 要臣(SQL SERVER)死(釋放記憶體)臣不得不死呀...這個釋放在一定程度上可不是單單讓windows夠用了,很可能導致SQL記憶體陡降,以致SQL 短時間假死(操作無響應)。所以為了你資料庫的穩定性,這個最大上限一定要設置。

 

記憶體設置推薦:

       一般我比較推薦如果記憶體較小操作系統預留3G-4G ,如果記憶體大256或512以上在資料庫記憶體無壓力時預留5%給操作系統,剩下給SQL SERVER ,如果伺服器還有其他應用還要在SQL 中減掉應用所占的記憶體。

  如果記憶體比較小且資料庫記憶體壓力大,則可以通過前面講述的Available MBytes 的判斷結果適量給系統預留記憶體。

註意:最大記憶體的設置單位為 MB。

 

語句的優化,讓語句消耗記憶體更少!

    語句優化系列請關註後續文章,這裡只針對降低記憶體

    降低記憶體對語句優化主要集中在幾個方面:

      1. 是否缺失索引? 
      2. 消耗記憶體的操作是否可以消除(如排序)
      3. 降低語句複雜性,讓優化器能選用最佳計劃

 

    語句消耗記憶體主要體現在大量的讀取,或者有排序等操作。

    所謂的讀,簡單理解就是在語句執行時所需要用到的數據頁數,需要的越多就需要越大的記憶體來緩存這些數據頁。如果需要的頁不在記憶體中還需要從磁碟讀取 (磁碟讀取就是為什麼Page Reads/sec 會高

 

    簡單的一個加索引降低邏輯讀的例子~

 

    語句使用了一個整個表掃描的計劃,執行了 19秒,邏輯讀取143800次,預讀137236 (磁碟上讀取),消耗了40KB 的記憶體 ,並且明確提示出缺少索引!

    那麼我們加上提示缺少的索引,再次執行

 

    加上索引的語句執行不到1秒 邏輯讀降低到13次,記憶體消耗已經可以忽略不計。這就是索引對語句的重要性!單條語句如此,你的系統中到底有多少這樣的語句呢?

 

 

 

    再來看一個寫法修改的例子 :

 

 

 

    只是簡單的改了下語句的寫法時間有7秒變成1秒,記憶體消耗從300+MB 變成 1MB

    這兩個例子,告訴我們也許系統中簡簡單單做一些調整,記憶體的壓力就會明顯降低或者變得非常充足,所以在你下了一個需要購買記憶體的決定前,是否針對系統的語句進行過調優?

 

 

 

步驟4.記憶體問題分析與解決(特殊排查步驟)

記憶體波動

 

            如果你是系統維護人員,看到類似這樣的記憶體數據指標,如果你還不能有一些思路,請你好好熟悉下你的系統。

    這張圖很清晰地反映出系統每隔幾小時會有一次的記憶體壓力,那麼別忙著去找對應時間點的語句,我們最少要好好想一下,系統中有什麼操作定時執行?SQL JOB?計劃任務?前臺定時處理?等等等

    這個規律的定時處理是否有異常?是否最近有什麼改動?執行的結果是不是和你想的一樣?

    也許問題就這麼清晰的定位了......

 

 

 

 

 -----------------------------------------------------------------------------------------------------

  總結:記憶體對於資料庫來說是最為重要的依賴之一,記憶體的問題診斷和優化對系統至關重要。

     優化語句可以讓你的系統記憶體壓力明顯降低。

     語句優化所帶來的效果,在很大程度上會比添加硬體更有效!

     作為一個技術人員對於系統問題的定位、分析、調優是最重要的。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1,開始 昨天在CSDN上看到這一個提問帖子:《用SQL寫一個存儲過程10進位轉33進位代碼 》,原帖的問題是這樣: 急求10進位轉33進位代碼。 就是我想在SQL中創建一個存儲過程“T10TO33”可以實現將10進位的數據轉換成33進位。 33進位規則是:1,2,3,4,5,6,7,8,9,A,B ...
  • select sys_guid() from dual; ...
  • 1、 " 子查詢 " 1.1、 "子查詢簡介" 1.2、 "WITH 子查詢" 2、 " 集合查詢 " 2.1、 "UNION 和 UNION ALL" 2.2、 "MINUS" 2.3、 "INTERSECT" 2.4、 "集合運算與 ORDER BY" 3、 " DISTINCT 子句 " 3. ...
  • SSIS 包部署錯誤 0xC0010014 "Reinhard" 在部署 SSIS 包時,提示如下錯誤。 由於錯誤 0xC0010014“發生了一個或多個錯誤。在此消息之前應有更為具體的錯誤消息,對這些錯誤進行詳細說明。此消息用作遇到錯誤的函數的返回值。”,無法載入包。當 CPackage::Loa ...
  • 問題描述: 今天給 WIN 7 SP1 操作系統安裝 SQL Server 2014 ,報錯找不到vc_red.msi (圖片來源網路,請忽略2012字樣。。) 問題解決: 1、由於安裝程式提示10.0.40219的x86和x64,從微軟官方下載 https://www.microsoft.com/ ...
  • 解決資料庫編碼中文出現亂碼的問題 1.在mysql下查看編碼(show variables like "char%";或者status;) server和client是預設編碼還是UTF8 預設latin1編碼需要修改,UTF8編碼不需要修改 2.關閉mysql服務(net stop mysql) ...
  • 創建連接池 package com.oraec.jdbcutil; import java.beans.PropertyVetoException;import java.sql.Connection;import java.sql.ResultSet;import java.sql.SQLExce ...
  • 前言 好好學習,天天向上。 正文 好像也是一個不難的問題,剛視頻里看到的,就記一下吧。 下麵是表中原始的數據結構,做了一個倒敘排序: 首先來看一下如何取Salary第二的記錄。 原理是先獲取到最大的salary-maxSalary,然後根據salary降序排序,取第一條salary小於該maxSal ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...