sql server 記憶體初探

一. 前言

 　　對於sql server 這個產品來說，記憶體這塊是最重要的一個資源， 當我們新建一個會話，相同的sql語句查詢第二次查詢時間往往會比第一次快，特別是在sql統計或大量查詢數據輸出時，會有這麼感覺。除了第一次要編譯生成執行計劃,  在CPU,I/O 的影響外，最主要的是第二次查詢是從記憶體緩存中讀出，為什麼是這樣，sql server 記憶體里存儲了什麼，它與windows記憶體又有什麼區別？  參考了一些資料 下麵來試著講講。    

二. 記憶體和硬碟

         為什麼記憶體是寶貴的，在每個系統上都是有限的，就像你看到的1 tb的硬碟，但是你通常看到的是50-200 G的記憶體， 物理記憶體的訪問速度非常快，不能超過一定的限制。在記憶體有限的情況下，如果所有的進程都使用了有限的記憶體，並且新的進程將無法為他們找到任何記憶體，這就出現了虛擬地址空間的概念（也稱為VAS）。

　　Virtual Address Space(虛擬地址空間)

　　　　是指一個應用程式能夠申請訪問的最大地址空間。32位定址空間最大是4G，   64位定址空間最大是8TB。

　　　　VAS作為中間的抽象層的,  不是所有的請求都直接映射到物理記憶體,它首先映射到VAS然後映射到物理記憶體。因此，它可以更協調的方式管理對記憶體的請求，而不是讓進程去做，如果不是這樣，它很快就會導致記憶體崩潰。

　　　　在Windows操作系統中，VAS 的內核進程與用戶進程之間的劃分是相同的。對於32位系統，最大的VAS 是4 G的內核/ 2 G到應用程式的中，在這裡，SQL Server是應用程式進程，當我使用word進程時，它意味SQL Server進程差不多一樣，將得到2 G的VAS。因此，從理論上講，這意味著任何應用程式進程在32位上運行的都將擁有最大限度的2 G。

三 sql server 記憶體 架構

             sql server 記憶體管理，在sql server 2012發生了重大改變，對記憶體重新實現了一遍。  先看下版本之間記憶體管理圖的區別

  　　名詞術語 

　　　3.1 BufferPool　　　　　　

　　　　SQL Server使用BufferPool緩衝池來有效地管理SQL Server進程的記憶體請求。它是SQL Server的最大記憶體消耗者。緩衝區是記憶體中的一個8 KB的頁面，與數據或索引頁面大小相同，您可以將緩衝區看作是一個框架，它在從磁碟到記憶體的時候保存數據和索引頁。

　　　　SQL Server緩衝區管理器管理將數據頁讀入緩衝池的任務，並將其寫入磁碟。它是SQL Server的預留記憶體存儲，如果您不為它設置值，它將占用儘可能多的記憶體。因此，在spconfigure中為max server記憶體設置最佳值總是被推薦為一種良好的實踐。緩衝池只將記憶體分配給需要少於8 KB頁面的請求。

　　　　對於大於8 KB記憶體的所有請求，都是由windows API直接分配的。所有緩存存儲計劃、數據和索引頁都存儲在這個緩衝池中。當用戶請求row/rows時，如果緩衝區池中沒有，則使該頁面從磁碟進入記憶體。這種輸入/輸出可能在繁忙的系統上特別昂貴，因此儘可能減少SQL伺服器緩存的大小，這可能會被用戶看作是記憶體泄漏或SQL Server占用大量記憶體，但實際上它提高了性能，實際上這個特性是通過設計實現的。

　　　　下麵這些記憶體不是來自緩衝池：
　　　　　　SQL LCR
　　　　　　擴展存儲過程
　　　　　　鏈接伺服器分配的記憶體
　　　　　　記憶體管理器完成的大頁面分配（大頁面為任意頁面＞8 KB）
　　　　　　COM對象

         3.2   single-page 

                     這塊記憶體是<=8kb 的存儲，適用於sql server 2008及以前， 屬於buffer pool 緩衝池來分配。有存儲數據頁面，Consumer功能組件。

         3.3 multi- page

                     這塊記憶體是>8kb的 存儲，適用於sql server 2008及以前， 不屬於buffer pool 緩衝池來分配,  有存儲Consumer功能組件, 第三方代碼, Threads線程。

    　 3.4  any size page

                      這個適用於sql server 2012及以上，整合了single-page,multi-page 統稱pages。

  四. sql server 2008 記憶體

                    從記憶體圖我們可以看到有 page reservation  需預先申請的記憶體， 有momory objects 從windows api申請的記憶體，  有clr第三方申請的記憶體。

        記憶體的分類方式有很多，下麵介紹三種方式：

　　1. 按用途分類 

                 1.1 Database Cache(數據頁面緩衝區)

                          當用戶修改了某個頁面上的數據時，sql server會在頁存中將這個頁修改。但不會立刻將這個頁面寫回硬碟，而是等後面的checkpoint 或lazy write集中處理。

                 1.2 各類Consumer功能組件

                            Connection 連接：包括輸入緩衝池和輸出緩衝池, 用來存儲用戶指令和返回結果。

                            General ：一組大雜燴: 語句，語句編譯，範式化，鎖數據結構，事務上下文，表格，索引的元數據等。

                            Query paln：語句和存儲過程的執行計劃。

                            Optimizer：sql server在生成執行計劃的過程中需要消耗的記憶體。

                            Utilities：像BCP, Log Manager,Parallel Queries,Backup

                 1.3    線程記憶體

                             為每個線程分配0.5MB的記憶體

                 1.4    第三方代碼申請的記憶體

　　　　　　　　如用戶定義的CLR,Linked Server分散式查詢從遠程資料庫取回大量數據。

　　2. 按申請方式分類

 　　　  申請方式是指要先預先Reserve一塊大的記憶體，然後再一小塊一小塊的commit。對Database Cache是會先Reserve，再commit。

　　　　其他所有記憶體使用，基本都是直接commit，都叫Stolen。

　　3. 按申請大小分類（上面的記憶體圖就是這種分類）

　　　　有二種記憶體申請單位:  一種是小於或等於8KB的，稱為Buffer Pool，一次一個頁面的這種分配，被稱為single page allocation.

 　　　  一種是大於8kb的，稱為Multi-page（以前叫MemToLeave）,這種分配，被稱為 Multiple Page Allocation.

　　　　註意這裡的很大一部分記憶體不受 sql server本身控制.因為第三方代碼申請的記憶體都放在Multi-page里.

 　記憶體分類方法之間的關係

五.sql server 2012 記憶體

　　　在 sql server 2012里，single page  allocator 和multi page allocator 統一起來了，叫做any size page allocator。max server memory 不再像以前的版本那樣，只控制buffer pool的大小，也包括那些大於8kb 的記憶體請求。也就是max server memory 能夠更準確地控制SQL Server 的記憶體使用了。

　　如下圖所示：

         使用dmv 來查看當前實例的總記憶體空間，以及占用記憶體空間

　　　　--Target Server Memory (KB)最多能申請的記憶體量
　　　　--Total Server Memory (KB) 目前使用了多少記憶體量

         從下麵的空間占用也可以看出來， 給sql server有分配多少記憶體， 它就會占用多少記憶體，以達到性能的最優。

select counter_name, ltrim(cntr_value*1.0/1024.0/1024.0)+'G' 
as memoryGB from master.sys.dm_os_performance_counters  
where counter_name like '%target%server%memory%'or  counter_name like '%total%memory%'

 六  總結

　　當您啟動Microsoft SQL Server時，SQL Server記憶體使用量可能會繼續穩步增長，而不是減少，即使伺服器上的活動很低。此外，任務管理器和性能監視器可能顯示，電腦上可用的物理記憶體會逐漸減少，直到可用記憶體在4 MB到10 MB之間。這種行為本身並不表示記憶體泄漏。這種行為是典型的，並且是SQL Server緩衝池的預期行為。

　　預設情況下，SQL Server根據操作系統報告的物理記憶體負載動態地增長和縮小緩衝池（緩存）的大小。只要有足夠的記憶體（4 MB和10 MB）可以防止分頁，那麼SQL Server緩衝池就會繼續增長。當與SQL Server在同一臺電腦上分配記憶體時，SQL Server緩衝管理器將根據需要釋放記憶體。SQL Server可以每秒釋放數兆位元組的記憶體。這允許SQL Server快速地適應記憶體分配更改。

 　　您可以為SQL Server資料庫引擎使用最小伺服器記憶體和最大伺服器記憶體配置選項使用多少記憶體（緩衝池）設置上限和下限

　　請註意，通過上圖設置記憶體最大 max 只限制SQL Server緩衝池的大小。不限制SQL Server為其他組件分配的剩餘未保留記憶體區域，如擴展存儲過程、COM對象、非共用dll、EXEs和MAPI組件。由於之前的分配，SQL Server私有位元組的數量超過了最大伺服器記憶體配置。 

        後面章節在詳細介紹記憶體的查看分析

參考文獻：

　　SQL Server Memory and Troubleshooting

      Microsoft SQL Server企業級平臺管理實踐

      SQL Server 2012 記憶體管理 (memory management) 改進