使用dapper,因錯誤SQL字串拼接方式 導致的記憶體泄漏

来源:https://www.cnblogs.com/hyxf/p/18347745
-Advertisement-
Play Games

Docker部署.netCore6 第一步:在項目添加Docker支持 第二步:選擇Windows(如果是linx系統就選擇linx)和Dockerfile 第三步:生成Docker預設文件 把預設代碼修改 第四步:修改Dockerfile文件屬性(如果不修改則會導致發佈的時候Docker文件沒有一 ...


作者就職的公司在19年就開始使用.net core並且部署到Linux上,這些年也遇到不少問題,有些問題都是使用土方法去解決,後面再慢慢寫吧,準備將遇到的問題寫成一個系列。

 

前情提要

本次的項目是20年上線的儲值卡系統,上線後發現記憶體緩慢增長(半個月漲到4G多),一直沒有找到原因就讓運維小伙伴設置每半個月重啟來解決這個問題,但是公司的發展增長的記憶體越來越大,不得不去學習一些知識去解決這個問題了。這就有了今天這篇博文。

讓運維小伙伴幫忙拿到dump,開始分析。(如何從Linux拿到dump?參考黃老師(一線碼農)的博文:Linux 上的 .NET 崩潰了怎麼抓 Dump - 一線碼農 - 博客園 (cnblogs.com))


 

分析思路:

一、先觀察一下dump的摘要信息

打開WinDbg,使用 !address -summary 命令觀察摘要信息

 發現 MEM_COMMIT 中占用1.501GB

二、判斷是托管記憶體還是非托管記憶體泄露

1、使用 !eeheap -gc 命令觀察一下

 發現 Small object heap(小對象堆)占了800多M的記憶體,Large object heap(大對象堆)占了90多M的記憶體,那還有500多M的記憶體在哪裡呢?

2、那我們通過!sos maddress -summary 命令觀察一下

 

發現棧(stack)和映像(Image)占了519M記憶體,上面缺少的500多M在這裡了,這個占用是正常的,那麼我們就可以確認問題出現在Small object heap(小對象堆)中了

 

三、看看統計下托管堆上記憶體所有對象和小對象堆中的記憶體所有對象

1、通過 !sos dumpheap -stat 命令查看托管堆上記憶體所有對象

 發現數量最多分別是Dapper.SqlMapper+CacheInfoDapper.SqlMapper+Identitystring我們在來看看某個小對象堆中的所有對象是不是這些內容

 

2、通過 !dumpheap -segment XXX(小對象堆中的segment 命令觀察小對象堆上記憶體所有對象

 

發現和上面托管堆的中的對象一樣,那我們接下來就去看看數量最多string中都是些什麼東西吧。

 

四、查看string對象中的內容

1、通過 !dumpheap -mt 7f6f8b160f90 命令查看對象中的信息

 內容有點多,那我們就看看其中一個對象的內容吧

2、通過 !dumpobj /d 7f6f73ffadd8 命令查看對象中的內容

 ????怎麼會是sql語句呢?我再多看幾個

 怎麼都是sql呀?????那我就看看誰在占用它吧

 3、通過 !sos gcroot 7f6f71cf4ac8 命令查看誰在占用該記憶體對象

 

居然是dapper在占用它,看上去是dapper的緩存?啊???dapper還把sql語句都作為緩存了?

好我們找到問題了,那就開始解決它


 解決問題:

一、要解決問題那必須先瞭解問題

通過查看源碼,找到Dapper.SqlMapper.Identity

發現會緩存起來,為什麼會緩存起來呢?原因是為了效率

 

(詳細的大家請看:深入Dapper.NET源碼 (文長) - 阿翰 - 博客園 (cnblogs.com)

 二、解決辦法

 1、規範sql,條件都必須通過參數傳遞,避免緩存過得造成記憶體泄露

 2、如果沒辦法規範sql怎麼辦呢?也有解決版本

通過閱讀源碼發現有兩個方法 SqlMapper.GetCachedSQLCount()SqlMapper.PurgeQueryCache(),可以通過以上兩個方法解決這個問題,避免過多的緩存,如果大於閾值就清空緩存

 

 

下一篇再見了大家


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Aspire8一文通 0、簡介 微軟Aspire是微軟今年推出的一個全新的平臺無關、語言無關的新框架,它的設計目的是簡化雲原生應用的開發、部署和管理過程。Aspire的讀音是[əˈspaɪər],它的意思是渴望(成就);有志(成為),利用它你可以構建新應用程式或將雲原生功能添加到現有的應用程式,或者 ...
  • 前言 在物聯網(IoT)和工業自動化領域,邊緣計算設備扮演著至關重要的角色。邊緣採集網關作為連接物理世界與數字世界的橋梁,負責收集感測器數據並將數據傳輸到雲端或本地數據中心進行處理。 本文將介紹一款基於 .NET 8 的跨平臺高性能邊緣採集網關的開源項目。希望通過這個項目能夠幫助大家搭建和部署高效的 ...
  • 引言 最近在做的項目上做了一些性能優化的工作,用到了 Visual Studio 遠程調試,所以本篇文章整理一下遠程調試技巧。 首先,瞭解一下 Visual Studio遠程調試是什麼? Visual Studio 的遠程調試功能允許在本地調試遠程電腦上運行的應用程式。用遠程調試,可以在本地電腦 ...
  • 視窗/屏幕截圖適用於截圖、批註等工具場景,時時獲取視窗/屏幕圖像數據流呢,下麵講下視頻會議共用桌面、遠程桌面這些場景是如何實現畫面錄製的。 常見的屏幕畫面時時採集方案,主要有GDI、WGC、DXGI。 GDI GDI(Graphics Device Interface)就是使用user32下Wind ...
  • 前言 基於 .NET 8 的開源項目,主要使用 WebAPI + Blazor 支持多租戶和模塊化設計,DDD構建。可以幫助我們輕鬆地搭建起一個功能完善的Web應用程式。除了幫助你快速構建應用程式之外,項目也可以當做學習資料。我們可以從中瞭解到多租戶、CQRS、DDD架構、雲部署、Docker容器化 ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他們的程式崩潰了,也自己分析了下初步結果,讓我幫忙再確認下,既然讓我確認,那就開始dump分析之旅吧。 二:WinDbg 分析 1. 為什麼會崩潰 windbg 有一個強大之處就是帶有一個自動化的分析命令 !analyze -v 可以幫助我們快速的分析 ...
  • 前言 WaterCloud 是一個集成了 LayUI 的高效敏捷開發框架,專為 .NET 開發者設計。 它不僅支持多種 .NET 版本(.NET 4.5、.NET Core 3.1、.NET 5、.NET 6),還內置了豐富的功能,如許可權管理、流程表單設計以及多資料庫支持下的多租戶架構。使用了 OR ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他們的系統出現了CPU 100%的情況,讓我幫忙看一下怎麼回事?dump也拿到了,本想著這種情況讓他多抓幾個,既然有了就拿現有的分析吧。 二:WinDbg 分析 1. 為什麼會爆高 既然說是 100%,作為調試者得拿數據說話,可以使用 !tp 來觀測一 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...