慎用ToLower和ToUpper,小心把你的系統給拖垮了

来源:https://www.cnblogs.com/huangxincheng/archive/2020/05/04/12827314.html
-Advertisement-
Play Games

不知道何時開始,很多程式員喜歡用ToLower,ToUpper去實現忽略大小寫模式的字元串相等性比較,有可能這個習慣是從別的語言引進的,大膽猜測下是JS,為了不引起爭論,我指的JS是技師的意思~ 一:背景 1. 講故事 在我們一個訂單聚合系統中,每一筆訂單都會標註來源,比如JD,Taobao,Eta ...


不知道何時開始,很多程式員喜歡用ToLower,ToUpper去實現忽略大小寫模式的字元串相等性比較,有可能這個習慣是從別的語言引進的,大膽猜測下是JS,為了不引起爭論,我指的JS是技師的意思~

一:背景

1. 講故事

在我們一個訂單聚合系統中,每一筆訂單都會標註來源,比如JD,Taobao,Etao,Shopex 等等一些渠道,UI上也提供高級配置輸入自定義的訂單來源,後來客戶反饋輸入xxx查詢不出訂單,這裡就拿shopex為例,用戶用小寫的shopex查詢,但系統中標註的是首字母大寫的Shopex,所以自然無法匹配,為瞭解決這個問題開發小哥就統一轉成大寫做比對,用代碼表示如下:


                var orderfrom = "shopex".ToUpper();

                customerIDList = MemoryOrders.Where(i =>i.OrderFrom.ToUpper()==orderFrom)
                                       .Select(i => i.CustomerId).ToList();

改完後就是這麼牛的上線了,乍一看也沒啥問題,結果一查詢明顯感覺比之前速度慢了好幾秒,乾脆多點幾下,好咯。。。在監控中發現CPU和memory突高突低,異常波動,這位小哥又在寫bug了,查了下代碼問他為什麼這麼寫,小哥說在js中就是這麼比較的~~~

2. string.Compare 改造

其實在C#中面對忽略大小寫形式的比較是有專門的方法,性能高而且還不費記憶體,它就是 string.Compare,所以把上面代碼改成如下就可以了。


                var orderfrom = "shopex";

                customerIDList = MemoryOrders.Where(string.Compare(i.TradeFrom, tradefrom, 
                                                                   StringComparison.OrdinalIgnoreCase) == 0)
                                             .Select(i => i.CustomerId).ToList();

這其中的 StringComparison.OrdinalIgnoreCase枚舉就是用來忽略大小寫的,上線之後除了CPU還是有點波動,其他都沒有問題了。

二:為什麼ToLower,ToUpper會有如此大的影響

為了方便演示,我找了一篇英文小短文,然後通過查詢某一個單詞來演示ToUpper為啥對cpu和memory以及查詢性能都有如此大的影響,代碼如下:


        public static void Main(string[] args)
        {
            var strList = "Hooray! It's snowing! It's time to make a snowman.James runs out. He makes a big pile of snow. He puts a big snowball on top. He adds a scarf and a hat. He adds an orange for the nose. He adds coal for the eyes and buttons.In the evening, James opens the door. What does he see? The snowman is moving! James invites him in. The snowman has never been inside a house. He says hello to the cat. He plays with paper towels.A moment later, the snowman takes James's hand and goes out.They go up, up, up into the air! They are flying! What a wonderful night!The next morning, James jumps out of bed. He runs to the door.He wants to thank the snowman. But he's gone.".Split(' ');

            var query = "snowman".ToUpper();

            for (int i = 0; i < strList.Length; i++)
            {
                var str = strList[i].ToUpper();

                if (str == query)
                    Console.WriteLine(str);
            }

            Console.ReadLine();
        }

1. 記憶體波動探究

既然記憶體有波動,說明記憶體里進了髒東西,學C#基礎知識的時候應該知道string是不可變的,一旦有修改就會生成新的string,那就是說ToUpper之後會出現新的string,為了用數據佐證,用windbg演示一下。

0:000> !dumpheap -type System.String -stat
Statistics:
              MT    Count    TotalSize Class Name
00007ff8e7a9a120        1           24 System.Collections.Generic.GenericEqualityComparer`1[[System.String, mscorlib]]
00007ff8e7a99e98        1           80 System.Collections.Generic.Dictionary`2[[System.String, mscorlib],[System.Globalization.CultureData, mscorlib]]
00007ff8e7a9a378        1           96 System.Collections.Generic.Dictionary`2+Entry[[System.String, mscorlib],[System.Globalization.CultureData, mscorlib]][]
00007ff8e7a93200       19         2264 System.String[]
00007ff8e7a959c0      429        17894 System.String
Total 451 object

可以看到托管堆上有Count=429個string對象,那這個429怎麼來的? 組成:短文128個,ToUpper後128個,系統預設165個,query字元串2個,不明字元串6個,最後就是128 +128 + 165 + 2 + 6=429,然後隨便抽幾個看看。

!dumpheap -mt 00007ff8e7a959c0 > !DumpObj 000002244282a1f8


0:000> !DumpObj /d 0000017800008010
Name:        System.String
MethodTable: 00007ff8e7a959c0
EEClass:     00007ff8e7a72ec0
Size:        38(0x26) bytes
File:        C:\WINDOWS\Microsoft.Net\assembly\GAC_64\mscorlib\v4.0_4.0.0.0__b77a5c561934e089\mscorlib.dll
String:      HOUSE.
Fields:
              MT    Field   Offset                 Type VT     Attr            Value Name
00007ff8e7a985a0  4000281        8         System.Int32  1 instance                6 m_stringLength
00007ff8e7a96838  4000282        c          System.Char  1 instance               48 m_firstChar
00007ff8e7a959c0  4000286       d8        System.String  0   shared           static Empty
                                 >> Domain:Value  0000017878943bb0:NotInit  <<
0:000> !DumpObj /d 0000017800008248
Name:        System.String
MethodTable: 00007ff8e7a959c0
EEClass:     00007ff8e7a72ec0
Size:        40(0x28) bytes
File:        C:\WINDOWS\Microsoft.Net\assembly\GAC_64\mscorlib\v4.0_4.0.0.0__b77a5c561934e089\mscorlib.dll
String:      SNOWMAN
Fields:
              MT    Field   Offset                 Type VT     Attr            Value Name
00007ff8e7a985a0  4000281        8         System.Int32  1 instance                7 m_stringLength
00007ff8e7a96838  4000282        c          System.Char  1 instance               53 m_firstChar
00007ff8e7a959c0  4000286       d8        System.String  0   shared           static Empty
                                 >> Domain:Value  0000017878943bb0:NotInit  <<

查了兩個全是大寫的“HOUSE”,“SNOWMAN”,再回到我的場景有小百萬訂單,也就會在托管堆上生成小百萬個string,如果再點一次又會生成小百萬個,記憶體怎麼會不突增呢。。。

2.cpu和查詢時間探究

現在大家知道了堆上可能有幾百萬個string對象,這些對象的分配和釋放給cpu造成了不小的壓力,本身toUpper之後速度變慢,更慘的是還會造成gc顫抖式觸發,一顫抖所有的thread都會被暫停開啟回收,速度就更慢了。。。

三:string.Compare解析

再回過頭來看一下string.Compare為什麼這麼

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 世界分為24個時區(間隔是0 23小時),我們經常見到的 UTC (世界無線電組織規定的)通用協調時間。 GMT (格林威治時間),本初子午線 0時區 英國倫敦的本地時間 UTC == GMT == 0時區 == 英國倫敦的本地時間 == 本初子午線 中國屬於東8區,其實,是占在東五區到東9區。 國 ...
  • 引導 要求:線程資源必須通過線程池提供,不允許在應用自行顯式創建線程; 說明:使用線程池的好處是減少在創建和銷毀線程上所花的時間以及系統資源的開銷,解決資源不足的問題。如果不使用線程池,有可能造成系統創建大量同類線程而導致消耗記憶體或者“過度切換”的問題。 特別要註意:光理論是不夠的,記住:Java架 ...
  • 45. 跳躍游戲 II 題目來源: "https://leetcode cn.com/problems/jump game ii" 題目 給定一個非負整數數組,你最初位於數組的第一個位置。 數組中的每個元素代表你在該位置可以跳躍的最大長度。 你的目標是使用最少的跳躍次數到達數組的最後一個位置。 示例 ...
  • 隨著 JDK 1.8 Streams API 的發佈,使得 HashMap 擁有了更多的遍歷的方式,但應該選擇那種遍歷方式?反而成了一個問題。 本文先從 HashMap 的遍歷方法講起,然後再從性能、原理以及安全性等方面,來分析 HashMap 各種遍歷方式的優勢與不足,本文主要內容如下圖所示: 這 ...
  • 主要有三種,順序、分支、迴圈。 順序控制結構 代碼從上到下,自左而右的執行,不對代碼進行任何的干預 分支控制結構 指代碼可以有多個選擇的執行,分為單分支和多分支 單分支:程式執行的流程不超過2個結構 多分支:程式執行的流程超過了2個以上的結構 if switch 多分支結構,一般只用於判斷確切的數值 ...
  • java類 一、類和對象 類(class)可以看成對具體事物的抽象特征提取。比如:人這個類,擁有器官的屬性、擁有走路、勞動、吃喝玩樂的行為等。 對象(Object, instance)可以看成具體的事物,就是類的實例。比如:小明這個人,就是人類的一個實例。 二、類 1. 類的定義 [修飾符1 修飾符 ...
  • 0. 前言 繼續之前的C IO流,在前幾篇小短片中我們大概看了下C 的基礎IO也對文件、目錄和路徑的操作有了一定的瞭解。這一篇開始,給大家演示一下流的各種操作。以文件流為例,一起來看看如何操作吧。 註:之前更新了一篇《Spring Cloud 實戰日記》,這是一個新的系列,有興趣的小伙伴可以從我的賬 ...
  • 《ASP.NET MVC 5 網站開發之美》 [作者] (台) demo (台) 小朱 (台) 陳傳興 (台) 王育民 (台) 陳仕傑[出版] 清華大學出版社[版次] 2015年09月 第1版[印次] 2017年03月 第2次 印刷[定價] 128.00元 【第01章】 (P004) 目前網頁前端技 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...