關於代碼性能優化的總結

来源:https://www.cnblogs.com/Mr-Worlf/p/18020445
-Advertisement-
Play Games

今天同事發開中遇到了一個代碼性能優化的問題,原本需求是:從一個資料庫中查詢某個表數據,存放到datatable中,然後遍歷datatable,看這些數據在另一個資料庫的表中是否存在,存在的話就要更新,不存在就要插入。 就這個需求本身來說很簡單,但是隨著數據量的增大,之前通過迴圈遍歷的方式就出現了性能 ...


  今天同事發開中遇到了一個代碼性能優化的問題,原本需求是:從一個資料庫中查詢某個表數據,存放到datatable中,然後遍歷datatable,看這些數據在另一個資料庫的表中是否存在,存在的話就要更新,不存在就要插入。

  就這個需求本身來說很簡單,但是隨著數據量的增大,之前通過迴圈遍歷的方式就出現了性能問題。我在思索片刻後,給出的建議是分頁查詢和利用事務批量提交。

1.利用資料庫事務批量提交

 1 using (SqlTransaction transaction = targetConnection.BeginTransaction())
 2             {
 3                 foreach (DataRow row in dataTable.Rows)
 4                 {
 5                     if (CheckIfDataExists(targetConnection, transaction, row))
 6                     {
 7                         UpdateData(targetConnection, transaction, row);
 8                     }
 9                     else
10                     {
11                         InsertData(targetConnection, transaction, row);
12                     }
13                 }
14 
15                 transaction.Commit();
16             }
17         }
18 
19 //下麵兩個方法都還可以優化,需要接收批量sql語句,所以可以修改成list<SqlCommand>,然後遍歷執行,此處能說明問題即可
20   private void UpdateData(SqlConnection connection, SqlTransaction transaction, DataRow row)
21     {
22         using (SqlCommand command = new SqlCommand("UPDATE YourTable SET YourUpdateStatement WHERE YourCondition", connection, transaction))
23         {
24             // Add parameters to your command here, based on your update statement and condition
25             // command.Parameters.AddWithValue("@ParameterName", row["ColumnName"]);
26 
27             command.ExecuteNonQuery();
28         }
29     }
30 
31     private void InsertData(SqlConnection connection, SqlTransaction transaction, DataRow row)
32     {
33         using (SqlCommand command = new SqlCommand("INSERT INTO YourTable (YourColumns) VALUES (YourValues)", connection, transaction))
34         {
35             // Add parameters to your command here, based on your columns and values
36             // command.Parameters.AddWithValue("@ParameterName", row["ColumnName"]);
37 
38             command.ExecuteNonQuery();
39         }
40     }

  看到這裡的時候,大家可以考慮下,以上方案還有什麼優化的地方嗎?

  當然是有的,如果數據量持續增大,datatable這樣直接載入到記憶體的方式恐怕會成為性能問題點吧,我們得考慮怎麼優化才能避免將大數據一次性載入到記憶體,大部分同學第一個想到的就是分頁,這個方案當然是沒有錯,但是還不夠高級,給大家提示一個關鍵字“yield”,或許從聰明的你已經悟到了,接著往下看。

2.流式處理法

  什麼是流式處理法呢

  流式處理是一種處理數據的方式,它允許你在數據到達時立即處理,而不是等待所有數據都到達後再處理。這種方式特別適合處理大量數據,因為它不需要一次性載入所有數據到記憶體中。 在C#中,你可以使用yield return關鍵字來創建一個返回IEnumerable<T>的方法,這個方法可以在每次迭代時返回一個元素,而不是一次性返回所有元素。這就是一種流式處理的實現方式。 舉個例子:
 1 private IEnumerable<DataRow> GetDataFromSource()
 2     {
 3         using (SqlConnection sourceConnection = new SqlConnection(sourceConnectionString))
 4         {
 5             sourceConnection.Open();
 6 
 7             using (SqlCommand command = new SqlCommand("SELECT * FROM YourTable", sourceConnection))
 8             {
 9                 using (SqlDataReader reader = command.ExecuteReader())
10                 {
11                     DataTable dataTable = new DataTable();
12 
13                     while (reader.Read())
14                     {
15                         dataTable.LoadDataRow(reader.GetValues(), LoadOption.Upsert);
16                         DataRow row = dataTable.Rows[dataTable.Rows.Count - 1];
17                         yield return row;
18                         dataTable.Clear();
19                     }
20                 }
21             }
22         }
  在這個示例中,GetDataFromSource方法每次迭代時返回一個DataRow,而不是一次性返回所有DataRow。這樣,你就可以在每次迭代時處理一個DataRow ,而不需要一次性載入所有數據到記憶體中。但是如果你的數據處理需要跨行操作,你可能需要使用其他的方法了,這個就不適用。   掃盲:yield一次只返回一個難道就不會多次訪問資料庫了嗎?   在這個示例中,yield return並不會導致多次訪問資料庫。實際上,資料庫查詢只執行一次,然後使用SqlDataReader逐行讀取結果。yield return只是在每次迭代時返回一個DataRow,而不是一次性返回所有DataRow。 當你在foreach迴圈中迭代GetDataFromSource()方法時,每次迭代都會從上次停止的地方繼續,直到SqlDataReader讀取完所有行。這意味著,雖然你每次只處理一個DataRow,但資料庫查詢只執行一次。     既然已經看到這裡了,我們可以繼續再考慮下關於性能優化,我們還能從哪些方面著手呢? 1. 代碼層面: - 使用更高效的數據結構和演算法。 - 使用緩存避免多次資料庫交互 - 減少不必要的計算和記憶體分配。 - 利用並行和非同步編程提高性能。 - 使用性能分析工具定位和優化瓶頸。   2. Web API方面: - 使用HTTP緩存減少不必要的請求。 - 使用Gzip或Brotli壓縮減少響應大小。 - 使用分頁、排序和過濾減少返回的數據量。 - 使用GraphQL或OData讓客戶端可以指定需要的數據。   3. 資料庫方面: - 使用索引加速查詢。 - 使用批量操作減少資料庫交互次數。 - 使用讀寫分離和資料庫分片提高併發性能。 - 使用緩存減少資料庫訪問。   4. Nginx方面: - 使用反向代理和負載均衡提高併發性能。 - 使用緩存減少後端伺服器的負載。 - 使用Gzip壓縮減少網路傳輸量。   5. CDN方面: - 使用CDN加速靜態資源的訪問。 - 使用邊緣計算將計算任務靠近用戶。   6. 微服務方面: - 使用服務間的非同步通信減少等待時間。 - 使用服務的橫向擴展提高併發性能。 - 使用服務的分區設計提高可擴展性。   - 根據業務需求,考慮使用redis、rabbitmq、mangoDB等等中間件   7. 其他方面: - 使用自動擴縮容的雲服務應對流量波動。 - 使用性能監控和日誌分析工具定位性能問題。 - 使用容器和Kubernetes等技術提高部署和運行的效率。 - 使用鏈路追蹤SkyWorking具體查看哪條鏈路的性能瓶頸     性能優化本身就是一個非常龐大的話題,需要具體問題具體分析,總的來說是,平常能用到的就是以上總結的這些點。技術永遠是為業務服務的,根據不同的業務選擇合適的技術是高級開發者必須要考慮的問題。今天分享就這些了,關於性能優化大家還有那些經驗可以評論區分享! 更多精彩內容,請關註我的V信公眾號:程式員不帥哥
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 通過`FromStr`及`Display`的重定義,我們可以支持更強大的自定義的序列化操作,系統綁定埠既認埠號也認綁定IP,所以我們可以對同個埠進行多次綁定。 ...
  • python打包和反編譯 從py到exe 打包 安裝Pyinstaller pip install pyinstaller //太慢可切源 pip install -i https://pypi.douban.com/simple/ pyinstaller #豆瓣源 pip install -i h ...
  • API介面是一種讓不同系統之間實現數據交互的工具,它可以實現不同系統之間的數據共用和數據傳遞。全國今日油價API介面是一項非常有用的介面,它可以提供最新的全國各省汽油和柴油價格信息。本文將為大家介紹全國今日油價API介面的使用方法,並提供相應代碼說明。 介面名稱:全國今日油價API介面介面地址:ht ...
  • 當我們在編寫代碼時,經常會遇到需要管理資源的情況,比如打開和關閉文件,如果遇到了一些異常情況,我們需要關閉資源,不然會導致資源泄露,雖然我們可以通過手動的方式來關閉,但如果有多個異常情況需要考慮的話,萬一不小心漏了一處,就芭比Q了。所以,如果有一種更加優雅的方式來處理資源泄露的問題,那必定是非常ni ...
  • 拓展閱讀 sensitive-word-admin v1.3.0 發佈 如何支持分散式部署? sensitive-word-admin 敏感詞控台 v1.2.0 版本開源 sensitive-word 基於 DFA 演算法實現的高性能敏感詞工具介紹 更多技術交流 業務背景 如果我們的敏感詞部署之後,不 ...
  • Java 方法 簡介 方法是一塊僅在調用時運行的代碼。您可以將數據(稱為參數)傳遞到方法中。方法用於執行特定的操作,它們也被稱為函數。 使用方法的原因 重用代碼:定義一次代碼,多次使用。 提高代碼的結構化和可讀性。 將代碼分解成更小的模塊,易於維護和理解。 創建方法 方法必須在類內聲明。它的定義包括 ...
  • 前言我個人對三維渲染領域的開發有著濃厚的興趣,儘管並未在相關行業工作過,我的瞭解還很片面。去年,在與群友聊天時,他們推薦了一本《Unity Shader入門精要》,說適合像我這樣想自學的新人,於是我打開了通往新世界的大門。這本書涵蓋了很多基礎的渲染知識,如光照、陰影、各種風格的渲染等等。對於有興趣的 ...
  • Gif演示 分解步驟 1,使用組件DataGridView 2,使用DataSource來控製表格展示的數據來源(註意:來源需要是DataTable類型) 3,需要用到非同步線程。如果是不控制數據源的話,需要使用UI安全線程;(使用Control.Invoke或Control.BeginInvoke方 ...
一周排行
    -Advertisement-
    Play Games
  • PasteSpider是什麼? 一款使用.net編寫的開源的Linux容器部署助手,支持一鍵發佈,平滑升級,自動伸縮, Key-Value配置,項目網關,環境隔離,運行報表,差量升級,私有倉庫,集群部署,版本管理等! 30分鐘上手,讓開發也可以很容易的學會在linux上部署你得項目! [從需求角度介 ...
  • SQLSugar是什麼 **1. 輕量級ORM框架,專為.NET CORE開發人員設計,它提供了簡單、高效的方式來處理資料庫操作,使開發人員能夠更輕鬆地與資料庫進行交互 2. 簡化資料庫操作和數據訪問,允許開發人員在C#代碼中直接操作資料庫,而不需要編寫複雜的SQL語句 3. 支持多種資料庫,包括但 ...
  • 在C#中,經常會有一些耗時較長的CPU密集型運算,因為如果直接在UI線程執行這樣的運算就會出現UI不響應的問題。解決這類問題的主要途徑是使用多線程,啟動一個後臺線程,把運算操作放在這個後臺線程中完成。但是原生介面的線程操作有一些難度,如果要更進一步的去完成線程間的通訊就會難上加難。 因此,.NET類 ...
  • 一:背景 1. 講故事 前些天有位朋友在微信上丟了一個崩潰的dump給我,讓我幫忙看下為什麼出現了崩潰,在 Windows 的事件查看器上顯示的是經典的 訪問違例 ,即 c0000005 錯誤碼,不管怎麼說有dump就可以上windbg開幹了。 二:WinDbg 分析 1. 程式為誰崩潰了 在 Wi ...
  • CSharpe中的IO+NPOI+序列化 文件文件夾操作 學習一下常見的文件、文件夾的操作。 什麼是IO流? I:就是input O:就是output,故稱:輸入輸出流 將數據讀入記憶體或者記憶體輸出的過程。 常見的IO流操作,一般說的是[記憶體]與[磁碟]之間的輸入輸出。 作用 持久化數據,保證數據不再 ...
  • C#.NET與JAVA互通之MD5哈希V2024 配套視頻: 要點: 1.計算MD5時,SDK自帶的計算哈希(ComputeHash)方法,輸入輸出參數都是byte數組。就涉及到字元串轉byte數組轉換時,編碼選擇的問題。 2.輸入參數,字元串轉byte數組時,編碼雙方要統一,一般為:UTF-8。 ...
  • CodeWF.EventBus,一款靈活的事件匯流排庫,實現模塊間解耦通信。支持多種.NET項目類型,如WPF、WinForms、ASP.NET Core等。採用簡潔設計,輕鬆實現事件的發佈與訂閱。通過有序的消息處理,確保事件得到妥善處理。簡化您的代碼,提升系統可維護性。 ...
  • 一、基本的.NET框架概念 .NET框架是一個由微軟開發的軟體開發平臺,它提供了一個運行時環境(CLR - Common Language Runtime)和一套豐富的類庫(FCL - Framework Class Library)。CLR負責管理代碼的執行,而FCL則提供了大量預先編寫好的代碼, ...
  • 本章將和大家分享在ASP.NET Core中如何使用高級客戶端NEST來操作我們的Elasticsearch。 NEST是一個高級別的Elasticsearch .NET客戶端,它仍然非常接近原始Elasticsearch API的映射。所有的請求和響應都是通過類型來暴露的,這使得它非常適合快速上手 ...
  • 參考delphi的代碼更改為C# Delphi 檢測密碼強度 規則(仿 google) 仿 google 評分規則 一、密碼長度: 5 分: 小於等於 4 個字元 10 分: 5 到 7 字元 25 分: 大於等於 8 個字元 二、字母: 0 分: 沒有字母 10 分: 全都是小(大)寫字母 20 ...