關於代碼性能優化的總結

　　今天同事發開中遇到了一個代碼性能優化的問題，原本需求是：從一個資料庫中查詢某個表數據，存放到datatable中，然後遍歷datatable，看這些數據在另一個資料庫的表中是否存在，存在的話就要更新，不存在就要插入。

　　就這個需求本身來說很簡單，但是隨著數據量的增大，之前通過迴圈遍歷的方式就出現了性能問題。我在思索片刻後，給出的建議是分頁查詢和利用事務批量提交。

1.利用資料庫事務批量提交

 1 using (SqlTransaction transaction = targetConnection.BeginTransaction())
 2             {
 3                 foreach (DataRow row in dataTable.Rows)
 4                 {
 5                     if (CheckIfDataExists(targetConnection, transaction, row))
 6                     {
 7                         UpdateData(targetConnection, transaction, row);
 8                     }
 9                     else
10                     {
11                         InsertData(targetConnection, transaction, row);
12                     }
13                 }
14 
15                 transaction.Commit();
16             }
17         }
18 
19 //下麵兩個方法都還可以優化，需要接收批量sql語句，所以可以修改成list<SqlCommand>，然後遍歷執行，此處能說明問題即可
20   private void UpdateData(SqlConnection connection, SqlTransaction transaction, DataRow row)
21     {
22         using (SqlCommand command = new SqlCommand("UPDATE YourTable SET YourUpdateStatement WHERE YourCondition", connection, transaction))
23         {
24             // Add parameters to your command here, based on your update statement and condition
25             // command.Parameters.AddWithValue("@ParameterName", row["ColumnName"]);
26 
27             command.ExecuteNonQuery();
28         }
29     }
30 
31     private void InsertData(SqlConnection connection, SqlTransaction transaction, DataRow row)
32     {
33         using (SqlCommand command = new SqlCommand("INSERT INTO YourTable (YourColumns) VALUES (YourValues)", connection, transaction))
34         {
35             // Add parameters to your command here, based on your columns and values
36             // command.Parameters.AddWithValue("@ParameterName", row["ColumnName"]);
37 
38             command.ExecuteNonQuery();
39         }
40     }

　　看到這裡的時候，大家可以考慮下，以上方案還有什麼優化的地方嗎？

　　當然是有的，如果數據量持續增大，datatable這樣直接載入到記憶體的方式恐怕會成為性能問題點吧，我們得考慮怎麼優化才能避免將大數據一次性載入到記憶體，大部分同學第一個想到的就是分頁，這個方案當然是沒有錯，但是還不夠高級，給大家提示一個關鍵字“yield”，或許從聰明的你已經悟到了，接著往下看。

2.流式處理法

　　什麼是流式處理法呢？

 1 private IEnumerable<DataRow> GetDataFromSource()
 2     {
 3         using (SqlConnection sourceConnection = new SqlConnection(sourceConnectionString))
 4         {
 5             sourceConnection.Open();
 6 
 7             using (SqlCommand command = new SqlCommand("SELECT * FROM YourTable", sourceConnection))
 8             {
 9                 using (SqlDataReader reader = command.ExecuteReader())
10                 {
11                     DataTable dataTable = new DataTable();
12 
13                     while (reader.Read())
14                     {
15                         dataTable.LoadDataRow(reader.GetValues(), LoadOption.Upsert);
16                         DataRow row = dataTable.Rows[dataTable.Rows.Count - 1];
17                         yield return row;
18                         dataTable.Clear();
19                     }
20                 }
21             }
22         }