為了協助開發還原生產環境中的某些bug,需要將將生產環境的某些特定表數據導入到測試環境做測試,之前一直都是暴力地truncate測試環境的表,然後用SSIS將生產環境對應的整張表數據導入測試環境,簡便快捷後來開發提出來,保留測試環境已有的數據,只同步差異的數據(根據主鍵),於是就嘗試使用SSIS中的 ...
為了協助開發還原生產環境中的某些bug,需要將將生產環境的某些特定表數據導入到測試環境做測試,
之前一直都是暴力地truncate測試環境的表,然後用SSIS將生產環境對應的整張表數據導入測試環境,簡便快捷
後來開發提出來,保留測試環境已有的數據,只同步差異的數據(根據主鍵),於是就嘗試使用SSIS中的“查找”組件進行不同伺服器之間的“存在則更新,不存在則插入”數據合併操作,
實際操作的時候只執行插入操作,達到同步數據的目的。
嘗試之後覺得還是挺好使的,看起來跟簡單,操作起來步驟還是挺多的,記錄一下。
首先最主要的一個組件就是如下截圖的查找組件。
完整的測試結果如圖所示,最主要的目的就是讓源數據“兵分兩路”,以不同的方式(更新或者插入)去同步到目標伺服器中,當然數據源與數據目標可以是不同的伺服器,不同類型的資料庫或者文件,關鍵是一種實現方式。
開始操作步驟
新建SSIS任務什麼的就不說了,操作一遍就回了,微軟的IDE還是比較好用的。
首先是最基本的數據流任務,拖一個數據任務流到SSIS設計器中
雙擊進入源編輯界面,設置數據源的伺服器和表
添加查找組件,設置查找組件的伺服器和表(導入數據的目標伺服器和表)
根據這裡的需求,常規選項中一定要將設置為“將行重定向到無匹配輸出”,因為這裡是要執行“不存在就插入”的操作,因此“源”與“目標”中的數據進行匹配,匹配到的與沒有匹配到的都要輸出,只不過是處理方式不同
註意有對於目標中的數據有三種緩存模式,這裡選擇預設的方式,不多說,有興趣的可以上網搜
繼續編輯列映射屬性
分別拉一個OLE DB 命令 和 OLE DB目標,位置儘量擺放的好看一點
分別設置個OLE DB 命令 和 OLE DB目標的屬性信息
列映射選項卡中編譯映射信息,可用目標列中的Parama_0和Param_1分別代表兩個上述SQL語句中的兩個參數,
因為SQL語句是update test_table1 set name = ? where id = ?,這裡的參數的順序要與占位符的?順序表示的意義相同
“左邊”更新的操作分支屬性編輯完成之後,編輯“右邊”的插入分支的屬性,這一步就簡單了,設置好數據源與目標表即可。
接下來就可以執行了,將源數據“兵分兩路”,分別執行“存在則更新,不存在則插入”的操作,因為這裡已經示例的是源與目標匹配到了5999行,進行更新,沒有匹配的是4999行,執行插入
執行完成後,源伺服器與目標伺服器數據一致。
一邊測試一遍截圖,比較亂,中間還是有一些細節的。
對於類似小眾化或者說是平時用的不是太頻繁的工具,時間久了可能會生疏,只要多實踐,多摸索,多看報錯信息,還是可以使用起來提高工作效率的。