通過SSIS的“查找”組件進行不同數據源之間數據的合併操作

来源:http://www.cnblogs.com/wy123/archive/2017/07/07/7134324.html
-Advertisement-
Play Games

為了協助開發還原生產環境中的某些bug,需要將將生產環境的某些特定表數據導入到測試環境做測試,之前一直都是暴力地truncate測試環境的表,然後用SSIS將生產環境對應的整張表數據導入測試環境,簡便快捷後來開發提出來,保留測試環境已有的數據,只同步差異的數據(根據主鍵),於是就嘗試使用SSIS中的 ...


 

為了協助開發還原生產環境中的某些bug,需要將將生產環境的某些特定表數據導入到測試環境做測試,
之前一直都是暴力地truncate測試環境的表,然後用SSIS將生產環境對應的整張表數據導入測試環境,簡便快捷
後來開發提出來,保留測試環境已有的數據,只同步差異的數據(根據主鍵),於是就嘗試使用SSIS中的“查找”組件進行不同伺服器之間的“存在則更新,不存在則插入”數據合併操作,
實際操作的時候只執行插入操作,達到同步數據的目的。

 

嘗試之後覺得還是挺好使的,看起來跟簡單,操作起來步驟還是挺多的,記錄一下。

 

  首先最主要的一個組件就是如下截圖的查找組件。

 完整的測試結果如圖所示,最主要的目的就是讓源數據“兵分兩路”,以不同的方式(更新或者插入)去同步到目標伺服器中,當然數據源與數據目標可以是不同的伺服器,不同類型的資料庫或者文件,關鍵是一種實現方式。

 

 

開始操作步驟

 新建SSIS任務什麼的就不說了,操作一遍就回了,微軟的IDE還是比較好用的。

 

首先是最基本的數據流任務,拖一個數據任務流到SSIS設計器中

雙擊進入源編輯界面,設置數據源的伺服器和表

  

  

  添加查找組件,設置查找組件的伺服器和表(導入數據的目標伺服器和表)

  

  根據這裡的需求,常規選項中一定要將設置為“將行重定向到無匹配輸出”,因為這裡是要執行“不存在就插入”的操作,因此“源”與“目標”中的數據進行匹配,匹配到的與沒有匹配到的都要輸出,只不過是處理方式不同

  註意有對於目標中的數據有三種緩存模式,這裡選擇預設的方式,不多說,有興趣的可以上網搜

  

  繼續編輯列映射屬性

  

 

 

  分別拉一個OLE DB 命令OLE DB目標,位置儘量擺放的好看一點

   

 

   分別設置個OLE DB 命令 和 OLE DB目標的屬性信息

  

 

  

  列映射選項卡中編譯映射信息,可用目標列中的Parama_0和Param_1分別代表兩個上述SQL語句中的兩個參數,

  因為SQL語句是update test_table1 set name = ? where id = ?,這裡的參數的順序要與占位符的?順序表示的意義相同

  

   “左邊”更新的操作分支屬性編輯完成之後,編輯“右邊”的插入分支的屬性,這一步就簡單了,設置好數據源與目標表即可。

   

 

接下來就可以執行了,將源數據“兵分兩路”,分別執行“存在則更新,不存在則插入”的操作,因為這裡已經示例的是源與目標匹配到了5999行,進行更新,沒有匹配的是4999行,執行插入

執行完成後,源伺服器與目標伺服器數據一致。

 

一邊測試一遍截圖,比較亂,中間還是有一些細節的。

對於類似小眾化或者說是平時用的不是太頻繁的工具,時間久了可能會生疏,只要多實踐,多摸索,多看報錯信息,還是可以使用起來提高工作效率的。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前言: 項目開發中遇到了需要將HTML頁面的內容導出為一個word文檔,所以有了這邊隨筆。 當然,項目開發又時間有點緊迫,第一時間想到的是用插件,所以百度了下。下麵就介紹兩個導出word文檔的方法。 法一:通過jquery.wordexport.js導出word 備註:相容IE9以上 大概瀏覽了下j ...
  • Xcode導出App一般問題及其解決方法 問題一:開發者協議變更問題。 變更後打包會出現如下圖A警告,此時點擊 ”visit developer website“進入Apple開發者網站,登錄開發者賬號後會出現如圖B後,點擊“Review Agreement” 進入下一步確認同意條款即可。 (圖A) ...
  • Android精選源碼 Android優質博客 Kotlin編程中使用Glide v4 Generated API前期準備:在Gralde中引用Glide庫:dependencies {compile fileTree(include: , dir: 'libs')androidTestCompil ...
  • 前文回顧: 上篇博客講到GCD的實現是由隊列和任務兩部分組成,其中獲取隊列的方式有兩種,第一種是通過GCD的API的dispatch_queue_create函數生成Dispatch Queue;第二種是直接使用系統提供的標準Dispatch Queue :Main Dispatch Queue和G ...
  • 近一年來,蘋果iOS/OS X頻繁被爆出重大安全漏洞,攻擊者可以通過漏洞竊取多達上千個應用的密碼。這些漏洞一旦被黑客掌握、利用,後果不堪設想。 好在這些漏洞的發現者還是有節操的,他們都將這些漏洞彙報給了蘋果公司,避免了重大損失的產生。不過,這也為廣大IOS用戶捏了一把冷汗。IOS並沒有想象中那麼安全 ...
  • Android十款線上工具,在做Android 開發過程中,會遇到一些小的問題,雖然自己動手也能解決,但是有了一些小工具,解決這些問題就得心應手了。Android線上工具,包括線上測試工具,及其他較為重要的描述信息產品,希望能夠幫助大家更好的完成工作,減少不必要的錯誤發生。這款工具非常好用,下麵就由 ...
  • 在資料庫開發中,對兩個關係表進行連接查詢,能夠直接做“邏輯或”的查詢,而對於邏輯與和邏輯非的查詢,則稍複雜點,需要編寫額外的代碼來實現。在關係型資料庫中,所謂的連接,實際上是集合的包含,只要包含一項,就滿足連接條件,實現的邏輯或,這種設計,能夠滿足絕大多數的查詢需求。有時,對於一條數據,可能需要通過 ...
  • 資料庫系統的組成如下圖所示。 資料庫系統的硬體包括電腦的主機、鍵盤、顯示器和外圍設備(例如印表機、光碟機、磁帶機等)。由於一般資料庫系統所存放和處理的數據量很大,加之DBMS豐富的功能軟體,使得自身所占用的存儲空間很大,因此整個資料庫系統對硬體資源提出了較高的要求。這些要求是:①有足夠大的記憶體以存 ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...