通過SSIS的“查找”組件進行不同數據源之間數據的合併操作

来源:http://www.cnblogs.com/wy123/archive/2017/07/07/7134324.html
-Advertisement-
Play Games

為了協助開發還原生產環境中的某些bug,需要將將生產環境的某些特定表數據導入到測試環境做測試,之前一直都是暴力地truncate測試環境的表,然後用SSIS將生產環境對應的整張表數據導入測試環境,簡便快捷後來開發提出來,保留測試環境已有的數據,只同步差異的數據(根據主鍵),於是就嘗試使用SSIS中的 ...


 

為了協助開發還原生產環境中的某些bug,需要將將生產環境的某些特定表數據導入到測試環境做測試,
之前一直都是暴力地truncate測試環境的表,然後用SSIS將生產環境對應的整張表數據導入測試環境,簡便快捷
後來開發提出來,保留測試環境已有的數據,只同步差異的數據(根據主鍵),於是就嘗試使用SSIS中的“查找”組件進行不同伺服器之間的“存在則更新,不存在則插入”數據合併操作,
實際操作的時候只執行插入操作,達到同步數據的目的。

 

嘗試之後覺得還是挺好使的,看起來跟簡單,操作起來步驟還是挺多的,記錄一下。

 

  首先最主要的一個組件就是如下截圖的查找組件。

 完整的測試結果如圖所示,最主要的目的就是讓源數據“兵分兩路”,以不同的方式(更新或者插入)去同步到目標伺服器中,當然數據源與數據目標可以是不同的伺服器,不同類型的資料庫或者文件,關鍵是一種實現方式。

 

 

開始操作步驟

 新建SSIS任務什麼的就不說了,操作一遍就回了,微軟的IDE還是比較好用的。

 

首先是最基本的數據流任務,拖一個數據任務流到SSIS設計器中

雙擊進入源編輯界面,設置數據源的伺服器和表

  

  

  添加查找組件,設置查找組件的伺服器和表(導入數據的目標伺服器和表)

  

  根據這裡的需求,常規選項中一定要將設置為“將行重定向到無匹配輸出”,因為這裡是要執行“不存在就插入”的操作,因此“源”與“目標”中的數據進行匹配,匹配到的與沒有匹配到的都要輸出,只不過是處理方式不同

  註意有對於目標中的數據有三種緩存模式,這裡選擇預設的方式,不多說,有興趣的可以上網搜

  

  繼續編輯列映射屬性

  

 

 

  分別拉一個OLE DB 命令OLE DB目標,位置儘量擺放的好看一點

   

 

   分別設置個OLE DB 命令 和 OLE DB目標的屬性信息

  

 

  

  列映射選項卡中編譯映射信息,可用目標列中的Parama_0和Param_1分別代表兩個上述SQL語句中的兩個參數,

  因為SQL語句是update test_table1 set name = ? where id = ?,這裡的參數的順序要與占位符的?順序表示的意義相同

  

   “左邊”更新的操作分支屬性編輯完成之後,編輯“右邊”的插入分支的屬性,這一步就簡單了,設置好數據源與目標表即可。

   

 

接下來就可以執行了,將源數據“兵分兩路”,分別執行“存在則更新,不存在則插入”的操作,因為這裡已經示例的是源與目標匹配到了5999行,進行更新,沒有匹配的是4999行,執行插入

執行完成後,源伺服器與目標伺服器數據一致。

 

一邊測試一遍截圖,比較亂,中間還是有一些細節的。

對於類似小眾化或者說是平時用的不是太頻繁的工具,時間久了可能會生疏,只要多實踐,多摸索,多看報錯信息,還是可以使用起來提高工作效率的。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前言: 項目開發中遇到了需要將HTML頁面的內容導出為一個word文檔,所以有了這邊隨筆。 當然,項目開發又時間有點緊迫,第一時間想到的是用插件,所以百度了下。下麵就介紹兩個導出word文檔的方法。 法一:通過jquery.wordexport.js導出word 備註:相容IE9以上 大概瀏覽了下j ...
  • Xcode導出App一般問題及其解決方法 問題一:開發者協議變更問題。 變更後打包會出現如下圖A警告,此時點擊 ”visit developer website“進入Apple開發者網站,登錄開發者賬號後會出現如圖B後,點擊“Review Agreement” 進入下一步確認同意條款即可。 (圖A) ...
  • Android精選源碼 Android優質博客 Kotlin編程中使用Glide v4 Generated API前期準備:在Gralde中引用Glide庫:dependencies {compile fileTree(include: , dir: 'libs')androidTestCompil ...
  • 前文回顧: 上篇博客講到GCD的實現是由隊列和任務兩部分組成,其中獲取隊列的方式有兩種,第一種是通過GCD的API的dispatch_queue_create函數生成Dispatch Queue;第二種是直接使用系統提供的標準Dispatch Queue :Main Dispatch Queue和G ...
  • 近一年來,蘋果iOS/OS X頻繁被爆出重大安全漏洞,攻擊者可以通過漏洞竊取多達上千個應用的密碼。這些漏洞一旦被黑客掌握、利用,後果不堪設想。 好在這些漏洞的發現者還是有節操的,他們都將這些漏洞彙報給了蘋果公司,避免了重大損失的產生。不過,這也為廣大IOS用戶捏了一把冷汗。IOS並沒有想象中那麼安全 ...
  • Android十款線上工具,在做Android 開發過程中,會遇到一些小的問題,雖然自己動手也能解決,但是有了一些小工具,解決這些問題就得心應手了。Android線上工具,包括線上測試工具,及其他較為重要的描述信息產品,希望能夠幫助大家更好的完成工作,減少不必要的錯誤發生。這款工具非常好用,下麵就由 ...
  • 在資料庫開發中,對兩個關係表進行連接查詢,能夠直接做“邏輯或”的查詢,而對於邏輯與和邏輯非的查詢,則稍複雜點,需要編寫額外的代碼來實現。在關係型資料庫中,所謂的連接,實際上是集合的包含,只要包含一項,就滿足連接條件,實現的邏輯或,這種設計,能夠滿足絕大多數的查詢需求。有時,對於一條數據,可能需要通過 ...
  • 資料庫系統的組成如下圖所示。 資料庫系統的硬體包括電腦的主機、鍵盤、顯示器和外圍設備(例如印表機、光碟機、磁帶機等)。由於一般資料庫系統所存放和處理的數據量很大,加之DBMS豐富的功能軟體,使得自身所占用的存儲空間很大,因此整個資料庫系統對硬體資源提出了較高的要求。這些要求是:①有足夠大的記憶體以存 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...