關於 MongoDB 與 SQL Server 通過本身自帶工具實現數據快速遷移 及 註意事項 的探究

来源:https://www.cnblogs.com/xuliuzai/archive/2018/09/07/9607515.html
-Advertisement-
Play Games

背景介紹 隨著業務的發展、需求的變化,促使我們追求使用不同類型的資料庫,充分發揮其各自特性。如果決定採用新類型的資料庫,就需要將既有的數據遷移到新的資料庫中。在這類需求中,將SQL Server中的數據導入到MongoDB 中顯得尤為突出。 面對這種需求,大家優先想到的就是百度查找第三方工具,可惜截 ...


背景介紹

隨著業務的發展、需求的變化,促使我們追求使用不同類型的資料庫,充分發揮其各自特性。如果決定採用新類型的資料庫,就需要將既有的數據遷移到新的資料庫中。在這類需求中,將SQL Server中的數據導入到MongoDB 中顯得尤為突出。

面對這種需求,大家優先想到的就是百度查找第三方工具,可惜截止目前,還沒有一款公認比較滿意的數據遷移工具。百度不到,大家可能就要回頭自己開發了。如此,更是花費不少人力物力和寶貴的精力。甚至,由於沒有理想的遷移工具,導致項目優化一再延遲。

其實,你原本不必如此!因為,還有一個工具,並且性能還傲視群雄。

那就是充分挖掘資料庫自身的導出導入功能。

 

原理

 

MongoDB資料庫 可以通過mongoexport/mongoimport命令進行數據的導出導入,並且支持文件CSV格式;

SQL Server 資料庫 一樣可以進行導出導入【“任務”—>導出數據/導入數據】,其數據一樣可以保存到CSV文件中。

 

那麼,我們是不是可以藉助 CSV文件,在這兩種資料庫間進行數據遷移呢?

答案是肯定的!答案是肯定的!答案是肯定的!

此外,數據直接導出導入,性要比其它工具快一個數量級。

即:通過SQL Server 和 MongoDB 本身自帶的 導入導出功能 ,可以實現數據的快速遷移

 

 將SQL Server中的數據導入到MongoDB中

 

step 1 選擇指定資料庫,進行【導出數據】

step 2  選擇導出的數據源信息

因在SQL Server 伺服器上執行,伺服器名稱可選擇本地(. 即可),身份認證可以使用Window身份驗證(如SQL Server 禁用了此window登入方式,那麼就要使用SQL Server 身份驗證),然後,選擇資料庫。

 

step 3 選擇導出目標(此為關鍵步驟

目標一定要選擇 【平面文件目標】

 

為 導出文件命名 選擇 【瀏覽】,在打開的 界面上 選擇導出文件類型【CSV 文件(*.csv)】

例如,文件命名為SQLToMongoDB01

 

點擊 【下一步】

Step 4  指定表複製 或 查詢

可以指定從數據源複製一個或多個表和視圖,還是通過 T_SQL 語句從數據源中複製查詢結(可以指定選擇列 或對列二次加工後的數據)。

Step 5  配置平面文件目標

在這一步選擇要導出的表或視圖

如果想對 field 欄位 進行修改,可以選擇 【編輯映射】

對想要修改的列命進行重命名,例如 將SQL Server 中的 AreaCode 命名 而在MongoDB中命名為 AreaCodeMongoDB

然後 點擊 【下一步】

Step 6 保存並運行包

直接點擊 【下一步】

 

Step 7 完成該嚮導

直接點擊 【完成】

 

數據導出成功

導出數據773838 筆數據。

 

Step 8 將產生的文件Copy至 MongoDB 伺服器上

 

Step 9 在mongoDB 伺服器上 執行 mongoimport 命令, 將從 SQL Server 導出的csv 數據導入到MongoDB中。

執行命令 為

/data/mongodb/mongobin344/bin/mongoimport --file /data/mongodb_back/SQLToMongoDB01.csv  -h 172.X.X.XXX --port 埠  --type csv --headerline -u 用戶名 -p '密碼' -d testdba0906 --authenticationDatabase 認證資料庫 -c SQLToMongoDB01

執行成功,導入數據 773838 個文檔。並且可以看到很快,不到15S。

 此部分 測試驗證OK!

 

將 MongoDB中的數據導入的SQL Server 中

 

Step 1 使用 mongoexport 將MongoDB資料庫中的數據導出

執行命令

/data/mongodb/mongobin344/bin/mongoexport   -h 172.X.X.X --port 埠  --type csv  -u 用戶名 -p '密碼' -d testdba0906 --authenticationDatabase 認證資料庫  -c SQLToMongoDB01  -f 欄位1,欄位2,欄位3,欄位4,欄位5 -o  /data/mongodb_back/MongoDBToSQL.csv 

 

Step 2  將從MongoDB中導出的CSV 文件上傳到 SQL Server 伺服器上。

 

Step 3 將CSV 文件導入到SQL Server中

(此過程,不是本文章的重點,所以不再詳細說明,只指出關鍵步驟。)

選擇數據源,請選擇【平面文件源】

選擇源表和源視圖 【可以通過編輯映射,修改列名,修改欄位類型,修改欄位長度】

 

step 4  數據導出成功

檢查數據量和源表數據一致。

此部分 測試驗證OK!

 

註意事項

 

註意1: 因為 mongoimport 導入的文件預設是json 格式,所以csv 文件,一定要在命令中指明 --type csv

否則,就無法識別文件中的數據。報錯信息:

Failed: error processing document #1: invalid character 'X' looking for beginning of value

(X代表文件中的第一個字元)

註意 2 :  mongoimport 導入的csv文件,一定要執行 –headerline 參數,指明不導入第一行。csv格式的文件第一行為列名。

否則 ,提示一定要指明欄位屬性,報錯信息:

error validating settings: must specify --fields, --fieldFile or --headerline to import this file type

註意 3 :CSV 文件的列數據中不可以包含“” (中文雙引號)。

否則,當導入此行數據時,提示錯誤信息

Failed: read error on entry #XXXX: line XXXX, column 110: bare " in non-quoted-field

註意 4: 如果數據中含有中文,需檢查導入後是否變成了亂碼。

為防止亂碼,需要將csv文檔改成utf-8的編碼方式即可。例如使用edit with notepad ++ 編輯器打開文件,另存為utf-8就可以了。

註意 5:MongoDB導出CSV格式一定要通過 –f 參數 指明欄位名,負責報錯:

Failed: CSV mode requires a field list。

註意 6:MongoDB DB 數據模式自由,並且文檔可以內嵌,所以將MongoDB中的數據導入到SQL Server 比較困難,特別是含有中文語句時。

註意 7 : SQL Server 導出數據時,欄位數據中不可以包含nchar(9)、nchar(32)、nchar(160) 等特殊字元,否則,在導出數據生成csv文件時報錯。

 

本文版權歸作者所有,未經作者同意不得轉載,謝謝配合!!!

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1、查看磁碟分區UUID: [root@rac01 ~]# blkid /dev/sdb1: UUID="6bba92c4-0b25-4cc4-9442-ca87c563720a" TYPE="xfs" /dev/sda1: UUID="21b2b922-fcb7-461f-bdc6-3bd9225 ...
  • 使用情景: 之前電腦安裝了windows 7/ fedora 28 雙系統,由於特殊原因,需要刪除 windows 系統。在格式化硬碟後,我們還需要跟新 grub2 的啟動條目;刪除grub 啟動的界面的 windows7 選項。 解決方法: grub 硬碟啟動選項由 /boot/grub2/gru ...
  • 升級了Mac 10.13.4 後應用軟體各種不適配,最近更新了一個應用版本,在去安全設置裡面 信任應用的時候,發現“任何來源”這個選項不見了!不見了!WTF! 接下來,我們就打開終端,然後輸入以下命令: 輸入後,會讓你輸入電腦的密碼,輸入就可以(屏幕上不會顯示,但你真的輸入了,Linux和Unix核 ...
  • 原創作者:http://www.cnblogs.com/jerome-rong/archive/2013/02/19/2916608.html Java RunTime Environment (JRE) or Java Development Kit (JDK) must be available ...
  • 雖然不怎麼用Ubuntu來看文檔,但是偶爾還是需要看一下的。而Ubuntu自帶的打開PDF的軟體真的看著很難受,裝一個跨平臺的福昕好了。 首先,下載。可以官網下載:福昕官網 不過晚上不知道網路抽風還是什麼問題,下載賊慢。選擇了參考博客里提供的wget命令下載。 然後解壓縮: 然後修改許可權,並運行: ...
  • 緩存的作用 用戶訪問一個web頁面的頻率遠高於web頁面更新的頻率,因此多數時候用戶從伺服器獲取的html、js、css以及圖片等內容都是相同的,如果每次訪問都從伺服器獲取這些靜態內容即降低了頁面載入的速度,又占用了多餘的伺服器帶寬,顯然是一件吃力不討好的事,此時就需要緩存了。web緩存大致可以分為 ...
  • USE [master]; SET NOCOUNT ON; DECLARE @tbName VARCHAR(50)=''; DECLARE @tbLog VARCHAR(100)=''; DECLARE @clearSql VARCHAR(MAX)=''; DECLARE @TMP_WHILE_ID... ...
  • 今天看到一篇文章寫的自己整理記錄下,據說比用游標快。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...