背景介紹 隨著業務的發展、需求的變化,促使我們追求使用不同類型的資料庫,充分發揮其各自特性。如果決定採用新類型的資料庫,就需要將既有的數據遷移到新的資料庫中。在這類需求中,將SQL Server中的數據導入到MongoDB 中顯得尤為突出。 面對這種需求,大家優先想到的就是百度查找第三方工具,可惜截 ...
背景介紹
隨著業務的發展、需求的變化,促使我們追求使用不同類型的資料庫,充分發揮其各自特性。如果決定採用新類型的資料庫,就需要將既有的數據遷移到新的資料庫中。在這類需求中,將SQL Server中的數據導入到MongoDB 中顯得尤為突出。
面對這種需求,大家優先想到的就是百度查找第三方工具,可惜截止目前,還沒有一款公認比較滿意的數據遷移工具。百度不到,大家可能就要回頭自己開發了。如此,更是花費不少人力物力和寶貴的精力。甚至,由於沒有理想的遷移工具,導致項目優化一再延遲。
其實,你原本不必如此!因為,還有一個工具,並且性能還傲視群雄。
那就是充分挖掘資料庫自身的導出導入功能。
原理
MongoDB資料庫 可以通過mongoexport/mongoimport命令進行數據的導出導入,並且支持文件CSV格式;
SQL Server 資料庫 一樣可以進行導出導入【“任務”—>導出數據/導入數據】,其數據一樣可以保存到CSV文件中。
那麼,我們是不是可以藉助 CSV文件,在這兩種資料庫間進行數據遷移呢?
答案是肯定的!答案是肯定的!答案是肯定的!
此外,數據直接導出導入,性要比其它工具快一個數量級。
即:通過SQL Server 和 MongoDB 本身自帶的 導入導出功能 ,可以實現數據的快速遷移。
將SQL Server中的數據導入到MongoDB中
step 1 選擇指定資料庫,進行【導出數據】
step 2 選擇導出的數據源信息
因在SQL Server 伺服器上執行,伺服器名稱可選擇本地(. 即可),身份認證可以使用Window身份驗證(如SQL Server 禁用了此window登入方式,那麼就要使用SQL Server 身份驗證),然後,選擇資料庫。
step 3 選擇導出目標(此為關鍵步驟)
目標一定要選擇 【平面文件目標】
為 導出文件命名 選擇 【瀏覽】,在打開的 界面上 選擇導出文件類型【CSV 文件(*.csv)】
例如,文件命名為SQLToMongoDB01
點擊 【下一步】
Step 4 指定表複製 或 查詢
可以指定從數據源複製一個或多個表和視圖,還是通過 T_SQL 語句從數據源中複製查詢結(可以指定選擇列 或對列二次加工後的數據)。
Step 5 配置平面文件目標
在這一步選擇要導出的表或視圖
如果想對 field 欄位 進行修改,可以選擇 【編輯映射】
對想要修改的列命進行重命名,例如 將SQL Server 中的 AreaCode 命名 而在MongoDB中命名為 AreaCodeMongoDB
然後 點擊 【下一步】
Step 6 保存並運行包
直接點擊 【下一步】
Step 7 完成該嚮導
直接點擊 【完成】
數據導出成功
導出數據773838 筆數據。
Step 8 將產生的文件Copy至 MongoDB 伺服器上
Step 9 在mongoDB 伺服器上 執行 mongoimport 命令, 將從 SQL Server 導出的csv 數據導入到MongoDB中。
執行命令 為
/data/mongodb/mongobin344/bin/mongoimport --file /data/mongodb_back/SQLToMongoDB01.csv -h 172.X.X.XXX --port 埠 --type csv --headerline -u 用戶名 -p '密碼' -d testdba0906 --authenticationDatabase 認證資料庫 -c SQLToMongoDB01
執行成功,導入數據 773838 個文檔。並且可以看到很快,不到15S。
此部分 測試驗證OK!
將 MongoDB中的數據導入的SQL Server 中
Step 1 使用 mongoexport 將MongoDB資料庫中的數據導出
執行命令
/data/mongodb/mongobin344/bin/mongoexport -h 172.X.X.X --port 埠 --type csv -u 用戶名 -p '密碼' -d testdba0906 --authenticationDatabase 認證資料庫 -c SQLToMongoDB01 -f 欄位1,欄位2,欄位3,欄位4,欄位5 -o /data/mongodb_back/MongoDBToSQL.csv
Step 2 將從MongoDB中導出的CSV 文件上傳到 SQL Server 伺服器上。
Step 3 將CSV 文件導入到SQL Server中
(此過程,不是本文章的重點,所以不再詳細說明,只指出關鍵步驟。)
選擇數據源,請選擇【平面文件源】
選擇源表和源視圖 【可以通過編輯映射,修改列名,修改欄位類型,修改欄位長度】
step 4 數據導出成功
檢查數據量和源表數據一致。
此部分 測試驗證OK!
註意事項
註意1: 因為 mongoimport 導入的文件預設是json 格式,所以csv 文件,一定要在命令中指明 --type csv
否則,就無法識別文件中的數據。報錯信息:
Failed: error processing document #1: invalid character 'X' looking for beginning of value
(X代表文件中的第一個字元)
註意 2 : mongoimport 導入的csv文件,一定要執行 –headerline 參數,指明不導入第一行。csv格式的文件第一行為列名。
否則 ,提示一定要指明欄位屬性,報錯信息:
error validating settings: must specify --fields, --fieldFile or --headerline to import this file type
註意 3 :CSV 文件的列數據中不可以包含“” (中文雙引號)。
否則,當導入此行數據時,提示錯誤信息
Failed: read error on entry #XXXX: line XXXX, column 110: bare " in non-quoted-field
註意 4: 如果數據中含有中文,需檢查導入後是否變成了亂碼。
為防止亂碼,需要將csv文檔改成utf-8的編碼方式即可。例如使用edit with notepad ++ 編輯器打開文件,另存為utf-8就可以了。
註意 5:MongoDB導出CSV格式一定要通過 –f 參數 指明欄位名,負責報錯:
Failed: CSV mode requires a field list。
註意 6:MongoDB DB 數據模式自由,並且文檔可以內嵌,所以將MongoDB中的數據導入到SQL Server 比較困難,特別是含有中文語句時。
註意 7 : SQL Server 導出數據時,欄位數據中不可以包含nchar(9)、nchar(32)、nchar(160) 等特殊字元,否則,在導出數據生成csv文件時報錯。
本文版權歸作者所有,未經作者同意不得轉載,謝謝配合!!!