SQLServer導數據到Oracle

来源:https://www.cnblogs.com/fishparadise/archive/2018/08/02/9406943.html
-Advertisement-
Play Games

從SQLServer導數據到Oracle大概有以下幾種方法: 1. 使用SSMS的導出數據嚮導,使用Microsoft ODBC for Oracle或Oracle Provider for OLE DB連接到Oracle 2. 導出到平面文件 3. 導出包含數據的SQL腳本。 4. 使用ETL工具 ...


從SQLServer導數據到Oracle大概有以下幾種方法:

  1. 使用SSMS的導出數據嚮導,使用Microsoft ODBC for Oracle或Oracle Provider for OLE DB連接到Oracle
  2. 導出到平面文件
  3. 導出包含數據的SQL腳本。
  4. 使用ETL工具。
  5. 自己開發軟體。

以下使用第2種方法來進行數據遷移的。

使用BCP合適導出大容量數據。這裡導出千萬級別的數據,也是很快就能成功。

如果導出時還需要做一些數據的處理,比如多表關聯,字元處理等,比較複雜的邏輯,最好是做成存儲過程,BCP直接調用存儲過程即可。

BCP "exec TestDB.dbo.export_t1 " queryout d:\export\t1.txt -c -t"||" -S"192.168.1.100" -Urpt -Prpt123
pause
USE TestDB
GO

CREATE PROC [dbo].[export_usercar]
AS
    SELECT  [carId]
           ,CONVERT(NVARCHAR(30), [addTime], 120)
           ,CONVERT(NVARCHAR(30), [lastSearchTime], 120)
           ,CONVERT(NVARCHAR(30), [updateTime], 120)
           ,[carType]
           ,[userTelephone]
           ,[isCorrect]
           ,[userId]
           ,[validFlag]
           ,[Channel]
           ,[carCode]
           ,[engineNumber]
           ,[carNumber]
    FROM    [TestDB].[dbo].[t1] WITH ( NOLOCK )
    WHERE   validFlag = 1
            AND isCorrect = 1;

把導出文件上傳到Oracle所在的主機上,如CentOS下。

使用Oracle的SQL*LOADER導入平面文件。假如Oracle中有已經創建好的表,與導入文件對應。

把以下的內容用vi,寫到import-t1.ctl

load data
CHARACTERSET 'ZHS16GBK'
infile '/data/import/t1.txt' "str '\r\n'"
into table SCOTT.T1
fields terminated by '||' TRAILING NULLCOLS
(
carId, 
addTime DATE "YYYY-MM-DD HH24:MI:SS",
lastSearchTime DATE "YYYY-MM-DD HH24:MI:SS",
updateTime DATE "YYYY-MM-DD HH24:MI:SS",
carType ,
userTelephone  ,
isCorrect  ,
userId  ,
validFlag ,
Channel ,
carCode  ,
engineNumber ,
carNumber  
)

使用SQL*LOADER註意幾個問題:

  • 字元編碼
  • 欄位分隔符
  • 行結束符
  • 日期或時間格式
  • 特殊字元
  • 導入欄位的順序
  • 導文件文件的表欄位類型和長度是否合適

使用sqlldr命令把數據導入到Oracle中。

sqlldr user/"user_password" control=import-t1.ctl

預設下,生成的日誌文件在當前目錄下。無論成功與否,一定要查看日誌。看看是否導入成功或失敗,或是部分成功。導入的問題一般從日誌文件即可找到。

如果有錯誤,還會生成與導入文件同名的t1.bad文件。

以下是日誌文件,顯示數據導入的一些信息。成功導入了18495032行記錄,沒有導入失敗的記錄。

[oracle@ttoracle /data/import]$ cat import-t1.log 

SQL*Loader: Release 11.2.0.1.0 - Production on Fri Jun 15 12:46:09 2018

Copyright (c) 1982, 2009, Oracle and/or its affiliates.  All rights reserved.

Control File:   import-t1.ctl
Character Set ZHS16GBK specified for all input.

Data File:      /data/import/t1.txt
  File processing option string: "str '
'"
  Bad File:     t1.bad
  Discard File:  none specified
 
 (Allow all discards)

Number to load: ALL
Number to skip: 0
Errors allowed: 50
Bind array:     64 rows, maximum of 256000 bytes
Continuation:    none specified
Path used:      Conventional

Table SCOTT.T1, loaded from every logical record.
Insert option in effect for this table: INSERT
TRAILING NULLCOLS option in effect

   Column Name                  Position   Len  Term Encl Datatype
------------------------------ ---------- ----- ---- ---- ---------------------
CARID                               FIRST     *           CHARACTER            
    Terminator string : '||'
ADDTIME                              NEXT     *           DATE YYYY-MM-DD HH24:MI:SS
    Terminator string : '||'
LASTSEARCHTIME                       NEXT     *           DATE YYYY-MM-DD HH24:MI:SS
    Terminator string : '||'
UPDATETIME                           NEXT     *           DATE YYYY-MM-DD HH24:MI:SS
    Terminator string : '||'
CARTYPE                              NEXT     *           CHARACTER            
    Terminator string : '||'
USERTELEPHONE                        NEXT     *           CHARACTER            
    Terminator string : '||'
ISCORRECT                            NEXT     *           CHARACTER            
    Terminator string : '||'
USERID                               NEXT     *           CHARACTER            
    Terminator string : '||'
VALIDFLAG                            NEXT     *           CHARACTER            
    Terminator string : '||'
CHANNEL                              NEXT     *           CHARACTER            
    Terminator string : '||'
CARCODE                              NEXT     *           CHARACTER            
    Terminator string : '||'
ENGINENUMBER                         NEXT     *           CHARACTER            
    Terminator string : '||'
CARNUMBER                            NEXT     *           CHARACTER            
    Terminator string : '||'


Table SCOTT.T1:
  18495032 Rows successfully loaded.
  0 Rows not loaded due to data errors.
  0 Rows not loaded because all WHEN clauses were failed.
  0 Rows not loaded because all fields were null.


Space allocated for bind array:                 214656 bytes(64 rows)
Read   buffer bytes: 1048576

Total logical records skipped:          0
Total logical records read:      18495032
Total logical records rejected:         0
Total logical records discarded:        0

Run began on Fri Jun 15 12:46:09 2018
Run ended on Fri Jun 15 12:55:58 2018

Elapsed time was:     00:09:48.90
CPU time was:         00:03:37.62

使用平面文件遷移數據,最大麻煩是就是特殊字元,或是有垃圾數據。如果原數據包含與字元分隔符相同的字元,如這裡面的“||”,或是有一些不可見的字元,如回車,換行符,等。這些字元會造成導入時,分割欄位錯位,導致導入錯誤,數據導不全,甚至導入失敗。

但從導出導入的速度來說,是最快的,平面文件可以跨不同的資料庫進行遷移。如果數據不容忍丟失,只能通過工具來導了,但速度會相對較慢。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、創建資料庫表 1.在命令行中進入MySQL資料庫我們的操作都是在命令行中進行的,所以保證你可以進入命令行界面(對於Windows,開始菜單--運行--輸入cmd,即可調出命令行界面,Linux和MAC的就不用多說了。)在命令行中進行如下的命令操作就可以進入到MySQL資料庫中:C:\Window ...
  • 一. 什麼時候使用表鎖 對於INNODB表,在絕大部分情況下都應該使用行鎖。在個別特殊事務中,可以考慮使用表鎖(建議)。 1. 事務需要更新大部份或全部數據,表又比較大,預設的行鎖不僅使這個事務執行效率低,可能造成其他事務長時間鎖等待和鎖衝突,這種情況考慮使用表鎖來提高事務的執行速度(具我在sql ...
  • 一、資料庫定義 資料庫(Database)是按照數據結構來組織、存儲和管理數據的倉庫。資料庫的操作分為兩種形式:一種是直接在資料庫管理工具圖形化界面進行操作;一種是使用資料庫腳本進行操作,資料庫腳本可以直接在資料庫管理工具中操作,也可以在dos命令視窗中操作。 二、資料庫創建 方式一:資料庫圖形化管 ...
  • https://blog.csdn.net/hliq5399/article/details/78193113 ...
  • 資料庫必須具備的四個特性 1:原子性:事務包含的所有操作要麼全部成功,要麼全部失敗回滾;成功必須要完全應用到資料庫,失敗則不能對資料庫產生影響; 2:一致性:事務執行前和執行後必須處於一致性狀態, 例:用戶A和用戶B的前加起來一共是5000; 無論AB用戶之間是如何相互轉換的,事務結束後兩個用戶的錢 ...
  • Mysql的概述 Mysql的安裝和初次使用 Mysql的基本概念 1. Mysql的英文單詞是: database,簡稱 DB. 2. 什麼是資料庫? 用於存儲和管理數據的倉庫 3. 資料庫的特點: 持久化存儲數據.其實資料庫就是一個文件系統 方便存儲和管理數據. 使用統一的方式操作資料庫. 4. ...
  • 一臺資料庫伺服器的事務日誌備份作業偶爾會出現幾次備份失敗的情況,具體的錯誤信息為: DATE/TIME: 2018/7/30 12:10:52 DESCRIPTION: BackupDiskFile::CreateMedia: Backup device 'M:\DB_BACKUP\LOG_BACK... ...
  • 一、前言 在之前的文章已經詳細介紹了redis入門基礎已經持久化相關內容包括redis4.0所提供的混合持久化。 通過持久化功能,Redis保證了即使在伺服器宕機情況下數據的丟失非常少。但是如果這台伺服器出現了硬碟故障、系統崩潰等等,不僅僅是數據丟失,很可能對業務造成災難性打擊。為了避免單點故障通常 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...