7. Oracle數據載入和卸載

来源:https://www.cnblogs.com/lottu/archive/2018/08/27/9541300.html
-Advertisement-
Play Games

在日常工作中;經常會遇到這樣的需求: Oracle 數據表跟文本或者文件格式進行交互;即將指定文件內容導入對應的 Oracle 數據表中;或者從 Oracle 數據表導出。 其他資料庫中的表跟Oracle資料庫進行交互。 Oracle 數據表跟文本或者文件格式進行交互;即將指定文件內容導入對應的 O ...


  在日常工作中;經常會遇到這樣的需求:

    • Oracle 數據表跟文本或者文件格式進行交互;即將指定文件內容導入對應的 Oracle 數據表中;或者從 Oracle 數據表導出。
    • 其他資料庫中的表跟Oracle資料庫進行交互。

  若是少量數據;可選擇的解決方案有很多。常用的用 Pl/SQL developer工具,或者手動轉換為 INSERT 語句,或者通過API。但數據量大;用上面的方法效率太爛了。本文來說說 Oracle 數據的載入和卸載。

    • Oracle中的DBLINK
    • Oracle載入數據-外部表
    • Oracle載入數據-sqlldr工具
    • Oracle卸載數據-sqludr

一. Oracle 中的 DBLINK

  在日常工作中;會遇到不同的資料庫進行數據對接;每個資料庫都有著功能;像Oracle有 DBLINK ; PostgreSQL有外部表。

1.1 Oracle DBlink 語法

CREATE [PUBLIC] DATABASE LINK link 
CONNECT TO username 
IDENTIFIED BY password
USING 'connectstring'

1.2 Oracle To Mysql

  在oracle配置mysql資料庫的dblink

二.Oracle載入數據-外部表

  ORACLE外部表用來存取資料庫以外的文本文件(Text File)或ORACLE專屬格式文件。因此,建立外部表時不會產生段、區、數據塊等存儲結構,只有與表相關的定義放在數據字典中。外部表,顧名思義,存儲在資料庫外面的表。當存取時才能從ORACLE專屬格式文件中取得數據,外部表僅供查詢,不能對外部表的內容進行修改(INSERT、UPDATE、DELETE操作)。不能對外部表建立索引。

2.1 創建外部表需要的目錄

# 創建外部表需要的目錄
SQL> create or replace directory DUMP_DIR as '/data/ora_ext_lottu'; 

Directory created.
# 給用戶授予指定目錄的操作許可權
SQL> GRANT READ,WRITE ON DIRECTORY DUMP_DIR TO lottu;

Grant succeeded.

2.2 外部表源文件lottu.txt

10,ACCOUNTING,NEW YORK
20,RESEARCH,DALLAS
30,SALES,CHICAGO
40,OPERATIONS,BOSTON

2.3 創建外部表

drop table dept_external purge;

CREATE TABLE dept_external (
   deptno     NUMBER(6),
   dname      VARCHAR2(20),
   loc        VARCHAR2(25) 
)
ORGANIZATION EXTERNAL
(TYPE oracle_loader
 DEFAULT DIRECTORY DUMP_DIR
 ACCESS PARAMETERS
 (
  RECORDS DELIMITED BY newline
  BADFILE 'lottu.bad'
  LOGFILE 'lottu.log'
  FIELDS TERMINATED BY ","  OPTIONALLY ENCLOSED BY '"'
  (
   deptno     INTEGER EXTERNAL(6),
   dname      CHAR(20),
   loc        CHAR(25)
  )
 )
 LOCATION ('lottu.txt')
)
REJECT LIMIT UNLIMITED;

查看數據

SQL> select * from dept_external;

    DEPTNO DNAME  LOC
---------- -------------------- -------------------------
 10 ACCOUNTING  NEW YORK
 20 RESEARCH  DALLAS
 30 SALES  CHICAGO
 40 OPERATIONS  BOSTON

三. Oracle載入數據-sqlldr工具

3.1 準備實驗對象

  創建文件lottu.txt;和表tbl_load_01。

[oracle@oracle235 ~]$ seq 1000|awk -vOFS="," '{print $1,"lottu",systime()-$1}' > lottu.txt
[oracle@oracle235 ~]$ sqlplus lottu/li0924

SQL*Plus: Release 11.2.0.4.0 Production on Mon Aug 13 22:58:34 2018

Copyright (c) 1982, 2013, Oracle.  All rights reserved.


Connected to:
Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options

SQL> create table tbl_load_01 (id number,name varchar2(10),accountid number);

Table created.

3.2 創建控制文件lottu.ctl

load data
characterset utf8
        infile '/home/oracle/lottu.txt'
        truncate into table tbl_load_01
        fields terminated by ','
        trailing nullcols
  optionally enclosed by ' ' TRAILING NULLCOLS
(
 id ,
 name,
 accountid
)

3.3 執行sqlldr

[oracle@oracle235 ~]$ sqlldr 'lottu/"li0924"' control=/home/oracle/lottu.ctl log=/home/oracle/lottu.log bad=/home/oracle/lottu.bad

SQL*Loader: Release 11.2.0.4.0 - Production on Mon Aug 13 23:10:12 2018

Copyright (c) 1982, 2011, Oracle and/or its affiliates.  All rights reserved.

Commit point reached - logical record count 64
Commit point reached - logical record count 128
Commit point reached - logical record count 192
Commit point reached - logical record count 256
Commit point reached - logical record count 320
Commit point reached - logical record count 384
Commit point reached - logical record count 448
Commit point reached - logical record count 512
Commit point reached - logical record count 576
Commit point reached - logical record count 640
Commit point reached - logical record count 704
Commit point reached - logical record count 768
Commit point reached - logical record count 832
Commit point reached - logical record count 896
Commit point reached - logical record count 960
Commit point reached - logical record count 1000

四.Oracle卸載數據-sqludr

  sqludr是將Oracle數據表導出到文本中;是牛人樓方鑫開發的。並非Oracle自帶工具;需要下載安裝才能使用。

4.1 sqludr安裝

[oracle@oracle235 ~]$ unzip sqluldr2linux64.zip 
Archive:  sqluldr2linux64.zip
  inflating: sqluldr2linux64.bin     
[oracle@oracle235 ~]$ mv sqluldr2linux64.bin $ORACLE_HOME/bin/sqludr

4.2 查看sqludr幫助

[oracle@oracle235 ~]$ sqludr -?

SQL*UnLoader: Fast Oracle Text Unloader (GZIP, Parallel), Release 4.0.1
(@) Copyright Lou Fangxin (AnySQL.net) 2004 - 2010, all rights reserved.

License: Free for non-commercial useage, else 100 USD per server.

Usage: SQLULDR2 keyword=value [,keyword=value,...]

Valid Keywords:
   user    = username/password@tnsname
   sql     = SQL file name
   query   = select statement
   field   = separator string between fields
   record  = separator string between records
   rows    = print progress for every given rows (default, 1000000) 
   file    = output file name(default: uldrdata.txt)
   log     = log file name, prefix with + to append mode
   fast    = auto tuning the session level parameters(YES)
   text    = output type (MYSQL, CSV, MYSQLINS, ORACLEINS, FORM, SEARCH).
   charset = character set name of the target database.
   ncharset= national character set name of the target database.
   parfile = read command option from parameter file 

  for field and record, you can use '0x' to specify hex character code,
  \r=0x0d \n=0x0a |=0x7c ,=0x2c, \t=0x09, :=0x3a, #=0x23, "=0x22 '=0x27 

4.3 執行sqludr

[oracle@oracle235 ~]$ sqludr lottu/li0924 query="tbl_load_01" file=lottu01.txt field=","
           0 rows exported at 2018-08-13 23:47:55, size 0 MB.
        1000 rows exported at 2018-08-13 23:47:55, size 0 MB.
         output file lottu01.txt closed at 1000 rows, size 0 MB.

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 開發中肯定會用到Oracle的觸發器,本文進行詳細講解。 這裡實例中用到的主要是Oracle中scott用戶下的emp以及dept表,數據如下 一、觸發器概念 1、概念: 觸發器的本質是一個存儲過程,顧名思義發生特定事件時Oracle會執行觸發器中的代碼。 細分它的組成可以分為3個部分:第一部分在什 ...
  • 面向程式員的資料庫訪問性能優化法則 特別說明: 1、 本文只是面對資料庫應用開發的程式員,不適合專業DBA,DBA在資料庫性能優化方面需要瞭解更多的知識; 2、 本文許多示例及概念是基於Oracle資料庫描述,對於其它關係型資料庫也可以參考,但許多觀點不適合於KV資料庫或記憶體資料庫或者是基於SSD技 ...
  • RDBMS 方言 DB2 org.hibernate.dialect.DB2Dialect DB2 AS/400 org.hibernate.dialect.DB2400Dialect DB2 OS390 org.hibernate.dialect.DB2390Dialect PostgreSQL ...
  • 最近在學習怎麼安裝Centos,在Centos6.9版本安裝Oracle資料庫。參考了網路上很多文章,終於可以不報錯的完成安裝了,在這裡記錄一下 一、需要用到的安裝文件 Centos6.9 ps:光碟1用來安裝,光碟2用來安裝一些依賴包。 鏈接:https://pan.baidu.com/s/1hg ...
  • 一. GoldenGate 概述 GoldenGate現在是業內成熟的數據容災與複製產品;GoldenGate是一種基於日誌的結構化數據複製方式,它通過解析源資料庫線上日誌或歸檔日誌獲得數據的增刪改變化(數據量只有日誌的四分之一左右),再將這些變化應用到目標資料庫,實現源資料庫與目標資料庫同步、雙活 ...
  • -- 2 **************************************************** -- 最簡單的查詢語句 -- 2.1 -- 使用 select 語句查詢表中的數據 -- SELECT * FROM table_name use pubs -- 切換當前資料庫 se ...
  • Date:20180827 Monday 目前市場hadoop主流版本是2.7.x系列,下麵我們就以hadoop-2.7.3為例進行安裝 安裝前準備: 1.操作系統:cetos(6和7) 2.java版本:1.8 3.需要插件:wget, vim, openssh, ntpd 一.示列演示: 現在有 ...
  • 一、固定數組 1、在模式(schema)級創建VARRAY類型 語法: 其中, varray_type_name是一個有效的屬性名稱; n是varray中元素的數量(最大值); element_type是數組元素的數據類型。 可以使用ALTER TYPE語句更改變數的最大大小。 實例: 備註:在Or ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...