ODI(Oracle Data Integrator)是Oracle公司提供的一種數據集成工具,能高效地實現批量數據的抽取、轉換和載入。ODI可以實現當今大多數的主流關係型資料庫(Oracle、DB2、SQL Server、MySQL、SyBase)的集成。ODI提供了圖形化客戶端和agent(代理... ...
0. 環境說明及軟體準備
ODI(Oracle Data Integrator)是Oracle公司提供的一種數據集成工具,能高效地實現批量數據的抽取、轉換和載入。ODI可以實現當今大多數的主流關係型資料庫(Oracle、DB2、SQL Server、MySQL、SyBase)的集成。
ODI提供了圖形化客戶端和agent(代理)運行程式。客戶端軟體主要用於對整個數據集成服務的設計,包括創建對數據源的連接架構、創建模型及反向表結構、創建介面、生成方案和計劃等。Agent運行程式是通過命令行方式在ODI伺服器上啟動的服務,對agent下的執行計劃周期性地執行。
任何數據驅動的集成,都可以使用ODI, ODI的常見應用場景:
-
數據倉庫:比如ETL階段。
-
數據遷移:比如將某一源系統的數據遷移到新系統中。
-
數據集成:比如兩個系統間高效的點到點數據傳遞。
-
數據複製:比如將一個Instance的數據複製另外一個Instance中。
閑言少敘,進入正題。首先,ODI是Oracle的數據集成工具,需要安裝Oracle資料庫,可以從Oracle官網下載安裝,先要在官網上註冊一個賬號,找到下載頁,最好把下麵的client(客戶端)也一併安裝了吧,我安裝的是Oracle11g win64位的,官網下載頁如下:
安裝過程比較簡單,只是中間需要設置管理口令,記住就行。ODI也同樣在Oracle的官網上下載。
將下載的ODI安裝文件解壓,就會包含兩個文件夾,註意不同版本的安裝,運行方式是不同的,我裝的32位的ODI,需要運行Disk1\install\win32下的安裝程式setup.exe。如下:
運行安裝程式,直接下一步,步驟2選【跳過軟體更新】;
步驟3選擇安裝類型,勾選一下即可;
步驟6選【跳過資料檔案庫配置】;
步驟7指定代理
下一步,直至安裝完成。也可自行下載安裝PL/SQL Developer,可以方便連接和管理資料庫,當然這不是必須的,可用其它工具代替。全部安裝完成後如下:
1. 創建資料庫用戶
在Oracle資料庫中為ODI的資料庫創建用戶,ODI的資料庫分為主資料庫和工作資料庫。資料庫所產生的數據就是存放在Oracle資料庫中的。
主資料庫保存所有IT資源的Topology,保存項目和數據模型的安全信息、版本信息,供ODI圖形模塊等使用。
工作資料庫保存項目和數據模型,供ODI圖形模塊等使用。
工作資料庫需要連接到一個主資料庫,為了邏輯清晰,我創建兩個Oracle用戶,分別存放主資料庫和工作資料庫的數據。
打開pl/sql,以管理員身份登陸到Oracle資料庫。
【文件】>>【新建】>>【SQL視窗】>>輸入創建用戶的SQL語句>>【執行】
工作資料庫用戶的創建方式和主資料庫一樣,SQL語句如下:
1 CREATE USER J_ODI_ZLK --主資料庫用戶名 2 IDENTIFIED BY zlk123 --密碼 3 DEFAULT TABLESPACE USERS; --預設表空間 4 GRANT CONNECT,RESOURCE TO J_ODI_ZLK;--授權用戶 6 CREATE USER J_ODI_GZK --工作資料庫用戶名 7 IDENTIFIED BY gzk123 --密碼 8 DEFAULT TABLESPACE USERS; --預設表空間 9 GRANT CONNECT,RESOURCE TO J_ODI_GZK;--授權用戶
2. 創建主資料庫
在Oracle中創建完用戶後,就可以在ODI中創建主資料庫。首先在開始菜單中找到已安裝的ODI 並啟動。
【文件】>>【新建】,打開新建庫對話框,選擇【主資料檔案庫創建嚮導】>>【確定】。
進入資料庫連接視窗,在這裡需要填寫剛在Oracle資料庫中為主資料庫創建的用戶信息以及Oracle資料庫的DBA用戶信息。需註意的是JDBC URL項中localhost為Oracle資料庫的IP地址,我用的本地機器,就直接寫localhost;orcl為Oracle資料庫的實例名。信息輸入完成後,點擊一下測試連接,成功則可進入下一步。
這一步需要創建ODI超級用戶SUPERVISOR,在視窗中輸入密碼即可,該密碼要記住,後面會用到。
完成後ODI即開始創建主資料庫,稍等就會出現成功創建主資料庫的對話框。
主資料庫創建完成後,就可以在ODI中連接到剛創建的主資料庫了。點擊ODI左側邊欄上方的【連接到資料檔案庫】,彈出登陸對話框,點擊【登錄名】後面的加號。
進入配置主資料庫的連接信息,如下圖所示。
配置完成後點擊【確定】即可進入主資料庫。
3. 創建工作資料庫
主資料庫完成後,並不能進行實質的開發工作,還需要創建一個工作資料庫,在工作資料庫中才可以進行工作。接上一環節,進入主資料庫後,點擊左側邊欄上方的【拓撲】標簽,點擊【資料檔案庫】,在【工作資料檔案庫】上單擊滑鼠右鍵,選擇【新建工作資料檔案庫】。
進入工作資料庫的連接配置,配置完成點擊【下一步】。
進入配置工作資料庫的名稱以及密碼。輸入後點擊【完成】即可。工作資料庫創建成功後,系統會彈出【是否為工作資料檔案庫創建登錄】對話框,提示是否為該工作資料庫創建登錄名,可以選擇【否】,一會在連接工作資料庫時在創建也是一樣。
工作資料庫創建完成後,就可以在ODI中連接到剛創建的工作資料庫了。在連接之前,先要斷開已經連接的主資料庫,【ODI】>>【斷開連接”J_ZLK”】。
斷開主資料庫的連接後,再點擊ODI左側邊欄上方的【連接到資料檔案庫】,彈出登陸對話框,點擊【登錄名】後面的加號。
進入創建工作資料庫的連接配置視窗,如下圖所示。
配置完成,點擊【確定】即可登陸到工作資料庫,就可以開始work了。
至此,前期的基本配置工作已經完成了,後面就可以正式開始創建具體的數據集成方案了。
4. 工作場景說明
【ODI】| 數據ETL:從零開始使用Oracle ODI完成數據集成(二)
5. 創建物理體繫結構
【ODI】| 數據ETL:從零開始使用Oracle ODI完成數據集成(二)
6. 創建邏輯體繫結構
【ODI】| 數據ETL:從零開始使用Oracle ODI完成數據集成(二)
7. 創建模型
【ODI】| 數據ETL:從零開始使用Oracle ODI完成數據集成(二)
8. 創建項目及介面
【ODI】| 數據ETL:從零開始使用Oracle ODI完成數據集成(三)
9. 執行介面
【ODI】| 數據ETL:從零開始使用Oracle ODI完成數據集成(三)