Oozie操作篇--Oozie Sqoop Action 配置Oozie調用sqoop命令

-Advertisement-

Oozie Sqoop Action 配置 Sqoop Action 用來運行sqoop 任務，流程任務必須等當前節點的sqoop任務執行完成之後才能執行後續節點任務。Email Action 所有的節點值都可以使用EL表達式運行Sqoop Job，必須在 sqoop action裡面配置 job- ...

Oozie Sqoop Action 配置

Sqoop Action 用來運行sqoop 任務，流程任務必須等當前節點的sqoop任務執行完成之後才能執行後續節點任務。
Email Action 所有的節點值都可以使用EL表達式
運行Sqoop Job，必須在 sqoop action裡面配置 job-tracer，name-node，Sqoop command，也許還需要一些參數和配置。
同Shell Action一樣 Sqoop Action 可以配置成創建或者刪除HDFS目錄之後再去執行一個Sqoop任務
Sqoop 應用的配置可以使用job-xml文件中的元素，也可以使用內部元素來配置，像EL表達式也支持在內部元素中的配置，內部元素的配置可以覆蓋外部文件中的配置，內部元素配置不能使用 Hadoop mapred.job.tracker and fs.default.name這兩個屬性
跟mr任務一樣，在Shell任務中也可以使用文件和附件具體參見【http://archive.cloudera.com/cdh/3/oozie/WorkflowFunctionalSpec.html#a3.2.2.1_Adding_Files_and_Archives_for_the_Job】

Sqoop Action格式

1234567891011121314151617181920212223242526272829303132

<workflow-app name="[WF-DEF-NAME]" xmlns="uri:oozie:workflow:0.1">    ...    <action name="[NODE-NAME]">        <sqoop xmlns="uri:oozie:sqoop-action:0.2">            <job-tracker>[JOB-TRACKER]</job-tracker>            <name-node>[NAME-NODE]</name-node>            <prepare>               <delete path="[PATH]"/>               ...               <mkdir path="[PATH]"/>               ...            </prepare>            <configuration>                <property>                    <name>[PROPERTY-NAME]</name>                    <value>[PROPERTY-VALUE]</value>                </property>                ...            </configuration>            <command>[SQOOP-COMMAND]</command>            <arg>[SQOOP-ARGUMENT]</arg>            ...            <file>[FILE-PATH]</file>            ...            <archive>[FILE-PATH]</archive>            ...        </sqoop>        <ok to="[NODE-NAME]"/>        <error to="[NODE-NAME]"/>    </action>    ...</workflow-app>

prepare 元素如果存在，表明在執行sqoop 命令之前需要執行的一系列 hdfs路徑的創建和刪除操作，並且路徑必須以 hdfs://HOST:PORT 開頭
job-xml 元素如果存在，則作為sqoop任務的配置文件，從 schema 0.3開始支持多個job-xml元素用來支持多個job.xml文件
configuration 用來給sqoop任務傳遞參數

sqoop command

sqoop 命令可以通過command元素或者多個arg元素指定
當使用command的時候，oozie會根據空格把命令切分成多個參數
當使用arg的時候，oozie將會把arg裡面的值當成參數傳遞給sqoop
當一個參數裡面有空格的時候，必須用arg來指定
上述所有的元素值都可以使用EL表達式配置

Sqoop Action 使用實例一：oozie調用sqoop，使用sqoop同步mysql數據，執行成功發送提示郵件1,新建 job.properties

123456

nameNode=hdfs://hadoop-node1.novalocal:8020jobTracker=hadoop-node1.novalocal:8050queueName=defaultexamplesRoot=xwj_testjobOutput=/user/xwj/testoozie.wf.application.path=${nameNode}/user/oozie/${examplesRoot}/apps/shell/sqoop_email/workflow.xml

2,workflow.xml

1234567891011121314151617181920212223242526272829303132333435363738

<workflow-app xmlns="uri:oozie:workflow:0.4" name="email-wf">    <start to="sqoop-node"/>         <action name="sqoop-node">        <sqoop xmlns="uri:oozie:sqoop-action:0.2">            <job-tracker>hadoop-node1.novalocal:8050</job-tracker>            <name-node>hdfs://hadoop-node1.novalocal:8020</name-node>            <prepare>                <delete path="${jobOutput}"/>            </prepare>            <configuration>                <property>                    <name>mapred.compress.map.output</name>                    <value>true</value>                </property>            </configuration>            <command>sqoop import --connect jdbc:mysql://host:3306/oozie --username oozie --password oozie --query 'select id,app_name,app_path,user_name from WF_JOBS where $CONDITIONS LIMIT 100' --target-dir /user/xwj/test --delete-target-dir --num-mappers 1 --fields-terminated-by '\t'</command>        </sqoop>        <ok to="email-node"/>        <error to="fail"/>    </action>              <action name="email-node">        <email xmlns="uri:oozie:email-action:0.1">            <to>[email protected]</to>            <cc>[email protected]</cc>            <subject>Email notifications for ${wf:id()}</subject>            <body>The wf ${wf:id()} successfully completed.</body>        </email>        <ok to="end"/>        <error to="fail"/>    </action>    <kill name="fail">        <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>    </kill>   <end name='end' /></workflow-app>

3，首先在本地的測試節點上創建文件夾 mkdir -p /opt/mydata/user/oozie/xwj_test/apps/shell/sqoop_email4，在hdfs上創建目錄 hdfs dfs -mkdir -p /user/oozie/xwj_test/apps/shell/sqoop_email5，將上述文件上傳到新建好的目錄中cd /opt/mydata/user/oozie/xwj_test/apps/shell/sqoop_email

6，將本地文件上傳到hdfs目錄中hdfs dfs -put ../sqoop_email/* /user/oozie/xwj_test/apps/shell/sqoop_email7，查看hdfs上的目錄文件是否存在 hdfs dfs -ls -r /user/oozie/xwj_test/apps/shell/sqoop_email

8，切換yarn用戶重新提交任務su yarn oozie job -oozie http://hadoop-node0.novalocal:11000/oozie

您的分享是我們最大的動力!

-Advertisement-

更多相關文章

SQL Server用戶自定義數據類型

用戶自定義數據類型：基於系統數據類型，由資料庫管理員生成。利用系統存儲過程定義用戶自定義數據類型` Sp_addtype [@typename=] 新數據類型名, [@phystype=] 系統數據類型名 [,[@nulltype=] null_type] [,[@owner=] owner_nam ...
[HBase Manual]CH5 HBase運行模式：單實例和分散式

HBase運行模式：單實例和分散式 HBase運行模式：單實例和分散式... 1 1.單實例模式... 1 1.1 單實例在HDFS下... 1 2.分散式... 1 2.1 偽分散式... 1 3完全分散式... 1 HBase有2種運行模式，單實例和分散式。 1.單實例模式這個是預設的模式。單 ...
安裝及配置mysql-5.7.21-winx64

恢復內容開始之前在安裝mysql時也遇到了一些問題,再網上找了一些安裝教程,現在把主要步驟記錄下來以防以後用到時忘了! 小白一個,不喜勿噴哦!! 1.到官網下載http://dev.mysql.com/downloads/mysql/(註意別選錯了) 2.直接解壓就可以了(註意:解壓的位置就是你m ...
對oracle資料庫使用的小結

使用資料庫為oracle 因為在將數據從歷史表導入當前表時，因欄位個數不對，導致不能導數據。一、將歷史表的欄位增加一個或者多個的SQL語句。 1、增加一個欄位：（增加欄位時，只能排在已有欄位的後面，不能插到已有欄位之間） Alter Table t_app_si_addr_12 Add CHG_A ...
T-SQL語法學習一（持續更新）

T SQL語法學習（一）第一節不常用語句不常用語句指的是一些不常用的查詢語句，不針對業務數據查詢 SET STATISTICS IO ON（用於查詢邏輯讀取次數，物理讀取次數）圖片 select @@version （查詢當前實例的資料庫版本）第二節操作資料庫管理工具註意事項當我們在 ...
oracle nid修改dbname

修改name的目的只是為了日後管理清晰點，不重覆。我比較懶、記性又差，所以就整理記下1、檢查當前nameSQL> show parameter nameNAME TYPE VALUE db_file_name_convert string db_name string test141db_uniqu ...
(Les14 備份與恢復的概念)[20180425]

目的確定Oracle DB中可能發生的故障類型說明優化實例恢復的方法說明檢查點，重做日誌文件和歸檔日誌文件的重要性配置快速恢復區配置ARCHIVEDLOG模式資料庫管理員的部分職責儘量避免資料庫出現故障延長平均故障間隔時間（MTBF）通過冗餘方式保護關鍵組件 -Real Appli ...
Oozie操作篇--Oozie Spark Action 配置Oozie調用spark程式

Oozie Spark Action 配置 Spark Action 用來運行spark 任務，流程任務必須等當前節點的spark任務執行完成之後才能執行後續節點任務。運行Spark Job，必須在 spark action裡面配置 job-tracer，name-node，master，和一些必要 ...