Oozie操作篇--Oozie Shell Action 配置Oozie調用shell

来源:https://www.cnblogs.com/wind-xwj/archive/2018/04/25/8946714.html
-Advertisement-
Play Games

Oozie Shell Action 配置 Oozie Shell Action 配置 Shell Action 運行Shell命令或者shell腳本，每個流程任務只有在當前的Shell Action命令執行 完成之後才會繼續執行後面的節點要運行一個shell任務，需要給Shell Action節點 ...


Oozie Shell Action 配置


Oozie Shell Action 配置
  • Shell Action 運行Shell命令或者shell腳本，每個流程任務只有在當前的Shell Action命令執行 完成之後才會繼續執行後面的節點
  • 要運行一個shell任務，需要給Shell Action節點配置job-tracker，name-node，shell執行命令執行參數和一些必要的參數
  • Shell Action 可以用來配置成在執行一個Shell任務之前去創建或者刪除HDFS目錄
  • Shell 應用的配置可以使用job-xml文件中的元素，也可以使用內部元素來配置，像EL表達式也支持在內部元素中的配置，內部元素的配置可以覆蓋外部文件中的配置。
  • 跟mr任務一樣，在Shell任務中也可以使用文件和附件具體參見【http://archive.cloudera.com/cdh/3/oozie/WorkflowFunctionalSpec.html#a3.2.2.1_Adding_Files_and_Archives_for_the_Job】
  • 當Shell任務執行完成之後，其產生的輸出文件可以被流程任務使用，這些信息可以被決策結點使用，如果要是Shell 任務產生的輸出對流程任務可用，必須滿足兩個條件:1,輸出的格式必須是合法的java屬性文件2,輸出的大小不能超過2KB
Shell Action格式
1234567891011121314151617181920212223242526272829303132333435363738<workflow-app name="[WF-DEF-NAME]" xmlns="uri:oozie:workflow:0.3">    ...    <action name="[NODE-NAME]">        <shell xmlns="uri:oozie:shell-action:0.1">            <job-tracker>[JOB-TRACKER]</job-tracker>            <name-node>[NAME-NODE]</name-node>            <prepare>               <delete path="[PATH]"/>               ...               <mkdir path="[PATH]"/>               ...            </prepare>            <job-xml>[SHELL SETTINGS FILE]</job-xml>            <configuration>                <property>                    <name>[PROPERTY-NAME]</name>                    <value>[PROPERTY-VALUE]</value>                </property>                ...            </configuration>            <exec>[SHELL-COMMAND]</exec>            <argument>[ARG-VALUE]</argument>                ...            <argument>[ARG-VALUE]</argument>            <env-var>[VAR1=VALUE1]</env-var>               ...            <env-var>[VARN=VALUEN]</env-var>            <file>[FILE-PATH]</file>            ...            <archive>[FILE-PATH]</archive>            ...            <capture-output/>        </shell>        <ok to="[NODE-NAME]"/>        <error to="[NODE-NAME]"/>    </action>    ...</workflow-app>
  • prepare元素裡面配置啟動job前要刪除或者創建的文件夾，文件夾路徑必須是以hdfs://HOST:PORT開頭。
  • job-xml指定一個存在的配置文件。
  • configuration裡面配置傳遞給shell job的參數。
  • exec元素包含要執行的shell命令的路徑。可以給shell命令添加參數。
  • argument元素指定要傳遞給shell腳本的參數。
  • env-var包含傳遞給shell命令的環境變數。env-var只能包含一個環境變數和值。如果這個環境變數包含像$PATH一樣的，那它必須寫成PATH=$PATH:mypath。不能用${PATH}，因為它將會被EL解析。
  • capture-output元素指定用來捕獲shell腳本的標準輸出。可以通過String action:output(String node, String key)函數【EL函數】來獲得輸出。
Shell Action 使用實例一：Oozie自帶shell案例運行，oozie運行shell命令首先下載Oozie自帶的例子，解壓，打開到 examples\apps\shell 目錄，根據自己的安裝環境修改之後的job.properties文件如下
12345nameNode=hdfs://hadoop-node1.novalocal:8020jobTracker=hadoop-node1.novalocal:8050queueName=defaultexamplesRoot=xwj_testoozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/shell/oozie_example/workflow.xml
官網自帶的workflow.xml
1234567891011121314151617181920212223242526272829303132333435<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">    <start to="shell-node"/>    <action name="shell-node">        <shell xmlns="uri:oozie:shell-action:0.2">            <job-tracker>${jobTracker}</job-tracker>            <name-node>${nameNode}</name-node>            <configuration>                <property>                    <name>mapred.job.queue.name</name>                    <value>${queueName}</value>                </property>            </configuration>            <exec>echo</exec>            <argument>my_output=Hello Oozie</argument>            <capture-output/>        </shell>        <ok to="check-output"/>        <error to="fail"/>    </action>    <decision name="check-output">        <switch>            <case to="end">                ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}            </case>           &n
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 安裝及配置mysql-5.7.21-winx64
    恢復內容開始 之前在安裝mysql時也遇到了一些問題,再網上找了一些安裝教程,現在把主要步驟記錄下來以防以後用到時忘了! 小白一個,不喜勿噴哦!! 1.到官網下載http://dev.mysql.com/downloads/mysql/(註意別選錯了) 2.直接解壓就可以了(註意:解壓的位置就是你m ...
  • 對oracle資料庫使用的小結
    使用資料庫為oracle 因為在將數據從歷史表導入當前表時，因欄位個數不對，導致不能導數據。 一、將歷史表的欄位增加一個或者多個的SQL語句。 1、增加一個欄位：（增加欄位時，只能排在已有欄位的後面，不能插到已有欄位之間） Alter Table t_app_si_addr_12 Add CHG_A ...
  • T-SQL語法學習一（持續更新）
    T SQL語法學習（一） 第一節 不常用語句 不常用語句 指的是一些不常用的查詢語句，不針對業務數據查詢 SET STATISTICS IO ON（用於查詢邏輯讀取次數，物理讀取次數） 圖片 select @@version （查詢當前實例的資料庫版本） 第二節 操作資料庫管理工具註意事項 當我們在 ...
  • oracle nid修改dbname
    修改name的目的只是為了日後管理清晰點，不重覆。我比較懶、記性又差，所以就整理記下1、檢查當前nameSQL> show parameter nameNAME TYPE VALUE db_file_name_convert string db_name string test141db_uniqu ...
  • (Les14 備份與恢復的概念)[20180425]
    目的 確定Oracle DB中可能發生的故障類型 說明優化實例恢復的方法 說明檢查點，重做日誌文件和歸檔日誌文件的重要性 配置快速恢復區 配置ARCHIVEDLOG模式 資料庫管理員的部分職責 儘量避免資料庫出現故障 延長平均故障間隔時間（MTBF） 通過冗餘方式保護關鍵組件 -Real Appli ...
  • Oozie操作篇--Oozie Spark Action 配置Oozie調用spark程式
    Oozie Spark Action 配置 Spark Action 用來運行spark 任務，流程任務必須等當前節點的spark任務執行完成之後才能執行後續節點任務。運行Spark Job，必須在 spark action裡面配置 job-tracer，name-node，master，和一些必要 ...
  • Oozie操作篇--Oozie Sqoop Action 配置Oozie調用sqoop命令
    Oozie Sqoop Action 配置 Sqoop Action 用來運行sqoop 任務，流程任務必須等當前節點的sqoop任務執行完成之後才能執行後續節點任務。Email Action 所有的節點值都可以使用EL表達式運行Sqoop Job，必須在 sqoop action裡面配置 job- ...
  • Oozie操作篇--Oozie Email action 配置Oozie發送郵件
    Oozie Email Action 配置 Shell Action 可以用來為oozie中的流程任務發送郵件，Email Action 必須配置 to收件人，cc收件人（可選），郵件主題，郵件內容，多個收件人可以使用，分割收件人地址。Email Action是同步執行的，流程任務必須等當前節點的郵 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類