Kettle(Pentaho)實現web方式遠程執行job或transformation

来源:http://www.cnblogs.com/John-Young/archive/2017/01/25/6349252.html
-Advertisement-
Play Games

一、背景 公司在用kettle做數據etl,每做完一個job或transformation發佈上線想要立即執行看數據效果的話每次都是找運維同學登陸伺服器打開kettle找到對應的文件點擊執行,整個過程效率低下,不僅占用運維時間,期間自己也在白白等待,浪費生命。 google “kettle remo ...


一、背景

     公司在用kettle做數據etl,每做完一個job或transformation發佈上線想要立即執行看數據效果的話每次都是找運維同學登陸伺服器打開kettle找到對應的文件點擊執行,整個過程效率低下,不僅占用運維時間,期間自己也在白白等待,浪費生命。

     google “kettle remotely execute” 得知,這個是有解決方案的,其實kettle 本身就自帶了此解決方案,只是一直忙於工作無(lan)暇(de)研究。大致就是利用kettle自帶的Carte  開啟一個web伺服器,再加上job 或transformation做一點配置即可實現登錄web來觸發執行某一任務。

二、準備工作

     此博客基於windows伺服器

     1.下載Java JDK,版本1.5以上,如果之前已經安裝且版本混亂之類,直接先卸載再重新下載一個安裝

     2.下載kettle。kettle綠色無需安裝,下載完之後解壓到指定的文件夾即可,同時請配置系統環境變數(PENTAHO_JAVA_HOME),value指定到安裝的jdk對應的jre的目錄(如下圖),並找到Spoon.bat點擊打開kettle。

  

     請註意,是指定到jre的目錄,不要搞錯

     

三、開啟伺服器

    基於第二步準備工作之後,請確保能正確打開kettle 軟體。如果有問題無法正常打開,google解決方案。

    我們先看到kettle的根目錄,5.0之後的kettle 在根目錄下會有Carte.bat(.sh是linux系統下使用的),我們要使用的就是它

    

     window下 打開cmd,cd切換到kettle的根目錄:

  

    然後執行命令行,開啟一個web伺服器。 

carte.bat 127.0.0.1 8081

    等待十幾秒,如出現下圖提示即表示伺服器開啟成功

    

    這一步成功的前提是 PENTAHO_JAVA_HOME環境變數配置正確,不然會提示java.exe找不到錯誤。

    成功之後我們就可以瀏覽器打開 http:127.0.0.1:8081 看效果了,會給一個彈出框要求你輸入賬號密碼驗證:

    

    這個賬號密碼是什麼呢?別急,我們回到kettle的根目錄下,找到pwd文件夾,雙擊進入,發現如下幾個文件:

    

    咱們的賬號密碼就配置在裡面,打開-8081的xml文件:

<?xml version="1.0"?>
-<slave_config>
<!-- Document description... - masters: You can list the slave servers to which this slave has to report back to. If this is a master, we will contact the other masters to get a list of all the slaves in the cluster. - report_to_masters : send a message to the defined masters to let them know we exist (Y/N) - slaveserver : specify the slave server details of this carte instance. IMPORTANT : the username and password specified here are used by the master instances to connect to this slave. -->
-<masters>
-<slaveserver>
<name>master1</name>
<hostname>localhost</hostname>
<port>8080</port>
<username>cluster</username>
<password>cluster</password>
<master>Y</master>
</slaveserver>
</masters>
<report_to_masters>Y</report_to_masters>
-<slaveserver>
<name>slave1-8081</name>
<hostname>localhost</hostname>
<port>8081</port>
<username>cluster</username>
<password>cluster</password>
<master>N</master>
</slaveserver>
</slave_config>

    咱們開啟的是一個slave伺服器,所以看slaveserver裡面配置的username 和password,對,預設的都是cluster,這裡的配置值就是你登錄的賬號密碼。現在可以登錄配置的carte伺服器了。

  

   進來後發現並沒有任何東西,這是正常現象,因為我們還需要配置一下kettle的 job 和transformation,到這一步整個web伺服器的工作就算完成了。接下來就是kettle文件的配置了。

 

四、Kettle配置

   1.打開kettle,並任意打開一個job 活著transformation ,在左部菜單選擇view,菜單選項裡面有個Slave Server,這裡我們需要配置一下。

  

  咱們new一個 slaveserver ,響應的值:

  這裡請註意,ip 和 port 必須和我們之前開啟的web 伺服器一致,點擊ok保存之後,記得share一下記住下來。

 

  2.配置 job 或 transformation 的run options 

   打開任意一個job或transformation,配run options ,如下圖:

 

  繼續配置:

   

   會產生一個新的tab,這裡我們的配置就完成了。

    

  再打開 http://127.0.0.1:8081看看,在job 列表裡面已經出現了剛剛我們配置的job

 

   我們就可以點進去,在web 裡面控制這個job,是不是很方便?

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Cast函數;CONVERT函數。 用法:CAST(expr AS type), CONVERT(expr,type) , CONVERT(expr USING transcoding_name). SELECT CONVERT('abc' USING utf8); 將varchar 轉為Int 用 ...
  • (以下內容使用的系統和版本為Windows7系統和Oracle11g,Windows其他版本和Oracle其他版本基本差不多。) 一、Oracle簡介 簡介:Oracle是一個關係型資料庫管理系統,是Oracle公司的核心產品。 主要特點: 1、支持多用戶、大事務量的事務處理 2、在保持數據安全性和 ...
  • 連接資料庫可以有三種方式,使用Oracle自帶的SQL*Plus和SQLDeveloper,以及使用第三方工具PL/SQLDeveloper。 一、使用SQL*Plus連接資料庫 SQL*Plus連接也有三種連接方式,可以分為兩類,一類需要配置文件tnsnames.ora,另一類不需要 1、命令格式 ...
  • 一、安裝前的準備: 首先在這裡給出本人的百度網盤的鏈接:http://pan.baidu.com/s/1c1WF1PQ;網速快的小伙伴建議到官網:http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index ...
  • 首先安裝依賴包,避免在安裝過程中出現問題 上面的依賴包安裝也可以一行搞定 mysql源碼下載地址:https://dev.mysql.com/downloads/mysql/5.6.html#downloads 源碼包地址:https://dev.mysql.com/get/Downloads/My ...
  • -- 開窗函數:在結果集的基礎上進一步處理(聚合操作) -- Over函數,添加一個欄位顯示最大年齡 SELECT * , MAX(StuAge) OVER ( ) MaxStuAge FROM dbo.Student; -- Over函數,添加一個欄位顯示總人數 SELECT * , COUNT(... ...
  • -- 交叉連接產生笛卡爾值 (X*Y) SELECT * FROM Student cross Join dbo.ClassInfo --另外一種寫法 SELECT * FROM Student , ClassInfo -- 內連接 (Inner 可以省略) SELECT * FROM Studen... ...
  • 轉載請標明鏈接:http://www.cnblogs.com/wingsless/p/6349434.html boneCP連接的實現 boneCP自己實現了標準的java.sql.Connection介面,除了會持有Connection對象之外,還會擁有一些屬性用於標記連接的創建時間,空閑時間等。 ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...