Kettle(Pentaho)實現web方式遠程執行job或transformation

来源:http://www.cnblogs.com/John-Young/archive/2017/01/25/6349252.html
-Advertisement-
Play Games

一、背景 公司在用kettle做數據etl,每做完一個job或transformation發佈上線想要立即執行看數據效果的話每次都是找運維同學登陸伺服器打開kettle找到對應的文件點擊執行,整個過程效率低下,不僅占用運維時間,期間自己也在白白等待,浪費生命。 google “kettle remo ...


一、背景

     公司在用kettle做數據etl,每做完一個job或transformation發佈上線想要立即執行看數據效果的話每次都是找運維同學登陸伺服器打開kettle找到對應的文件點擊執行,整個過程效率低下,不僅占用運維時間,期間自己也在白白等待,浪費生命。

     google “kettle remotely execute” 得知,這個是有解決方案的,其實kettle 本身就自帶了此解決方案,只是一直忙於工作無(lan)暇(de)研究。大致就是利用kettle自帶的Carte  開啟一個web伺服器,再加上job 或transformation做一點配置即可實現登錄web來觸發執行某一任務。

二、準備工作

     此博客基於windows伺服器

     1.下載Java JDK,版本1.5以上,如果之前已經安裝且版本混亂之類,直接先卸載再重新下載一個安裝

     2.下載kettle。kettle綠色無需安裝,下載完之後解壓到指定的文件夾即可,同時請配置系統環境變數(PENTAHO_JAVA_HOME),value指定到安裝的jdk對應的jre的目錄(如下圖),並找到Spoon.bat點擊打開kettle。

  

     請註意,是指定到jre的目錄,不要搞錯

     

三、開啟伺服器

    基於第二步準備工作之後,請確保能正確打開kettle 軟體。如果有問題無法正常打開,google解決方案。

    我們先看到kettle的根目錄,5.0之後的kettle 在根目錄下會有Carte.bat(.sh是linux系統下使用的),我們要使用的就是它

    

     window下 打開cmd,cd切換到kettle的根目錄:

  

    然後執行命令行,開啟一個web伺服器。 

carte.bat 127.0.0.1 8081

    等待十幾秒,如出現下圖提示即表示伺服器開啟成功

    

    這一步成功的前提是 PENTAHO_JAVA_HOME環境變數配置正確,不然會提示java.exe找不到錯誤。

    成功之後我們就可以瀏覽器打開 http:127.0.0.1:8081 看效果了,會給一個彈出框要求你輸入賬號密碼驗證:

    

    這個賬號密碼是什麼呢?別急,我們回到kettle的根目錄下,找到pwd文件夾,雙擊進入,發現如下幾個文件:

    

    咱們的賬號密碼就配置在裡面,打開-8081的xml文件:

<?xml version="1.0"?>
-<slave_config>
<!-- Document description... - masters: You can list the slave servers to which this slave has to report back to. If this is a master, we will contact the other masters to get a list of all the slaves in the cluster. - report_to_masters : send a message to the defined masters to let them know we exist (Y/N) - slaveserver : specify the slave server details of this carte instance. IMPORTANT : the username and password specified here are used by the master instances to connect to this slave. -->
-<masters>
-<slaveserver>
<name>master1</name>
<hostname>localhost</hostname>
<port>8080</port>
<username>cluster</username>
<password>cluster</password>
<master>Y</master>
</slaveserver>
</masters>
<report_to_masters>Y</report_to_masters>
-<slaveserver>
<name>slave1-8081</name>
<hostname>localhost</hostname>
<port>8081</port>
<username>cluster</username>
<password>cluster</password>
<master>N</master>
</slaveserver>
</slave_config>

    咱們開啟的是一個slave伺服器,所以看slaveserver裡面配置的username 和password,對,預設的都是cluster,這裡的配置值就是你登錄的賬號密碼。現在可以登錄配置的carte伺服器了。

  

   進來後發現並沒有任何東西,這是正常現象,因為我們還需要配置一下kettle的 job 和transformation,到這一步整個web伺服器的工作就算完成了。接下來就是kettle文件的配置了。

 

四、Kettle配置

   1.打開kettle,並任意打開一個job 活著transformation ,在左部菜單選擇view,菜單選項裡面有個Slave Server,這裡我們需要配置一下。

  

  咱們new一個 slaveserver ,響應的值:

  這裡請註意,ip 和 port 必須和我們之前開啟的web 伺服器一致,點擊ok保存之後,記得share一下記住下來。

 

  2.配置 job 或 transformation 的run options 

   打開任意一個job或transformation,配run options ,如下圖:

 

  繼續配置:

   

   會產生一個新的tab,這裡我們的配置就完成了。

    

  再打開 http://127.0.0.1:8081看看,在job 列表裡面已經出現了剛剛我們配置的job

 

   我們就可以點進去,在web 裡面控制這個job,是不是很方便?

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Cast函數;CONVERT函數。 用法:CAST(expr AS type), CONVERT(expr,type) , CONVERT(expr USING transcoding_name). SELECT CONVERT('abc' USING utf8); 將varchar 轉為Int 用 ...
  • (以下內容使用的系統和版本為Windows7系統和Oracle11g,Windows其他版本和Oracle其他版本基本差不多。) 一、Oracle簡介 簡介:Oracle是一個關係型資料庫管理系統,是Oracle公司的核心產品。 主要特點: 1、支持多用戶、大事務量的事務處理 2、在保持數據安全性和 ...
  • 連接資料庫可以有三種方式,使用Oracle自帶的SQL*Plus和SQLDeveloper,以及使用第三方工具PL/SQLDeveloper。 一、使用SQL*Plus連接資料庫 SQL*Plus連接也有三種連接方式,可以分為兩類,一類需要配置文件tnsnames.ora,另一類不需要 1、命令格式 ...
  • 一、安裝前的準備: 首先在這裡給出本人的百度網盤的鏈接:http://pan.baidu.com/s/1c1WF1PQ;網速快的小伙伴建議到官網:http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index ...
  • 首先安裝依賴包,避免在安裝過程中出現問題 上面的依賴包安裝也可以一行搞定 mysql源碼下載地址:https://dev.mysql.com/downloads/mysql/5.6.html#downloads 源碼包地址:https://dev.mysql.com/get/Downloads/My ...
  • -- 開窗函數:在結果集的基礎上進一步處理(聚合操作) -- Over函數,添加一個欄位顯示最大年齡 SELECT * , MAX(StuAge) OVER ( ) MaxStuAge FROM dbo.Student; -- Over函數,添加一個欄位顯示總人數 SELECT * , COUNT(... ...
  • -- 交叉連接產生笛卡爾值 (X*Y) SELECT * FROM Student cross Join dbo.ClassInfo --另外一種寫法 SELECT * FROM Student , ClassInfo -- 內連接 (Inner 可以省略) SELECT * FROM Studen... ...
  • 轉載請標明鏈接:http://www.cnblogs.com/wingsless/p/6349434.html boneCP連接的實現 boneCP自己實現了標準的java.sql.Connection介面,除了會持有Connection對象之外,還會擁有一些屬性用於標記連接的創建時間,空閑時間等。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...