快速上手kettle(一)壺之簡介

来源:https://www.cnblogs.com/xiezhr/archive/2023/05/25/17433313.html
-Advertisement-
Play Games

### 一、前言 最近由於工作需要,需要用到kettle工具進行數據遷移轉換。特意找資料學習了一下,kettle基本操作算是學會了。 所學的也結合實際工作進行了驗證。為了防止以後用到忘記了,便寫了幾篇文章記錄一下。 ![快速上手kettle](https://img2023.cnblogs.com/ ...


一、前言

最近由於工作需要,需要用到kettle工具進行數據遷移轉換。特意找資料學習了一下,kettle基本操作算是學會了。

所學的也結合實際工作進行了驗證。為了防止以後用到忘記了,便寫了幾篇文章記錄一下。

快速上手kettle

二 、ETL簡介

ETL ( Extract-Transform-Load的縮寫,即數據抽取、轉換、裝載的過程) 。在企業種我們經常會遇到各種數據的處理,轉換,遷移,所以瞭解並掌握一種etl工具的使用,對開發人員來說必不可少,這裡我要學習的ETL工具是Kettle ! 。

三、Kettle 簡介

3.1 kettle是什麼?

Kettle 是一款國外的開源ETL工具,純java編寫,可以在Windows、Linux、Unix上運行,綠色無需安裝,數據抽取高效穩定。

顧名思義,Kettle 翻譯為中文是水壺,寓意著把所有亂七八糟的數據放到一個壺裡,最終以一種指定格式流出

水壺

3.2 kettle兩種設計

kettle兩種設計

轉換和作業

  • Kettle中有兩種腳本文件,transformationjobtransformation完成數據基本轉換,job完成整個工作流程的控制
  • 轉換是數據流,作業是步驟流
  • 作業的每一個步驟,必須等待前面的步驟執行完,後面的步驟才會執行。
  • 轉換會一次性把所有控制項都啟動(一個控制項對應一個線程)
  • 數據流會從第一個控制項開始,一條記錄一條記錄的流向最後控制項

3.3 kettle核心組件

外國人起名字挺有意思的,kettle的核心組件就是一套烹飪廚具。kettle的作者應該是一位吃貨 (●'◡'●)

kettle核心組件

3.4 kettle 優點

kettle 優點

四、Kettle安裝

4.1 下載地址

① 官網地址

https://community.hitachivantara.com/docs/DOC-1009855

官網地址國內下載可能很慢很慢,小伙伴們可以通過以下國內鏡像地址下載

②國內鏡像地址
http://mirror.bit.edu.cn/pentaho/Pentaho 8.2/client-tools/

4.2 kettle目錄及文件介紹

目錄結構
image-20230525221340766

4.3 kettle 安裝

Kettle是java開發的,所以需要安裝jdk,我們這裡安裝經典的jdk8

至於jdk怎麼安裝,這裡就不細說了,如果不知道的小伙伴百度即可

jdk安裝完成後,我們將4.1 下載的安裝包解壓到自己想放置的路徑即可

4.4 kettle界面介紹

雙擊Spoon.bat 即可打開如下界面

首頁

轉換組件

作業組件

本期內容到此就結束了 (●'◡'●)

下一篇:快速上手kettle(二):kettle初體驗(小編正在玩命更新中)


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • # 伺服器磁碟滿了!!! 事發突然,我在給博客的圖片新增的時候,發現上傳文件和下載文件一直報錯。因為我用的是`1Panel`面板去管理伺服器,話不多說看圖: ![image](https://img2023.cnblogs.com/blog/3091176/202305/3091176-202305 ...
  • 目錄 一、shell簡述 二、shell腳本 三、重定向 四、管道符 五、變數 六、shell腳本基本知識 七、預定義變數小實驗 一、shell簡述 概念:shell解釋器,翻譯官功能,與內核進行溝通的應用程式。 把代碼翻譯為二進位,讓內核處理,負責接收用戶輸入的操作指令(命令)併進行解釋,將需要執 ...
  • 需要先安裝svn linux版打開終端執行 sudo pacman -S svn 安裝完成後執行一下 svn --version 出現這個就說明svn已經安裝完成了,這個時候我們可以執行 svn checkout [路徑] 就可以檢出svn伺服器上相關內容了 但是這個有的時候我們打開文件管理器想要看 ...
  • ZBar是一種流行的二維碼掃描和解碼工具,它在嵌入式系統中擁有廣泛的應用。在嵌入式系統中,我們面臨著有限的資源和更嚴格的性能要求,因此,選擇適當的庫來完成特定的任務非常重要。 ZBar適用於各種嵌入式平臺,包括ARM、x86和MIPS等處理器架構。它可以輕鬆地整合到各種嵌入式系統中,如智能家居設備、 ...
  • 大家新年好,我是呼嚕嚕,在上一篇[簡易加法器](https://mp.weixin.qq.com/s/ahuk_JH8iyH8bwh3VQxpOw)里我們瞭解了半加器和全加器的設計與實現,今天我們來看下CPU中減法器是如何實現的。文章比較長,大家可以收藏反覆觀看 ## 電腦為什麼利用反碼來實現減法 ...
  • Mysql-8.0.27安裝包位置:https://pan.baidu.com/s/1DFfDlnmCh3qVaj091qcpNA 提取碼:vmny 1.首先我們需要準備一個Linux環境,和一個MySql的安裝包(本次採用的mysql安裝包版本為:8.0.27) 2.把文件放在linux下的/us ...
  • 哈嘍大家好,我是鹹魚 鹹魚在《[一文帶你瞭解容器技術的前世今生](https://mp.weixin.qq.com/s?__biz=MzkzNzI1MzE2Mw==&mid=2247484578&idx=1&sn=a8ae0d1c470351a8bbcb6891bae0ca23&chksm=c293 ...
  • > 本文首發於公眾號:Hunter後端 > 原文鏈接:[es筆記七之聚合操作之桶聚合和矩陣聚合](https://mp.weixin.qq.com/s/SFiLEtnUqxncL-ZQj1zqgg) 桶(bucket)聚合併不像指標(metric)聚合一樣在欄位上計算,而是會創建數據的桶,我們可以理 ...
一周排行
    -Advertisement-
    Play Games
  • 人臉識別技術在現代社會中扮演著越來越重要的角色,比如人臉識別門禁、人臉識別支付、甚至人臉識別網站登錄等。 最近有群友問.NET有沒有人臉識別的組件,小編查閱相關資料介紹下麵幾種.NET人臉識別組件供大家參考。 **1、Microsoft Azure Face API** 簡介:Microsoft A ...
  • # 1. 與 .NET Core 緩存的關係和差異 ABP 框架中的緩存系統核心包是 [Volo.Abp.Caching](https://www.nuget.org/packages/Volo.Abp.Caching) ,而對於分散式緩存的支持,abp 官方提供了基於 Redis 的方案,需要安裝 ...
  • 最近ET做熱更重載dll的時候,返回登陸會重新檢測新的dll,首次登錄之前已經Assembly.Load()過一次dll,第二次返回登陸再次load dll到記憶體中,Invoke執行方法的時候,異常了,有些方法執行了,有些未執行,於是查資料,看到些老資料說Assembly.Load重覆載入同名dll ...
  • 1. 擴展方法 擴展方法使你能夠向現有類型“添加”方法,而無需創建新的派生類型、重新編譯或以其他方式修改原始類型。 擴展方法是一種靜態方法,但可以像擴展類型上的實例方法一樣進行調用。 對於用 C#、F# 和 Visual Basic 編寫的客戶端代碼,調用擴展方法與調用在類型中定義的方法沒有明顯區別 ...
  • 以前在隨筆《Winform開發框架之客戶關係管理系統(CRM)的開發總結系列1-界面功能展示 》的幾篇隨筆中介紹過基於WInform開發框架開發的CRM系統,系統的功能主要也是圍繞著客戶相關信息來進行管理的。本篇隨筆介紹在最新的《SqlSugar開發框架》中整合CRM系統模塊的功能。 ...
  • 隨著技術的發展,ASP.NET Core MVC也推出了好長時間,經過不斷的版本更新迭代,已經越來越完善,本系列文章主要講解ASP.NET Core MVC開發B/S系統過程中所涉及到的相關內容,適用於初學者,在校畢業生,或其他想從事ASP.NET Core MVC 系統開發的人員。 經過前幾篇文章... ...
  • [toc] 這篇文章是我之前總結的一篇文章,因為整理博客的原因,原有博客已經註銷,但這篇文章對一些讀者很有用,所以現在新瓶裝舊酒重新整理回來分享給大家。 最近一段時間生產環境頻繁出問題,每次都會生成一個hs_err_pid*.log文件,因為工作內容的原因,在此之前並沒有瞭解過相關內容,趁此機會學習 ...
  • # 前言 在上一篇文章中,給大家講解了泛型的概念、作用、使用場景,以及泛型集合、泛型介面和泛型類的用法,但受限於篇幅,並沒有把泛型的內容講解完畢。所以今天我們會繼續學習泛型方法、泛型擦除,以及通配符等的內容,希望大家繼續做好學習的準備哦。 *** 全文大約【**4600】** 字,不說廢話,只講可以 ...
  • 昨天遇到參數key大小寫不一致導致校驗簽名失敗的問題,查了很長時間才找到原因。看了一下FastJson源碼,發現JSON.toObject中轉換成對象的時候會忽略大小寫。 所以,當使用了JSON.toObject將json轉成Java對象後,再用JSON.toObject轉成json,key值就變了 ...
  • 基於java的線上商城設計與實現,線上購物平臺,校園購物商城,商品銷售平臺,基於Java的電商平臺;電商平臺,買家和賣家可以在此平臺上進行銷售和交易,節約了大量的線下時間成本,購物車的功能,校園交易平臺等等; ...