快速上手kettle(一)壺之簡介

来源:https://www.cnblogs.com/xiezhr/archive/2023/05/25/17433313.html
-Advertisement-
Play Games

### 一、前言 最近由於工作需要,需要用到kettle工具進行數據遷移轉換。特意找資料學習了一下,kettle基本操作算是學會了。 所學的也結合實際工作進行了驗證。為了防止以後用到忘記了,便寫了幾篇文章記錄一下。 ![快速上手kettle](https://img2023.cnblogs.com/ ...


一、前言

最近由於工作需要,需要用到kettle工具進行數據遷移轉換。特意找資料學習了一下,kettle基本操作算是學會了。

所學的也結合實際工作進行了驗證。為了防止以後用到忘記了,便寫了幾篇文章記錄一下。

快速上手kettle

二 、ETL簡介

ETL ( Extract-Transform-Load的縮寫,即數據抽取、轉換、裝載的過程) 。在企業種我們經常會遇到各種數據的處理,轉換,遷移,所以瞭解並掌握一種etl工具的使用,對開發人員來說必不可少,這裡我要學習的ETL工具是Kettle ! 。

三、Kettle 簡介

3.1 kettle是什麼?

Kettle 是一款國外的開源ETL工具,純java編寫,可以在Windows、Linux、Unix上運行,綠色無需安裝,數據抽取高效穩定。

顧名思義,Kettle 翻譯為中文是水壺,寓意著把所有亂七八糟的數據放到一個壺裡,最終以一種指定格式流出

水壺

3.2 kettle兩種設計

kettle兩種設計

轉換和作業

  • Kettle中有兩種腳本文件,transformationjobtransformation完成數據基本轉換,job完成整個工作流程的控制
  • 轉換是數據流,作業是步驟流
  • 作業的每一個步驟,必須等待前面的步驟執行完,後面的步驟才會執行。
  • 轉換會一次性把所有控制項都啟動(一個控制項對應一個線程)
  • 數據流會從第一個控制項開始,一條記錄一條記錄的流向最後控制項

3.3 kettle核心組件

外國人起名字挺有意思的,kettle的核心組件就是一套烹飪廚具。kettle的作者應該是一位吃貨 (●'◡'●)

kettle核心組件

3.4 kettle 優點

kettle 優點

四、Kettle安裝

4.1 下載地址

① 官網地址

https://community.hitachivantara.com/docs/DOC-1009855

官網地址國內下載可能很慢很慢,小伙伴們可以通過以下國內鏡像地址下載

②國內鏡像地址
http://mirror.bit.edu.cn/pentaho/Pentaho 8.2/client-tools/

4.2 kettle目錄及文件介紹

目錄結構
image-20230525221340766

4.3 kettle 安裝

Kettle是java開發的,所以需要安裝jdk,我們這裡安裝經典的jdk8

至於jdk怎麼安裝,這裡就不細說了,如果不知道的小伙伴百度即可

jdk安裝完成後,我們將4.1 下載的安裝包解壓到自己想放置的路徑即可

4.4 kettle界面介紹

雙擊Spoon.bat 即可打開如下界面

首頁

轉換組件

作業組件

本期內容到此就結束了 (●'◡'●)

下一篇:快速上手kettle(二):kettle初體驗(小編正在玩命更新中)


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • # 伺服器磁碟滿了!!! 事發突然,我在給博客的圖片新增的時候,發現上傳文件和下載文件一直報錯。因為我用的是`1Panel`面板去管理伺服器,話不多說看圖: ![image](https://img2023.cnblogs.com/blog/3091176/202305/3091176-202305 ...
  • 目錄 一、shell簡述 二、shell腳本 三、重定向 四、管道符 五、變數 六、shell腳本基本知識 七、預定義變數小實驗 一、shell簡述 概念:shell解釋器,翻譯官功能,與內核進行溝通的應用程式。 把代碼翻譯為二進位,讓內核處理,負責接收用戶輸入的操作指令(命令)併進行解釋,將需要執 ...
  • 需要先安裝svn linux版打開終端執行 sudo pacman -S svn 安裝完成後執行一下 svn --version 出現這個就說明svn已經安裝完成了,這個時候我們可以執行 svn checkout [路徑] 就可以檢出svn伺服器上相關內容了 但是這個有的時候我們打開文件管理器想要看 ...
  • ZBar是一種流行的二維碼掃描和解碼工具,它在嵌入式系統中擁有廣泛的應用。在嵌入式系統中,我們面臨著有限的資源和更嚴格的性能要求,因此,選擇適當的庫來完成特定的任務非常重要。 ZBar適用於各種嵌入式平臺,包括ARM、x86和MIPS等處理器架構。它可以輕鬆地整合到各種嵌入式系統中,如智能家居設備、 ...
  • 大家新年好,我是呼嚕嚕,在上一篇[簡易加法器](https://mp.weixin.qq.com/s/ahuk_JH8iyH8bwh3VQxpOw)里我們瞭解了半加器和全加器的設計與實現,今天我們來看下CPU中減法器是如何實現的。文章比較長,大家可以收藏反覆觀看 ## 電腦為什麼利用反碼來實現減法 ...
  • Mysql-8.0.27安裝包位置:https://pan.baidu.com/s/1DFfDlnmCh3qVaj091qcpNA 提取碼:vmny 1.首先我們需要準備一個Linux環境,和一個MySql的安裝包(本次採用的mysql安裝包版本為:8.0.27) 2.把文件放在linux下的/us ...
  • 哈嘍大家好,我是鹹魚 鹹魚在《[一文帶你瞭解容器技術的前世今生](https://mp.weixin.qq.com/s?__biz=MzkzNzI1MzE2Mw==&mid=2247484578&idx=1&sn=a8ae0d1c470351a8bbcb6891bae0ca23&chksm=c293 ...
  • > 本文首發於公眾號:Hunter後端 > 原文鏈接:[es筆記七之聚合操作之桶聚合和矩陣聚合](https://mp.weixin.qq.com/s/SFiLEtnUqxncL-ZQj1zqgg) 桶(bucket)聚合併不像指標(metric)聚合一樣在欄位上計算,而是會創建數據的桶,我們可以理 ...
一周排行
    -Advertisement-
    Play Games
  • 1. 說明 /* Performs operations on System.String instances that contain file or directory path information. These operations are performed in a cross-pla ...
  • 視頻地址:【WebApi+Vue3從0到1搭建《許可權管理系統》系列視頻:搭建JWT系統鑒權-嗶哩嗶哩】 https://b23.tv/R6cOcDO qq群:801913255 一、在appsettings.json中設置鑒權屬性 /*jwt鑒權*/ "JwtSetting": { "Issuer" ...
  • 引言 集成測試可在包含應用支持基礎結構(如資料庫、文件系統和網路)的級別上確保應用組件功能正常。 ASP.NET Core 通過將單元測試框架與測試 Web 主機和記憶體中測試伺服器結合使用來支持集成測試。 簡介 集成測試與單元測試相比,能夠在更廣泛的級別上評估應用的組件,確認多個組件一起工作以生成預 ...
  • 在.NET Emit編程中,我們探討了運算操作指令的重要性和應用。這些指令包括各種數學運算、位操作和比較操作,能夠在動態生成的代碼中實現對數據的處理和操作。通過這些指令,開發人員可以靈活地進行算術運算、邏輯運算和比較操作,從而實現各種複雜的演算法和邏輯......本篇之後,將進入第七部分:實戰項目 ...
  • 前言 多表頭表格是一個常見的業務需求,然而WPF中卻沒有預設實現這個功能,得益於WPF強大的控制項模板設計,我們可以通過修改控制項模板的方式自己實現它。 一、需求分析 下圖為一個典型的統計表格,統計1-12月的數據。 此時我們有一個需求,需要將月份按季度劃分,以便能夠直觀地看到季度統計數據,以下為該需求 ...
  • 如何將 ASP.NET Core MVC 項目的視圖分離到另一個項目 在當下這個年代 SPA 已是主流,人們早已忘記了 MVC 以及 Razor 的故事。但是在某些場景下 SSR 還是有意想不到效果。比如某些靜態頁面,比如追求首屏載入速度的時候。最近在項目中回歸傳統效果還是不錯。 有的時候我們希望將 ...
  • System.AggregateException: 發生一個或多個錯誤。 > Microsoft.WebTools.Shared.Exceptions.WebToolsException: 生成失敗。檢查輸出視窗瞭解更多詳細信息。 內部異常堆棧跟蹤的結尾 > (內部異常 #0) Microsoft ...
  • 引言 在上一章節我們實戰了在Asp.Net Core中的項目實戰,這一章節講解一下如何測試Asp.Net Core的中間件。 TestServer 還記得我們在集成測試中提供的TestServer嗎? TestServer 是由 Microsoft.AspNetCore.TestHost 包提供的。 ...
  • 在發現結果為真的WHEN子句時,CASE表達式的真假值判斷會終止,剩餘的WHEN子句會被忽略: CASE WHEN col_1 IN ('a', 'b') THEN '第一' WHEN col_1 IN ('a') THEN '第二' ELSE '其他' END 註意: 統一各分支返回的數據類型. ...
  • 在C#編程世界中,語法的精妙之處往往體現在那些看似微小卻極具影響力的符號與結構之中。其中,“_ =” 這一組合突然出現還真不知道什麼意思。本文將深入剖析“_ =” 的含義、工作原理及其在實際編程中的廣泛應用,揭示其作為C#語法奇兵的重要角色。 一、下劃線 _:神秘的棄元符號 下劃線 _ 在C#中並非 ...