快速上手kettle(三)壺中可以放些啥?

来源:https://www.cnblogs.com/xiezhr/archive/2023/06/04/17455831.html
-Advertisement-
Play Games

[TOC](快速上手kettle(三)壺中可以放些啥?) ### 序言 快速上手kettle開篇中,我們將kettle比作壺,並對這個壺做了簡單介紹。 而上一期中我們實現了①將csv文件通過kettle轉換成excel文件; ②將excel文件通過kettle寫入到MySQL資料庫表中 這兩個案例。 ...


目錄

序言

快速上手kettle開篇中,我們將kettle比作壺,並對這個壺做了簡單介紹。

而上一期中我們實現了①將csv文件通過kettle轉換成excel文件;

②將excel文件通過kettle寫入到MySQL資料庫表中 這兩個案例。

相信大家跟我一樣,對kettle已經有了初步認識,並且對這強大的工具產生了興趣。

今天這小節,我們來看看kettle 這“壺”裡面到底能放些啥東西?

一 、kettle這壺能裝些啥

啟動kettle,在轉換-->輸入下麵有很多東西,如下截圖。有圖可以看出這kettle“真能裝”。

可以把各種五花八門的數據丟到這壺裡,kettle也是來者不拒。我們日常能用到的數據基本都能往裡面塞。

--kettle能裝的東西 --kettle能裝的東西
輸入1 輸入2

一眼望去,能看到不少“大熟人”,Access輸入CSV文件輸入Excel輸入JSON輸入XML輸入文本文件輸入YAML輸入表輸入等等

不知道你對上面提到的“大熟人”了不瞭解,其實不瞭解也沒關係。

在後面的模塊中,會把這些“大熟人”分別介紹給你。並且保證你過目不忘,再次遇到就能“稱兄道弟”

二、Access輸入

Access是微軟公司開發的一個資料庫管理軟體.它像個保險柜,可以幫你存儲和管理各種各樣的數據。

Access是我們平常會用到資料庫,接下來我們就新建一個Access資料庫為例,來簡單說一說怎麼使用Access這個輸入控制項

2.1 準備Acess資料庫和表

新建一個access資料庫,並建一個雲襄傳的表,然後往裡面添加一些數據
雲襄傳

2.2 新建一個轉換並設置

--①將Access輸入控制項拖入工作區 --②選擇2.1新建的雲襄傳.accdb
image-20230529231939231 image-20230529232115886
--③添加文件 --④ 選擇資料庫中數據表
image-20230529232332208 image-20230529232521630
--④ 獲取欄位 --⑤ 預覽數據
image-20230529232645861 image-20230529232754443

2.3 啟動轉換預覽數據

--①啟動轉換 --②預覽數據
image-20230529232957930 image-20230529233131829

註: 啟動執行轉換後,Preview date tab頁面如果載入出數據說明輸入控制項配置是成功的

三、CSV文件輸入

CSV文件是一個用逗號分隔的固定格式的文本文件,這種文件尾碼名為.csv,可以用Excel或者文本編輯器打開。

在日常工作中,我們經常會需要將CSV文件轉換為其他格式的數據

3.1 準備csv文件,並將csv輸入控制項拖入工作區

csv輸入控制項

3.2 csv輸入控制項設置

csv文件輸入設置

3.3 預覽csv文件內容

可以在設置界面點擊【預覽】 按鈕查看csv數據,也可以啟動步驟預覽數據、

-- 預覽按鈕預覽數據 --啟動步驟預覽csv文件
預覽文件 image-20230531074028281

四、文本文件輸入

我們經常需要將伺服器上的日誌文件(文本文件)數據或者其他文本數據提取出來,然後放到excel,這樣查看起來就很方便

4.1 準備txt格式文本文件,並將控制項拖入工作區

拖入工作區

4.2 文本輸入控制項設置

--①選擇txt文本文件 --②預覽文件內容
選擇文本文件 預覽內容
--③設置分割符 --④ 獲取欄位
設置分隔符 獲取欄位

4.3 啟動步驟,瀏覽數據

啟動步驟

五、Excel輸入

excel 對於我們來說並不陌生,時我們平常接觸到最多的文件格式

5.1 準備excel文件,並將控制項拖入工作區

拖入控制項

5.2 Excel控制項設置

--① 選擇excel文件 --② 獲取工作表名稱
image-20230531222321178 image-20230531222514990
-- ③ 獲取欄位,並設置數據格式 --④ 預覽數據
image-20230531223004644 image-20230531223338937

5.3 啟動轉換,預覽數據

上一步【預覽記錄】 如果有數據顯示出來,基本上excel設置時成功的了

當然我們可以啟動轉換,然後預覽excel文件中的數據

image-20230531223637622

六 、json文件輸入

json 可以算是現在市面上用的比較多的數據結構了,是JavaScript對象,是一種輕量級的數據交換格式。

可以很方便的在不同語言之間傳遞

6.1 json基本組成

  • 對象:{ }
  • 數組:[ ]
  • 屬性:key:value

6.2 JSON Path

JSON Path 用來定位json節點數據

Json Path 包含兩種寫法

  • 點記法:$.store.book[0].title

  • 括弧記法:$ [ ‘ store ’ ] [ ‘ book ’ ] [ 0 ] [ ‘title’ ]

使用過程中一些常用符號 含義

--符號 --描述
$ 查詢根節點對象,用於表示一個json數據,可以數組或對象
@ 表示當前節點對象,類似於Java中的this對象
* 可以表示一個數字或字元
'' 類似於遞歸搜索
.<name> 表示一個子節點
['<name>'(,'<name>')] 表示一個或多個子節點
[<number>(,<number>)] 表示一個或多個數組下標
[start:end] 數組片段,區間為(start,end) 不包含end
[?(<expression>)] 過濾器表達式,結果為Boolean類型

上面說了一些常用符號的使用,我們就以實際的json為例,來看看json里的節點怎麼取

{
    "data":{
        "longSeason":[
            {   "actor":"範偉",
                "role":"王響",
                "sex":"男",
                "age":56
            },
            {   "actor":"秦昊",
                "role":"龔彪",
                "sex":"男",
                "age":40
            },
            {   "actor":"李庚希",
                "role":"沈默",
                "sex":"女",
                "age":18
            },
            {   "actor":"陳明昊",
                "role":"馬德勝",
                "sex":"男",
                "age":55
            }
        ],
        "surname":[
            {   "actor":"陳曉",
                "role":"雲襄",
                "sex":"男",
                "age":28
            },
            {   "actor":"毛曉彤",
                "role":"舒亞男",
                "sex":"女",
                "age":18
            },
            {   "actor":"許齡月",
                "role":"柯夢蘭",
                "sex":"女",
                "age":18
            },
            {
               "actor":"劉冠麟",
               "role":"金十兩",
               "sex":"男",
               "age":35

            },
            {   "actor":"唐曉天",
                "role":"蘇鳴玉",
                "sex":"男",
                "age":25
            }

        ]
    }

}
--取出漫長季節中所有演員 --結果
$.data.longSeason[*].actor ["範偉","秦昊","李庚希","陳明昊"]
$..longSeason..actor ["範偉","秦昊","李庚希","陳明昊"]

6.3 實踐操作

6.3.1 準備json文件,並將json input控制項拖入工作區

拖入工作區

6.3.2 JSON 控制項設置
--① 選擇json文件並添加 --② 選擇欄位
選擇並添加 image-20230601224550176
-- ③ 查看表達式 -- ④ 預覽節點數據
image-20230601224803349 image-20230601224938534
6.3.3 啟動轉換,預覽數據

啟動轉換預覽數據

七、xml 輸入

xml是一種可擴展標記語言,XML 和上面說的json一樣用來傳輸和存儲數據

7.1 準備xml文件

我們後面的演示都用下麵的xml為例子

<data>
    <longSeason>
        <actor>範偉</actor>
        <role>王響</role>
        <sex>男</sex>
        <age>56</age>
    </longSeason>
    <longSeason>
        <actor>秦昊</actor>
        <role>龔彪</role>
        <sex>男</sex>
        <age>40</age>
    </longSeason>
    <longSeason>
        <actor>李庚希</actor>
        <role>沈默</role>
        <sex>女</sex>
        <age>18</age>
    </longSeason>
    <longSeason>
        <actor>陳明昊</actor>
        <role>馬德勝</role>
        <sex>男</sex>
        <age>55</age>
    </longSeason>
    <surname>
        <actor>陳曉</actor>
        <role>雲襄</role>
        <sex>男</sex>
        <age>28</age>
    </surname>
    <surname>
        <actor>毛曉彤</actor>
        <role>舒亞男</role>
        <sex>女</sex>
        <age>18</age>
    </surname>
    <surname>
        <actor>許齡月</actor>
        <role>柯夢蘭</role>
        <sex>女</sex>
        <age>18</age>
    </surname>
    <surname>
        <actor>劉冠麟</actor>
        <role>金十兩</role>
        <sex>男</sex>
        <age>35</age>
    </surname>
    <surname>
        <actor>唐曉天</actor>
        <role>蘇鳴玉</role>
        <sex>男</sex>
        <age>25</age>
    </surname>
</data>

7.2 XPath

在說json輸入控制項中,我麽介紹了JSON Path, 這裡是xml輸入控制項,也有類似XPath 來定位xml中節點的位置

--表達式 --描述
nodename 選取此節點的所有節點
/ 從根節點選取
// 從匹配選擇的當前節點選擇文檔中的節點,而不考慮他們的位置
. 選取當前節點
.. 選取當前節點的父節點
@ 屬性
--取出漫長季節中所有演員 --結果
/data/longSeason/actor ["範偉","秦昊","李庚希","陳明昊"]

7.3 實踐操作

7.3.1 將xml輸入控制項拖入工作區

image-20230601232215755

7.3.2 xml控制項設置
--① 選擇xml文件並添加 -- ② 獲取xml文檔讀取路徑
添加文件 讀取迴圈路徑
-- ③ 獲取欄位 -- ④ 預覽
獲取欄位 預覽
7.3.3 啟動轉換,預覽數據

image-20230601233132670

八、表輸入

由於涉及到資料庫表相關操作,所以我們新建轉換之後需要先建立DB連接。

建立DB連接的方式我們在上一小節小試牛刀中已經提過,這裡就不展開了。我們還是以MySQL為例子來說表輸入。

DB連接

8.1 將表輸入控制項拖入工作區

image-20230603080323531

8.2 表輸入控制項設置

-- ①獲取SQL查詢語句 -- ② 點擊【預覽】按鈕預覽表數據
獲取sql語句 image-20230603080755724

8.3 啟動轉換,預覽表數據

預覽表數據

九、 生成記錄

在日常工作中我們經常需要批量造一些測試數據,通過生成記錄這個輸入控制項就可以完成。

9.1 將生成記錄控制項拖入工作區

生成記錄拖入工作區

9.2 生成記錄控制項設置

-- ① 填寫需要數據的相關信息 -- ② 預覽生成的數據
image-20230603082158964 image-20230603082254603

9.3 啟動轉換,預覽數據

啟動轉換預覽數據

到此,10條測試數據就造好了

十、小結

本篇文章我們主要是說了九個kettle的常用輸入控制項(kettle壺裡能放寫啥東西進去)。

kettle的輸入控制項就代表著kettle能處理一些什麼格式的數據,其實它還有其他輸入控制項,這裡就不一一例舉了。

大家如果感興趣,可以將輸入下麵的每個控制項都去試試。

本期內容到此就結束了,希望對你有所幫助。

這一期說了輸入控制項,那下一期就到了輸出控制項

我們下一期再見 (●'◡'●)


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • ![線程各屬性縱覽](https://img2023.cnblogs.com/blog/1220983/202306/1220983-20230603114109107-477345835.png) 如上圖所示,線程有四個屬性: - 線程ID - 線程名稱 - 守護線程 - 線程優先順序 ### 1. ...
  • # 圖片介面JWT鑒權實現 # 前言 之前做了個返回圖片鏈接的介面,然後沒做授權,然後今天鍵盤到了,也是用JWT來做介面的許可權控制。 然後JTW網上已經有很多文章來說怎麼用了,這裡就不做多的解釋了,如果不懂的可以參考下列鏈接的 文章。 圖片介面文章:[還在愁個人博客沒有圖片放?](https://w ...
  • 以MySQL資料庫為例 # 一. 安裝 NuGet搜索Dapper.Lite並安裝最新版本。 ![](https://img2023.cnblogs.com/blog/174862/202306/174862-20230602155913303-757935399.jpg) NuGet搜索MySql ...
  • 從按鈕、文本框到下拉框、列表框,WPF提供了一系列常用控制項,每個控制項都有自己獨特的特性和用途。通過靈活的佈局容器,如網格、堆棧面板和換行面板,我們可以將這些控制項組合在一起,實現複雜的界面佈局。而通過樣式和模板,我們可以輕鬆地定製控制項的外觀和行為,以符合我們的設計需求。本篇記錄WPF入門需要瞭解的樣式... ...
  • 在一些複雜的業務表中間查詢數據,有時候操作會比較複雜一些,不過基於SqlSugar的相關操作,處理的代碼會比較簡單一些,以前我在隨筆《基於SqlSugar的開發框架循序漸進介紹(2)-- 基於中間表的查詢處理》介紹過基於主表和中間表的聯合查詢,而往往實際會比這個會複雜一些。本篇隨筆介紹聯合多個表進行... ...
  • 一、功能變數名稱解析過程 DNS功能變數名稱完整解析過程 1、查詢本地 hosts文件 解析記錄 2、查詢客戶端本地DNS緩存記錄 3、訪問DNS轉發(緩存)伺服器本地緩存記錄 4、轉發到權威伺服器查詢本地緩存記錄 5、訪問權威伺服器解析記錄 6、權威伺服器迭代查詢 6.1、訪問子域權威伺服器查詢本地緩存記錄 6. ...
  • # ulimit Linux ulimit命令用於控制shell程式的資源。 ```shell [email protected] 10:41:17 [pwd:~]# ulimit --help ulimit: ulimit [-SHabcdefiklmnpqrstuvxPT ...
  • ## 01|修改Win用戶名 打開運行,輸入cmd,回車; 輸入control userpasswords2,回車; 點擊屬性,修改用戶名,點擊確定; 打開運行,輸入regedit,回車; 定位到HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\Cur ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...