快速上手kettle（三）壺中可以放些啥？

[TOC](快速上手kettle（三）壺中可以放些啥？) ### 序言快速上手kettle開篇中，我們將kettle比作壺，並對這個壺做了簡單介紹。而上一期中我們實現了①將csv文件通過kettle轉換成excel文件； ②將excel文件通過kettle寫入到MySQL資料庫表中這兩個案例。 ...

序言
一、kettle這壺能裝些啥
二、Access輸入
三、CSV文件輸入
四、文本文件輸入
五、Excel輸入
六、json文件輸入
七、xml 輸入
八、表輸入
九、生成記錄
十、小結

序言

快速上手kettle開篇中，我們將kettle比作壺，並對這個壺做了簡單介紹。

而上一期中我們實現了①將csv文件通過kettle轉換成excel文件；

②將excel文件通過kettle寫入到MySQL資料庫表中這兩個案例。

相信大家跟我一樣，對kettle已經有了初步認識，並且對這強大的工具產生了興趣。

今天這小節，我們來看看kettle 這“壺”裡面到底能放些啥東西？

一、kettle這壺能裝些啥

啟動kettle，在轉換-->輸入下麵有很多東西，如下截圖。有圖可以看出這kettle“真能裝”。

可以把各種五花八門的數據丟到這壺裡，kettle也是來者不拒。我們日常能用到的數據基本都能往裡面塞。

--kettle能裝的東西	--kettle能裝的東西

一眼望去，能看到不少“大熟人”，Access輸入、CSV文件輸入、Excel輸入、JSON輸入、XML輸入、文本文件輸入、YAML輸入、表輸入等等

不知道你對上面提到的“大熟人”了不瞭解，其實不瞭解也沒關係。

在後面的模塊中，會把這些“大熟人”分別介紹給你。並且保證你過目不忘，再次遇到就能“稱兄道弟”

二、Access輸入

Access是微軟公司開發的一個資料庫管理軟體.它像個保險柜，可以幫你存儲和管理各種各樣的數據。

Access是我們平常會用到資料庫，接下來我們就新建一個Access資料庫為例，來簡單說一說怎麼使用Access這個輸入控制項

2.1 準備Acess資料庫和表

新建一個access資料庫，並建一個雲襄傳的表，然後往裡面添加一些數據

2.2 新建一個轉換並設置

--①將Access輸入控制項拖入工作區	--②選擇2.1新建的雲襄傳.accdb

--③添加文件	--④ 選擇資料庫中數據表

--④ 獲取欄位	--⑤ 預覽數據

2.3 啟動轉換預覽數據

--①啟動轉換	--②預覽數據

註： 啟動執行轉換後，Preview date tab頁面如果載入出數據說明輸入控制項配置是成功的

三、CSV文件輸入

CSV文件是一個用逗號分隔的固定格式的文本文件，這種文件尾碼名為.csv，可以用Excel或者文本編輯器打開。

在日常工作中，我們經常會需要將CSV文件轉換為其他格式的數據

3.1 準備csv文件，並將csv輸入控制項拖入工作區

csv輸入控制項

3.2 csv輸入控制項設置

csv文件輸入設置

3.3 預覽csv文件內容

可以在設置界面點擊【預覽】 按鈕查看csv數據，也可以啟動步驟預覽數據、

-- 預覽按鈕預覽數據	--啟動步驟預覽csv文件

四、文本文件輸入

我們經常需要將伺服器上的日誌文件（文本文件）數據或者其他文本數據提取出來，然後放到excel，這樣查看起來就很方便

4.1 準備txt格式文本文件，並將控制項拖入工作區

拖入工作區

4.2 文本輸入控制項設置

--①選擇txt文本文件	--②預覽文件內容

--③設置分割符	--④ 獲取欄位

4.3 啟動步驟，瀏覽數據

啟動步驟

五、Excel輸入

excel 對於我們來說並不陌生，時我們平常接觸到最多的文件格式

5.1 準備excel文件，並將控制項拖入工作區

拖入控制項

5.2 Excel控制項設置

--① 選擇excel文件	--② 獲取工作表名稱

-- ③ 獲取欄位，並設置數據格式	--④ 預覽數據

5.3 啟動轉換，預覽數據

上一步【預覽記錄】如果有數據顯示出來，基本上excel設置時成功的了

當然我們可以啟動轉換，然後預覽excel文件中的數據

六、json文件輸入

json 可以算是現在市面上用的比較多的數據結構了，是JavaScript對象，是一種輕量級的數據交換格式。

可以很方便的在不同語言之間傳遞

6.1 json基本組成

對象：{ }
數組：[ ]
屬性：key:value

6.2 JSON Path

JSON Path 用來定位json節點數據

Json Path 包含兩種寫法

點記法：$.store.book[0].title
括弧記法：$ [ ‘ store ’ ] [ ‘ book ’ ] [ 0 ] [ ‘title’ ]

使用過程中一些常用符號含義

--符號	--描述
`$`	查詢根節點對象，用於表示一個json數據，可以數組或對象
`@`	表示當前節點對象，類似於Java中的this對象
`*`	可以表示一個數字或字元
`''`	類似於遞歸搜索
`.<name>`	表示一個子節點
`['<name>'(,'<name>')]`	表示一個或多個子節點
`[<number>(,<number>)]`	表示一個或多個數組下標
`[start:end]`	數組片段，區間為（start,end）不包含end
`[?(<expression>)]`	過濾器表達式，結果為Boolean類型

上面說了一些常用符號的使用，我們就以實際的json為例，來看看json里的節點怎麼取

{
    "data":{
        "longSeason":[
            {   "actor":"範偉",
                "role":"王響",
                "sex":"男",
                "age":56
            },
            {   "actor":"秦昊",
                "role":"龔彪",
                "sex":"男",
                "age":40
            },
            {   "actor":"李庚希",
                "role":"沈默",
                "sex":"女",
                "age":18
            },
            {   "actor":"陳明昊",
                "role":"馬德勝",
                "sex":"男",
                "age":55
            }
        ],
        "surname":[
            {   "actor":"陳曉",
                "role":"雲襄",
                "sex":"男",
                "age":28
            },
            {   "actor":"毛曉彤",
                "role":"舒亞男",
                "sex":"女",
                "age":18
            },
            {   "actor":"許齡月",
                "role":"柯夢蘭",
                "sex":"女",
                "age":18
            },
            {
               "actor":"劉冠麟",
               "role":"金十兩",
               "sex":"男",
               "age":35

            },
            {   "actor":"唐曉天",
                "role":"蘇鳴玉",
                "sex":"男",
                "age":25
            }

        ]
    }

}

--取出漫長季節中所有演員	--結果
$.data.longSeason[*].actor	["範偉","秦昊","李庚希","陳明昊"]
$..longSeason..actor	["範偉","秦昊","李庚希","陳明昊"]

6.3 實踐操作

6.3.1 準備json文件，並將json input控制項拖入工作區

拖入工作區

6.3.2 JSON 控制項設置

--① 選擇json文件並添加	--② 選擇欄位

-- ③ 查看表達式	-- ④ 預覽節點數據

6.3.3 啟動轉換，預覽數據

啟動轉換預覽數據

七、xml 輸入

xml是一種可擴展標記語言，XML 和上面說的json一樣用來傳輸和存儲數據

7.1 準備xml文件

我們後面的演示都用下麵的xml為例子

<data>
    <longSeason>
        <actor>範偉</actor>
        <role>王響</role>
        <sex>男</sex>
        <age>56</age>
    </longSeason>
    <longSeason>
        <actor>秦昊</actor>
        <role>龔彪</role>
        <sex>男</sex>
        <age>40</age>
    </longSeason>
    <longSeason>
        <actor>李庚希</actor>
        <role>沈默</role>
        <sex>女</sex>
        <age>18</age>
    </longSeason>
    <longSeason>
        <actor>陳明昊</actor>
        <role>馬德勝</role>
        <sex>男</sex>
        <age>55</age>
    </longSeason>
    <surname>
        <actor>陳曉</actor>
        <role>雲襄</role>
        <sex>男</sex>
        <age>28</age>
    </surname>
    <surname>
        <actor>毛曉彤</actor>
        <role>舒亞男</role>
        <sex>女</sex>
        <age>18</age>
    </surname>
    <surname>
        <actor>許齡月</actor>
        <role>柯夢蘭</role>
        <sex>女</sex>
        <age>18</age>
    </surname>
    <surname>
        <actor>劉冠麟</actor>
        <role>金十兩</role>
        <sex>男</sex>
        <age>35</age>
    </surname>
    <surname>
        <actor>唐曉天</actor>
        <role>蘇鳴玉</role>
        <sex>男</sex>
        <age>25</age>
    </surname>
</data>

7.2 XPath

在說json輸入控制項中，我麽介紹了JSON Path，這裡是xml輸入控制項，也有類似XPath 來定位xml中節點的位置

--表達式	--描述
nodename	選取此節點的所有節點
/	從根節點選取
//	從匹配選擇的當前節點選擇文檔中的節點，而不考慮他們的位置
.	選取當前節點
..	選取當前節點的父節點
@	屬性