本篇文章主要是手把手教你搭建 ELK 實時日誌分析平臺，那麼，ELK 到底是什麼呢？ ELK 是三個開源項目的首字母縮寫，這三個項目分別是：Elasticsearch、Logstash 和 Kibana。 Elasticsearch 是一個搜索和分析引擎。 Logstash 是伺服器端數據處理 ...

本篇文章主要是手把手教你搭建 ELK 實時日誌分析平臺，那麼，ELK 到底是什麼呢？

ELK 是三個開源項目的首字母縮寫，這三個項目分別是：Elasticsearch、Logstash 和 Kibana。

Elasticsearch 是一個搜索和分析引擎。
Logstash 是伺服器端數據處理管道，能夠同時從多個來源採集數據，轉換數據，然後將數據發送到諸如 Elasticsearch 等存儲庫中。
Kibana 則可以讓用戶在 Elasticsearch 中使用圖形和圖表對數據進行可視化。

ELK Stack

Elasticsearch 的核心是搜索引擎，所以用戶開始將其用於日誌用例，並希望能夠輕鬆地對日誌進行採集和可視化。有鑒於此，Elastic 引入了強大的採集管道 Logstash 和靈活的可視化工具 Kibana。

ELK日誌系統數據流圖如下：

ELK日誌系統數據流圖

簡短瞭解 ELK 是個啥後，讓我們一起動手搭建 ELK 實時日誌分析平臺，首先安裝 Elasticsearch。

註：ELK 環境搭建版本很關鍵，建議統一版本，避免錯誤無處下手，我在這裡選用的是 7.1.0 版本。

ElasticSearch 介紹與安裝

ElasticSearch 的介紹與安裝在上一篇文章已經講過了，這裡就不進行贅述了，大家可以點擊下方鏈接查看：

全文搜索引擎 Elasticsearch 入門：集群搭建

如果你已經瞭解並安裝好 Elasticsearch，那麼就跟著我一起往下一步進發：瞭解並安裝 Kibana。

Kibana 介紹與安裝

這部分主要講解如何下載並安裝 Kibana，以及如何安裝 Kibana 插件，同時會針對 Kibana 的界面進行簡單的介紹。

首先讓我們來看下 Kibana 究竟是何物？

什麼是 Kibana？

Kibana 是為 Elasticsearch 設計的開源分析和可視化平臺，你可以使用 Kibana 來搜索，查看存儲在 Elasticsearch 索引中的數據並與之交互，你可以很容易實現高級的數據分析和可視化，以圖標的形式展現出來。

在簡單瞭解了 Kibana 後，讓我們來到 Kibana 的下載網站 https://www.elastic.co/cn/downloads/kibana ，目前使用的是 Windows 系統，因此下載 Windows 版本的 Kibana 下載包 kibana-7.1.0-windows-x86_64.zip。

運行 Kibana

下載完成後在本地解壓，如果需要對 Kibana 做一些定製，可以在 config 目錄下編輯 kibana.yml 文件，在運行 Kibana 之前需要先運行 ElasticSearch（以下簡稱 ES），因為 Kibana 是基於 ES 運行的，現在進入 bin 目錄下打開 kibana.bat 就可以運行 Kibana 了，我們現在打開瀏覽器，Kibana 是運行在 5601 埠上的，因此打開 http://localhost:5601，打開後會出現如下頁面：

導入樣例數據，查看 Dashboard

進入首頁後會提示我們可以添加一些測試數據，ES 在 Kibana 開箱即用的版本中，已經為我們準備了三種樣例數據，電商網站的訂單，航空公司的飛行記錄以及 WEB 網站的日誌，我們可以點擊 Add data，把他們添加進來，添加完成後，我們可以打開 Dashboards 界面，就可以看到系統已經為我們創建了數據的 Dashboard。

Dashboards

第一個是電商的利潤報表，我們可以打開來看一下：

在 Dashboard 中，我們可以將多套可視結果整合至單一頁面內，而後提供搜索查詢或者點擊可視結果內的某元素指定過濾條件，從而實現結果過濾，Dashboard 能夠幫助我們更全面地瞭解總體日誌內容，並將各可視結果同日誌關聯起來，以上就是 Kibana 的 Dashboard 功能。

Dev Tools

接下來介紹 Kibana 裡面非常有用的工具 Dev Tools，其實就是可以很方便地在 Kibana 中執行 ES 中的一些 API，比如我們上文講到的檢測有哪些節點在運行： GET /_cat/nodes?v，這樣我們就能在 Kibana 中運行 ES 命令了。

另外，Kibana 的 Dev Tools 還有許多的快捷菜單操作，比如 Ctrl + / 可以查看 API 幫助文檔，其他的大家可以去自行摸索。

安裝與查看插件

Kibana 可以通過插件的方式來提供一些 Kibana 中的特定應用或者增強圖表展示的功能，Kibana 安裝插件和 ES 非常相似。

輸入 kibana-plugin install kibana-plugin install https://github.com/sivasamyk/logtrail/releases/download/v0.1.31/logtrail-7.1.0-0.1.31.zip 就可以下載 LogTrail 插件了。

在 cmd 中輸入 kibana-plugin list 可以查看本機已安裝的 Kibana 插件。

如果想移除插件可以使用 kibana-plugin remove logtrail 命令來進行移除插件。

到此為止，我們就下載並安裝完成 Kibana，並對 Kibana 主要功能進行簡單介紹，還介紹了 Dev Tools，大家可以自己在本地進行實踐操作下。

目前就差 ELK 三兄弟的最後一個：Logstash，讓我們一起學習下。

Logstash 介紹與安裝

這部分主要是下載並安裝 Logstash，並通過 Logstash 將測試數據集導入到 ES 中。

話不多說，首先讓我們來瞭解下 Logstash 是個啥？

什麼是 Logstash？

Logstash 是開源的伺服器端數據處理管道，能夠同時從多個來源採集數據，轉換數據，然後將數據發送到您最喜歡的存儲庫中。

Logstash 能夠動態地採集、轉換和傳輸數據，不受格式或複雜度的影響。利用 Grok 從非結構化數據中派生出結構，從 IP 地址解碼出地理坐標，匿名化或排除敏感欄位，並簡化整體處理過程。

數據往往以各種各樣的形式，或分散或集中地存在於很多系統中。Logstash 支持各種輸入選擇，可以在同一時間從眾多常用來源捕捉事件，能夠以連續的流式傳輸方式，輕鬆地從您的日誌、指標、Web 應用、數據存儲以及各種 AWS 服務採集數據。

再瞭解過後，讓我們去下載安裝 Logstash。

安裝 Logstash

還是來到 Logstash 的官網，進入到下載頁面 https://www.elastic.co/cn/downloads/logstash，下載的時候註意要和 ES 和 Kibana 的版本相同，這裡下載的為 7.1.0 版本 logstash-7.1.0.zip。

下載後進行解壓，也可以進入 conf 目錄下修改 logstash.conf 進行配置，運行的時候可以通過指定配置文件 logstash -f logstash.conf 就可以執行數據的插入和轉換的工作。

再安裝完成之後，讓我們來使用 Logstash 往 ES 中導入數據。

用 Logstash 導入 ES

下麵我們來導入測試數據集，首先修改 logstash.conf 文件，內容為：

input {
  file {
    path => ["D:/SoftWare/logstash-7.1.0/csv/movies.csv"]
    start_position => "beginning"
    sincedb_path => "D:/SoftWare/logstash-7.1.0/csv/null"
  }
}
filter {
  csv {
    separator => ","
    columns => ["id","content","genre"]
  }

  mutate {
    split => { "genre" => "|" }
    remove_field => ["path", "host","@timestamp","message"]
  }

  mutate {

    split => ["content", "("]
    add_field => { "title" => "%{[content][0]}"}
    add_field => { "year" => "%{[content][1]}"}
  }

  mutate {
    convert => {
      "year" => "integer"
    }
    strip => ["title"]
    remove_field => ["path", "host","@timestamp","message","content"]
  }

}
output {
   elasticsearch {
     hosts => "http://localhost:9200"
     index => "movies"
     document_id => "%{id}"
   }
  stdout {}
}

測試數據集來自 Movielens ：https://grouplens.org/datasets/movielens/，大家可以前往下載。配置文件中的 path 根據自己下載的測試文件路徑去修改。另外，配置文件的邏輯將在以後的文章中進行講解。

現在來執行命令 logstash -f logstash.conf 來把數據導入 ES。當看到數據列印到控制台時，數據也正在被寫入 ES 中。

到此為止，我們就成功安裝了 Logstash，並通過 Logstash 將測試數據集寫入 ES，同時我們的 ELK 實時日誌分析平臺就搭建完成了。

補充

在通過 Logstash 將測試數據集寫入 ES 後，小伙伴會發現 movies 索引狀態為 yellow，不用擔心，yellow 代表有副本分片沒有被分配。

因為只在本機之啟動了一個節點，而 movies 的索引設置了一個主分片一個副本分片，主副分片是無法分配在一個節點上的。

解決方法：修改索引 setting，將副本 replica 設置成 0，或者為集群增加一個節點，狀態就會變為 green。

總結

本文主要瞭解了什麼是 ELK，然後通過實際操作和大家一起搭建了一個 ELK 日誌分析平臺，如果在搭建過程中有什麼問題，歡迎留言交流討論。

如果 ELK 安裝包或者測試數據集下載速度慢的話，可以在【武培軒】公眾號回覆 elk資料即可獲得。

參考文獻

https://www.elastic.co/guide/en/kibana/7.1/index.html

https://www.elastic.co/guide/en/logstash/7.1/index.html

Elasticsearch核心技術與實戰