手把手教你搭建 ELK 實時日誌分析平臺

来源:https://www.cnblogs.com/wupeixuan/archive/2020/02/27/12370159.html
-Advertisement-
Play Games

本篇文章主要是手把手教你搭建 ELK 實時日誌分析平臺，那麼，ELK 到底是什麼呢？ ELK 是三個開源項目的首字母縮寫，這三個項目分別是：Elasticsearch、Logstash 和 Kibana。 Elasticsearch 是一個 搜索和分析引擎 。 Logstash 是 伺服器端數據處理 ...


本篇文章主要是手把手教你搭建 ELK 實時日誌分析平臺，那麼，ELK 到底是什麼呢？

ELK 是三個開源項目的首字母縮寫，這三個項目分別是：Elasticsearch、Logstash 和 Kibana。

  • Elasticsearch 是一個搜索和分析引擎。
  • Logstash 是伺服器端數據處理管道，能夠同時從多個來源採集數據，轉換數據，然後將數據發送到諸如 Elasticsearch 等存儲庫中。
  • Kibana 則可以讓用戶在 Elasticsearch 中使用圖形和圖表對數據進行可視化。

ELK Stack

Elasticsearch 的核心是搜索引擎，所以用戶開始將其用於日誌用例，並希望能夠輕鬆地對日誌進行採集和可視化。有鑒於此，Elastic 引入了強大的採集管道 Logstash 和靈活的可視化工具 Kibana。

ELK日誌系統數據流圖如下：

ELK日誌系統數據流圖

簡短瞭解 ELK 是個啥後，讓我們一起動手搭建 ELK 實時日誌分析平臺，首先安裝 Elasticsearch。

註：ELK 環境搭建版本很關鍵，建議統一版本，避免錯誤無處下手，我在這裡選用的是 7.1.0 版本。

ElasticSearch 介紹與安裝

ElasticSearch 的介紹與安裝在上一篇文章已經講過了，這裡就不進行贅述了，大家可以點擊下方鏈接查看：

全文搜索引擎 Elasticsearch 入門：集群搭建

如果你已經瞭解並安裝好 Elasticsearch，那麼就跟著我一起往下一步進發：瞭解並安裝 Kibana。

Kibana 介紹與安裝

這部分主要講解如何下載並安裝 Kibana，以及如何安裝 Kibana 插件，同時會針對 Kibana 的界面進行簡單的介紹。

首先讓我們來看下 Kibana 究竟是何物？

什麼是 Kibana？

Kibana 是為 Elasticsearch 設計的開源分析和可視化平臺，你可以使用 Kibana 來搜索，查看存儲在 Elasticsearch 索引中的數據並與之交互，你可以很容易實現高級的數據分析和可視化，以圖標的形式展現出來。

在簡單瞭解了 Kibana 後，讓我們來到 Kibana 的下載網站 https://www.elastic.co/cn/downloads/kibana ，目前使用的是 Windows 系統，因此下載 Windows 版本的 Kibana 下載包 kibana-7.1.0-windows-x86_64.zip。

運行 Kibana

下載完成後在本地解壓，如果需要對 Kibana 做一些定製，可以在 config 目錄下 編輯 kibana.yml 文件，在運行 Kibana 之前需要先運行 ElasticSearch（以下簡稱 ES），因為 Kibana 是基於 ES 運行的，現在進入 bin 目錄下打開 kibana.bat 就可以運行 Kibana 了，我們現在打開瀏覽器，Kibana 是運行在 5601 埠上的，因此打開 http://localhost:5601，打開後會出現如下頁面：

導入樣例數據，查看 Dashboard

進入首頁後會提示我們可以添加一些測試數據，ES 在 Kibana 開箱即用的版本中，已經為我們準備了三種樣例數據，電商網站的訂單，航空公司的飛行記錄以及 WEB 網站的日誌，我們可以點擊 Add data，把他們添加進來，添加完成後，我們可以打開 Dashboards 界面，就可以看到系統已經為我們創建了數據的 Dashboard。

Dashboards

第一個是電商的利潤報表，我們可以打開來看一下：

在 Dashboard 中，我們可以將多套可視結果整合至單一頁面內，而後提供搜索查詢或者點擊可視結果內的某元素指定過濾條件，從而實現結果過濾，Dashboard 能夠幫助我們更全面地瞭解總體日誌內容，並將各可視結果同日誌關聯起來，以上就是 Kibana 的 Dashboard 功能。

Dev Tools

接下來介紹 Kibana 裡面非常有用的工具 Dev Tools，其實就是可以很方便地在 Kibana 中執行 ES 中的一些 API，比如我們上文講到的檢測有哪些節點在運行： GET /_cat/nodes?v，這樣我們就能在 Kibana 中運行 ES 命令了。

另外，Kibana 的 Dev Tools 還有許多的快捷菜單操作，比如 Ctrl + / 可以查看 API 幫助文檔，其他的大家可以去自行摸索。

安裝與查看插件

Kibana 可以通過插件的方式來提供一些 Kibana 中的特定應用或者增強圖表展示的功能，Kibana 安裝插件和 ES 非常相似。

輸入 kibana-plugin install kibana-plugin install https://github.com/sivasamyk/logtrail/releases/download/v0.1.31/logtrail-7.1.0-0.1.31.zip 就可以下載 LogTrail 插件了。

在 cmd 中輸入 kibana-plugin list 可以查看本機已安裝的 Kibana 插件。

如果想移除插件可以使用 kibana-plugin remove logtrail 命令來進行移除插件。

到此為止，我們就下載並安裝完成 Kibana，並對 Kibana 主要功能進行簡單介紹，還介紹了 Dev Tools，大家可以自己在本地進行實踐操作下。

目前就差 ELK 三兄弟的最後一個：Logstash，讓我們一起學習下。

Logstash 介紹與安裝

這部分主要是下載並安裝 Logstash，並通過 Logstash 將測試數據集導入到 ES 中。

話不多說，首先讓我們來瞭解下 Logstash 是個啥？

什麼是 Logstash？

Logstash 是開源的伺服器端數據處理管道，能夠同時從多個來源採集數據，轉換數據，然後將數據發送到您最喜歡的存儲庫中。

Logstash 能夠動態地採集、轉換和傳輸數據，不受格式或複雜度的影響。利用 Grok 從非結構化數據中派生出結構，從 IP 地址解碼出地理坐標，匿名化或排除敏感欄位，並簡化整體處理過程。

數據往往以各種各樣的形式，或分散或集中地存在於很多系統中。Logstash 支持各種輸入選擇 ，可以在同一時間從眾多常用來源捕捉事件，能夠以連續的流式傳輸方式，輕鬆地從您的日誌、指標、Web 應用、數據存儲以及各種 AWS 服務採集數據。

再瞭解過後，讓我們去下載安裝 Logstash。

安裝 Logstash

還是來到 Logstash 的官網，進入到下載頁面 https://www.elastic.co/cn/downloads/logstash，下載的時候註意要和 ES 和 Kibana 的版本相同，這裡下載的為 7.1.0 版本 logstash-7.1.0.zip。

下載後進行解壓，也可以進入 conf 目錄下修改 logstash.conf 進行配置，運行的時候可以通過指定配置文件 logstash -f logstash.conf 就可以執行數據的插入和轉換的工作。

再安裝完成之後，讓我們來使用 Logstash 往 ES 中導入數據。

用 Logstash 導入 ES

下麵我們來導入測試數據集，首先修改 logstash.conf 文件，內容為：

input {
  file {
    path => ["D:/SoftWare/logstash-7.1.0/csv/movies.csv"]
    start_position => "beginning"
    sincedb_path => "D:/SoftWare/logstash-7.1.0/csv/null"
  }
}
filter {
  csv {
    separator => ","
    columns => ["id","content","genre"]
  }

  mutate {
    split => { "genre" => "|" }
    remove_field => ["path", "host","@timestamp","message"]
  }

  mutate {

    split => ["content", "("]
    add_field => { "title" => "%{[content][0]}"}
    add_field => { "year" => "%{[content][1]}"}
  }

  mutate {
    convert => {
      "year" => "integer"
    }
    strip => ["title"]
    remove_field => ["path", "host","@timestamp","message","content"]
  }

}
output {
   elasticsearch {
     hosts => "http://localhost:9200"
     index => "movies"
     document_id => "%{id}"
   }
  stdout {}
}

測試數據集來自 Movielens ：https://grouplens.org/datasets/movielens/，大家可以前往下載。配置文件中的 path 根據自己下載的測試文件路徑去修改。另外，配置文件的邏輯將在以後的文章中進行講解。

現在來執行命令 logstash -f logstash.conf 來把數據導入 ES。當看到數據列印到控制台時，數據也正在被寫入 ES 中。

到此為止，我們就成功安裝了 Logstash，並通過 Logstash 將測試數據集寫入 ES，同時我們的 ELK 實時日誌分析平臺就搭建完成了。

補充

在通過 Logstash 將測試數據集寫入 ES 後，小伙伴會發現 movies 索引狀態為 yellow，不用擔心，yellow 代表有副本分片沒有被分配。

因為只在本機之啟動了一個節點，而 movies 的索引設置了一個主分片一個副本分片，主副分片是無法分配在一個節點上的。

解決方法：修改索引 setting，將副本 replica 設置成 0，或者為集群增加一個節點，狀態就會變為 green。

總結

本文主要瞭解了什麼是 ELK，然後通過實際操作和大家一起搭建了一個 ELK 日誌分析平臺，如果在搭建過程中有什麼問題，歡迎留言交流討論。

如果 ELK 安裝包或者測試數據集下載速度慢的話，可以在【武培軒】公眾號回覆 elk資料即可獲得。

參考文獻

https://www.elastic.co/guide/en/kibana/7.1/index.html

https://www.elastic.co/guide/en/logstash/7.1/index.html

Elasticsearch核心技術與實戰


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • JavaScript之if流程式控制制演練，if寫在區間內怎麼解決
    什麼是編程？通俗意見上來講，就是把人的思維與步驟通過代碼的形式書寫展示出來，js的流程式控制制包含條件判斷if，switch選擇，迴圈for while；if（表達式 條件）=>真{語句}比方說var score=70;if(90<=score<=100){ console.log("123")}，執行... ...
  • 微信天氣預報小程式實戰開發視頻教程
    此教程屬於開發實戰系列視頻教程，基於之前發佈的 「60 集微信小程式開發視頻教程」，更新的第二階段視頻課程。 此系列課程將直接進入實戰開發部分。 此系列視頻課程包含： 項目初始化 頁面 UI 開發 頁面路由邏輯 微信小程式雲開發平臺的使用 小程式用戶登錄與用戶信息管理 請求天氣預報介面 列表數據處理 ...
  • 前端開發：這10個Chrome擴展你不得不知
    轉載請註明出處：葡萄城官網，葡萄城為開發者提供專業的開發工具、解決方案和服務，賦能開發者。 原文出處：https://blog.bitsrc.io/10-top-chrome-extensions-for-front-end-developers-db23a01dce1e 1. CSSViewer ...
  • JavaScript數據類型typeof（）和轉換
    javascript屬於弱類型，值包含：數字，字元串和布爾值，c++與java屬於強類型;int a="a"，string a="a" 報錯;var a ;原始類型：數字number 字元串string 布爾值 Boolean undefind null，對象object，原始值組合一起；對象分為1... ...
  • JavaScript的算數,賦值,比較和邏輯運算符
    ，js的運算符分為算數,賦值,比較和邏輯運算符；常見的算數有：+ - * / %（加減乘除，取模），比方說5/4=4*1+1；5%4=1，js算數順序：從左往右，先* / %後+ ；js的值包含數字，字元串，布爾值；在算數運算中，“加號”：有字元串，按照字元串處理，沒有按照數字處理；註意布爾值fa... ...
  • C# 獲取滑鼠在屏幕上的位置
    獲取滑鼠位置及滑鼠單擊了哪個按鍵。private void GetMousePoint(){ Point ms = Control.MousePosition; this.label2.Text = string.Format("當前滑鼠位置：{0}:{1}", ms.X, ms.Y); Mouse... ...
  • SpringCloud學習之—Eureka集群搭建
    Eureka集群的搭建 上次說過了在SpringCloud應用中使用Eureka註冊中心，用來對服務提供者進行服務註冊與發現，但同時，它也是一個“微服務”，單個應用使用空間有限，因此和zookeeper一樣，它也需要搭建集群（Cluster）。 搭建Eureka集群的原理就是創建多個eureka應用 ...
  • SpringCloud之Ribbon負載均衡的入門操作
    使用Ribbon進行負載均衡 在使用Ribbon之前，我們先想一個之前的問題，之前我們將服務提供者註冊進了eureka註冊中心，但是在消費者端，我們還是使用的restTemplate調用的時候，其中寫的還是http://localhost:8001這樣的調用方式，是不是有一些不妥呢？是不是應用像du ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類