2023最新ELK日誌平臺（elasticsearch+logstash+kibana）搭建

来源:https://www.cnblogs.com/zhouxiaoben/archive/2023/03/19/17234464.html
-Advertisement-
Play Games

去年公司由於不斷發展，內部自研系統越來越多，所以後來搭建了一個日誌收集平臺，並將日誌收集功能以二方包形式引入自研系統，避免每個自研系統都要建立一套自己的日誌模塊，節約了開發時間，管理起來也更加容易。 這篇文章主要介紹ELK最新版本的搭建，二方包的介紹可以看小霸王的另外一篇文章。 ...


前言

去年公司由於不斷發展，內部自研系統越來越多，所以後來搭建了一個日誌收集平臺，並將日誌收集功能以二方包形式引入自研系統，避免每個自研系統都要建立一套自己的日誌模塊，節約了開發時間，管理起來也更加容易。
這篇文章主要介紹ELK最新版本的搭建，二方包的介紹可以看小霸王的另外一篇文章。

ELK介紹

  • Elasticsearch 是一個分散式、Restful 風格的搜索和數據分析引擎，能夠解決不斷涌現出的各種用例。作為 Elastic Stack 的核心，Elasticsearch 會集中存儲您的數據，讓您飛快完成搜索，並對數據進行強大的分析。
  • Logstash 是免費且開放的伺服器端數據處理管道，能夠從多個來源採集數據，轉換數據，然後將數據發送到資料庫中。
  • Kibana 是一個免費且開放的用戶界面，能夠讓您對 Elasticsearch 數據進行可視化，從跟蹤查詢負載，到查看應用請求的整個過程，都能輕鬆完成。

搭建平臺版本

平臺 版本
linux centos stream 9
java openjdk 17
elasticsearch 8.6.2
logstash 8.6.2
kibana 8.6.2
VMware Workstation Pro 17

安裝

首先在linux虛擬機上安裝docker
先卸載舊版本

sudo yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine

升級yum

yum update

設置倉庫

yum install -y yum-utils device-mapper-persistent-data lvm2

使用阿裡雲鏡像地址

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安裝 Docker Engine-Community

sudo yum install docker-ce docker-ce-cli containerd.io

設置docker開機啟動並啟動docker

sudo systemctl enable docker
sudo systemctl start docker

至此，docker已安裝完成，可以使用docker -v查看版本，接下來就要安裝三大金剛了

docker pull elasticsearch:8.6.2
docker pull kibana:8.6.2
docker pull logstash:8.6.2

啟動

elasticsearch

接著先掛載elasticsearch的配置文件，方便以後修改
首先創建elasticsearch.yml文件

cluster.name: "docker-cluster"
network.host: 0.0.0.0
discovery.seed_hosts: 0.0.0.0
network.bind_host: 0.0.0.0
http.port: 9200

# Enable security features
xpack.security.enabled: false

xpack.security.enrollment.enabled: false

# Enable encryption for HTTP API client connections, such as Kibana, Logstash, and Agents
xpack.security.http.ssl:
  enabled: false

# Enable encryption and mutual authentication between cluster nodes
xpack.security.transport.ssl:
  enabled: false

創建elasticsearch容器

docker run -d --name elasticsearch  -p 9200:9200 -p 9300:9300 -v /home/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -e "discovery.type=single-node" elasticsearch:8.6.2

啟動elasticsearch容器

docker start elasticsearch

瀏覽器輸入http://你的虛擬機ip:9200 顯示如下，說明es啟動成功

image.png

kibana

創建kibana容器,這裡使用到漢化 "-e I18N_LOCALE=zh-CN"

docker run -d --name kibana --link elasticsearch:elasticsearch -e "I18N_LOCALE=zh-CN" -p 5601:5601 kibana:8.6.2

啟動kibana

docker start kibana

輸入http://你的虛擬機ip:5601/ 此時kibana啟動成功

image.png

logstash

在linux的/home目錄下新建logstash.yml文件，其中index是索引的名稱，我們使用“xiaobawang-”首碼加時間來生成每天的索引。

# 輸入端
input {
  stdin { } 
  #為logstash增加tcp輸入口，後面springboot接入會用到
  tcp {
      mode => "server"
      host => "0.0.0.0"
      port => 5043
      codec => json_lines
  }
}
 
#輸出端
output {
  stdout {
    codec => rubydebug
  }
  elasticsearch {
    hosts => ["http://你的虛擬機ip地址:9200"]
    # 輸出至elasticsearch中的自定義index名稱
    index => "xiaobawang-%{+YYYY.MM.dd}"
  }
}

然後啟動logstash，這裡配置文件做了映射，/home/logstash.yml映射到/usr/share/logstash/pipeline/logstash.yml

docker run -d --name logstash -p 5043:5043 -p 5044:5044  --privileged=true -v /home/logstash.yml:/usr/share/logstash/pipeline/logstash.yml logstash:8.6.2

進入logstash容器

docker exec -it logstash /bin/bash

安裝json_lines所需的插件

/usr/share/logstash/bin/logstash-plugin install logstash-codec-json_lines

重啟logstash，至此elk已全部安裝完成了。

docker restart logstash

Springboot整合logstash

下麵使用logstash來將日誌發送到elasticsearch，這裡以springboot為例。
新建一個springboot項目，引入如下包：

<dependency>
   <groupId>ch.qos.logback</groupId>
   <artifactId>logback-classic</artifactId>
</dependency>
<dependency>
   <groupId>net.logstash.logback</groupId>
   <artifactId>logstash-logback-encoder</artifactId>
   <version>7.3</version>
</dependency>

在resources文件夾下，創建logback.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false">
    <!--獲取springboot的yml配置信息-->
    <springProperty scope="context" name="applicationName" source="spring.application.name" defaultValue="default"/>
    <!--定義日誌文件的存儲地址 勿在 LogBack 的配置中使用相對路徑-->
    <property name="LOG_HOME" value="/home"/>
    <!--輸出到控制台-->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>INFO</level>
        </filter>
        <withJansi>false</withJansi>
        <encoder>
            <!--<pattern>%d %p (%file:%line)- %m%n</pattern>-->
            <!--格式化輸出：%d:表示日期    %thread:表示線程名     %-5level:級別從左顯示5個字元寬度  %msg:日誌消息    %n:是換行符-->
            <pattern>%d{yyyy-MM-dd HH:mm:ss} %highlight(%-5level) -- %boldMagenta([%thread]) %boldCyan(%logger) : %msg%n</pattern>
            <charset>UTF-8</charset>
        </encoder>
    </appender>

    <!--  日誌發送至logstash  -->
    <appender name="logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <!-- logstash的伺服器地址和通信埠 -->
        <destination>你的虛擬機IP地址:5043</destination>
        <!-- encoder is required -->
        <encoder class="net.logstash.logback.encoder.LogstashEncoder">
            <!-- 在elasticsearch的index中追加applicationName欄位  -->
            <customFields>{"applicationName":"${applicationName}"}</customFields>
        </encoder>
    </appender>

    <!-- 按照每天生成日誌文件 -->
    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--日誌文件輸出的文件名-->
            <FileNamePattern>${LOG_HOME}/TestWeb.log.%d{yyyy-MM-dd}.log</FileNamePattern>
            <!--日誌文件保留天數-->
            <MaxHistory>30</MaxHistory>
        </rollingPolicy>
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <!--格式化輸出：%d表示日期，%thread表示線程名，%-5level：級別從左顯示5個字元寬度%msg：日誌消息，%n是換行符-->
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
        </encoder>
        <!--日誌文件最大的大小-->
        <triggeringPolicy class="ch.qos.logback.core.rolling.SizeBasedTriggeringPolicy">
            <MaxFileSize>10MB</MaxFileSize>
        </triggeringPolicy>
    </appender>

    <!-- 日誌輸出級別 -->
    <root level="INFO">
        <appender-ref ref="logstash"/>
        <appender-ref ref="console"/>
    </root>
</configuration>

新建一個controller請求

@RestController
public class TestController {

    private final static Logger logger= LoggerFactory.getLogger(TestController.class);
    @RequestMapping("/myTest")
    public void test(){
        logger.info("日誌開始"+System.currentTimeMillis());
        logger.info("日誌結束"+System.currentTimeMillis());
    }
}

訪問完請求後，進入Stack Management找到索引管理

屏幕截圖 2023-03-04 233740.png

可以看到springboot的3月4號日誌已經生成，下麵進一步查看日誌的內容。
屏幕截圖 2023-03-04 233829.png

點擊左側菜單，選擇Discover，創建數據視圖，因為索引名稱首碼是xiaobawang-，所以索引模式填寫xiaobawang-*
就可以匹配每天生成的日誌。
屏幕截圖 2023-03-04 233903.png

屏幕截圖 2023-03-04 233928.png

至此，ELK已經搭建完成，但kibana的功能遠遠不限於此，還可以查看不同維度的數據視圖報表，有興趣的童鞋可以研究研究。覺得有用的話，一鍵三連~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 物聯網的實時分析Apache Pinot介紹
    長期以來，我們一直聽說物聯網（IoT）將通過將日常設備連接到互聯網來改變我們的生活和工作方式。雖然物聯網的許多承諾似乎總是 "即將到來"，但物聯網設備的激增已經創造了大量的數據，需要實時處理、存儲和分析。我已經說了很多年--實際上已經超過十年了--如果你的物聯網數據不及時、不准確、不具有可操作性，那 ...
  • 怎麼使用硬體同步原語替代鎖？
    這篇文章主要描述硬體同步原語，它是由電腦硬體提供的一組原子操作。 我們常見的原語操作有CAS和FAA兩種。在某些情景下，我們可以使用它來替代鎖，從而更加安全高效的操作數據。 ...
  • 再談編程範式(3):理解面向過程/面向對象/函數式編程的精髓
    這篇文章主要關註分散式鎖，包括加鎖和解鎖的過程，鎖的用法，加鎖帶來的代價，對性能的影響以及如何避免死鎖。 ...
  • 讀Java性能權威指南（第2版）筆記22_ 操作系統工具和Java監控工具
    1. 性能優化是圍繞工具展開的 1.1. 最重要的工具大都是Java開發工具包（JDK）自帶的 1.2. 查看應用程式性能時，首先應該考察的就是CPU時間 2. 操作系統工具 2.1. Unix系統 2.1.1. sar（System Accounting Report）及其組成工具 2.1.2.  ...
  • 為什麼要重寫equals要重寫hashcode方法
    Java 比較（==, equals) 一、= = ==：比較兩個對象的引用是否是同一個地址 二、equals object中equals方法調用的就是==，可以在其他類中重寫該方法。 三、為什麼要重寫equals要重寫hashcode方法 因為散列集合插入對象時會進行判斷，先調用hashcode， ...
  • Django筆記三之使用model對資料庫進行增刪改查
    大家好，我是3y啊。 大概不知道從什麼時候，「微服務」「分散式」這兩個詞又再次頻繁出現在我的視線里。 「微服務」「分散式」在我剛畢業的時候還是比較關註的，那時候還入門了一把SpringCloud，寫了一篇很長的文章，還是很頂的，有不少的大號都給我轉載了，在知乎又獲得了很多的贊。 那時候覺得懂「分散式 ...
  • Collection單列集合總結
    這篇文章記錄了Collection集合，List集合，Set集合 在文章第七點總結了兩大系列集合的五種實現類的區別，有需要的小伙伴可以直接去查看 一、什麼是集合 集合是Java中存儲對象數據的一種容器 二、集合有什麼特點 大小不固定，類型也可以不固定（通常需要泛型約束） 集合只能存儲引用數據類型 集 ...
  • JAVA -01（簡單知識介紹）
    JAVA -01 前期準備 介紹 1972年C誕生【兩大問題：指針；記憶體管理】 1982年C++誕生【面向對象；相容C；圖形領域和游戲，但是更複雜】 1995年JAVA誕生【沒有指針沒有記憶體管理；面向對象；類型安全；高質量類庫；跨平臺（JVM實現）；applet圖形界面程式】 小碎點 三高問題：高可 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類