使用 Docker Compose V2 快速搭建日誌分析平臺 ELK (Elasticsearch、Logstash 和 Kibana)

来源:https://www.cnblogs.com/morang/p/17976704/devops-docker-elk-install-nginx-config
-Advertisement-
Play Games

ELK的架構有多種，本篇分享使用的架構如圖所示： Beats(Filebeat) -> -> Elasticsearch -> Kibana，目前生產環境一天幾千萬的日誌，記憶體占用大概 10G ...


前言

ELK 是指 Elasticsearch、Logstash 和 Kibana 這三個開源軟體的組合。

Elasticsearch 是一個分散式的搜索和分析引擎，用於日誌的存儲,搜索,分析,查詢。

Logstash 是一個數據收集、轉換和傳輸工具，用於收集過濾和轉換數據，然後將其發送到 Elasticsearch 或其他目標存儲中。

Kibana 是一個數據可視化平臺，通過與 Elasticsearch 的集成，提供了強大的數據分析和儀錶盤功能。

Filebeat 是 Elastic Stack（ELK）中的一個組件，用於輕量級的日誌文件收集和轉發。它能夠實時監控指定的日誌文件，並將其發送到 Elasticsearch 或 Logstash 進行處理和分析。

ELK的架構有多種，本篇分享使用的架構如圖所示： Beats(Filebeat) -> -> Elasticsearch -> Kibana，目前生產環境一天幾千萬的日誌，記憶體占用大概 10G 左右

特點

  • 開源免費
  • 靈活性和可擴展性，高可用性，易擴展，支持集群
  • 高效的搜索和分析功能
  • 實時性
  • 易於使用

使用情況

  • 目前微服務項目使用，ELK單機部署，處理千萬級日誌無壓力
  • 使用 Kibana 做了面板，根據面板監控系統情況
  • 使用 Docker 部署，方便快捷
  • 上手用還算簡單，但是弄懂這一套，就不是那麼容易了
  • 提煉出 docker compose 配置，分分鐘部署好

實踐

準備

  • 一臺 linxu 伺服器，記憶體 8G+
  • 安裝 docker,docker compose
  • 新機器搭建後的運行情況，限制了Elasticsearch的jvm參數 4g

安裝

本篇 ELK 的版本為 v7.8.1,本篇使用的容器網路為 devopsnetwork ，需創建 docker network create devopsnetwork

Elasticsearch 使用 docker compose 安裝

  • 官方使用 Docker 安裝文檔

  • compose.yml

    • 指定了jvm參數：4g
    • 暴露埠 9200：該埠是Elasticsearch REST API的預設埠。
    • 暴露埠 9300：該埠是Elasticsearch節點之間的內部通信埠，預設用於節點之間的集群通信
    • 掛載數據目錄 ./data及配置文件./config/elasticsearch.yml
    • 需要對兩個目錄進行授權，這裡直接用了777，也可以根據官網使用對應es的用戶id 1000
version: '3.1'
services:
  elk_elasticsearch:
    image: elasticsearch:7.8.1
    container_name: elk_elasticsearch
    restart: always
    environment:
      - discovery.type=single-node
      - ES_JAVA_OPTS=-Xms4096m -Xmx4096m
    ports:
      - 9200:9200 
      - 9300:9300 
    volumes:
      # 授權 chmod 777 ./config/ && chmod 777 ./data/
      - ./data:/usr/share/elasticsearch/data
      - ./config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
    networks:
      - devopsnetwork

networks:
  devopsnetwork:
    external: true
  • config/elasticsearch.yml
network.host: 0.0.0.0
xpack:
  ml.enabled: false
  monitoring.enabled: false
  security.enabled: false
  watcher.enabled: false

將其拷貝到伺服器執行啟動即可

#cd /app/elasticsearch
mkdir ./config
mkdir ./data
chmod 777 ./config/ && chmod 777 ./data/
docker compose up -d

驗證訪問

Logstash 使用 docker compose 安裝

  • 官方使用 Docker 安裝 文檔

  • compose.yml

    • 暴露埠5044：用於接收來自其他主機的日誌數據、
    • 掛載的 ./pipeline和./config目錄可以運行容器複製出來
    • 需要將./config/logstash.yml 和 ./pipeline/logstash.conf 改成es地址，參考
version: '3.1'
services:
  elk_logstash:
    image: logstash:7.17.16
    container_name: elk_logstash
    restart: always
    ports:
      - 5044:5044 
    volumes:
     # 授權 chmod 777 ./logs/ && chmod 777 ./data/ && chmod 777 ./pipeline/ && chmod 777 ./config/ 
      - /etc/timezone:/etc/timezone
      - /etc/localtime:/etc/localtime:ro
      - ./logs:/usr/share/logstash/logs
      - ./data:/usr/share/logstash/data
      - ./pipeline:/usr/share/logstash/pipeline
      - ./config:/usr/share/logstash/config
    networks:
      - devopsnetwork

networks:
  devopsnetwork:
    external: true

  • pipeline/logstash.conf

input {
    beats {
        port => 5044
        codec => json {
            charset => "UTF-8"
        }
    }

}

filter {  
 
}

output {
    elasticsearch { 
      hosts => ["http://192.168.123.102:9200"]
      index => "%{[app]}-%{+YYYY.MM.dd}" 
  }    
  stdout { 
    codec => rubydebug 
  }
}

將其拷貝到伺服器執行啟動即可

mkdir ./data
mkdir ./logs
chmod 777 ./logs/ && chmod 777 ./data/ && chmod 777 ./pipeline/ && chmod 777 ./config/ 
docker compose up -d

Kibana 使用 docker compose 安裝

  • 官方使用 Docker 安裝文檔

  • compose.yml

    • 指定es節點是單節點，多節點使用zen
    • 掛載配置文件 ./config/kibana.yml
    • 暴露埠 5601：面板訪問埠
version: '3.1'
services:
  elk_kibana:
    image: kibana:7.8.1
    container_name: elk_kibana
    restart: always
    environment:
      - discovery.type=single-node
    ports:
      - 5601:5601 
    volumes:
      - ./config/kibana.yml:/usr/share/kibana/config/kibana.yml
    networks:
      - devopsnetwork

networks:
  devopsnetwork:
    external: true
  • config/kibana.yml
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://192.168.123.102:9200/"]
i18n.locale: "zh-CN"
xpack:
  apm.ui.enabled: false
  graph.enabled: false
  ml.enabled: false
  monitoring.enabled: false
  reporting.enabled: false
  security.enabled: false
  grokdebugger.enabled: false
  searchprofiler.enabled: false

將其拷貝到伺服器執行啟動即可

docker compose up -d

Filebeat 使用 docker compose 安裝

  • compose.yml

    • 掛載filebeat的配置文件，數據目錄及日誌目錄，需要設置許可權
    • 掛載容器外的日誌到容器內的日誌採集目錄
version: '3.1'
services:
  elk_filebeat:
    image: elastic/filebeat:7.8.1
    container_name: elk_filebeat
    restart: always
    volumes:
      # 授權 chmod 777 ./config/ && chmod 777 ./data/ && chmod 777 ./logs/ && chmod 777 /app/logs
      - ./config/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro
      - ./data:/usr/share/filebeat/data 
      - ./logs:/usr/share/filebeat/logs
      - /app/logs:/app/logs
    networks:
      - devopsnetwork

networks:
  devopsnetwork:
    external: true

  • config/filebeat.yml

    • hosts 節點需要配置 logstash 地址
    • paths 指定日誌目錄

output.logstash:
  #logstash hosts
  hosts: ["192.168.123.102:5044"]
fields_under_root: true    
filebeat.inputs: 
 - type: log
   enabled: true
   paths:
       - /app/logs/*/*.log    
   close_older: 24h
   ignore_older: 24h   
   json.keys_under_root: true
   json.overwrite_keys: true
   encoding: utf-8 
filebeat.config.modules: 
  path: ${path.config}/modules.d/*.yml 
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3  
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~  
  - drop_fields:    
      fields: ["log","@version","ecs","agent","beat","host","beat.hostname","beat.version","beat.name","prospector.type","input.type","host.id","host.name","host.os.build","host.os.family","host.os.name","host.os.platform","host.os.platform","log.file.path","tags","offset","host.architecture","host.os.version"]

安全使用

配置 nginx 功能變數名稱轉發

server {

    listen 80;
    listen       443 ssl;
    server_name kibana.devops.test.com;  # 自行修改成你的功能變數名稱

    ssl_certificate      /certs/kibana.devops.test.com/server.crt;
    ssl_certificate_key  /certs/kibana.devops.test.com/server.key;
    ssl_session_cache    shared:SSL:1m;
    ssl_session_timeout  5m;
    ssl_ciphers  HIGH:!aNULL:!MD5;
    ssl_prefer_server_ciphers  on;

    location / {
            proxy_pass http://192.168.123.102:5601;
            proxy_http_version 1.1;
            proxy_buffering off;
            proxy_request_buffering off;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection "upgrade";
            proxy_set_header Host $host;
            proxy_set_header X-Forwarded-For $remote_addr;
    }
}

配置完成，即可使用功能變數名稱訪問

配置 nginx 基本認證

在Nginx配置文件中添加以下內容

location / {
    auth_basic "Restricted Content";
    auth_basic_user_file /certs/kibana.devops.test.com/passwd;
    ...
}

添加對應的passwd文件，使用 htpasswd 生成，如賬號密碼是 root devops666 的配置文件

root:WvesKBTr22.wY

可以使用我 metools 工具的 密碼生成器 生成

配置完成，重載配置後刷新頁面就提示輸入賬號密碼了

配置 nginx IP白名單

location / {
    allow 192.168.123.201;   # 允許的IP地址
    deny all;              # 拒絕所有其他IP地址
}

後語

本篇只針對 ELK 的安裝進行了介紹及整理對應的 Docker Compose 配置文件，後續即可快速安裝配置 ELK 環境，如何與項目結合使用後續再分享

作者：易墨
Github：yimogit
純靜態工具站點：metools
說明：歡迎拍磚,不足之處還望園友們指出;
迷茫大概是因為想的太多做的太少。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 遍歷二叉樹
    二叉樹 前言 二叉樹的遍歷主要有深度優先遍歷和廣度優先遍歷，深度優先遍歷是優先訪問一個子樹上的所有節點，訪問的屬性是豎向的，而廣度優先遍歷則是優先訪問同一層的所有節點，訪問屬性是橫向的。 深度優先遍歷 深度優先遍歷主要有三種順序： 前序遍歷 —— 根左右 中序遍歷 —— 左根右 後序遍歷 —— 左右 ...
  • 查詢法定工作日的API介面
    在現代社會中，時間的規劃和安排對於個人和企業來說非常重要。在我們處理時間上的事務時，我們需要知道某一天是否是國家法定節假日或者法定工作日。因此，開發一個能夠查詢特定日期的法定工作日的API介面就變得非常有必要了。 一、功能說明 該API介面的主要功能是根據用戶輸入的日期，返回該日期是否是國家法定節假 ...
  • Rust 所有權和 Move 語義
    Rust 所有權和 Move 語義 所有權和生命周期是 Rust 和其它編程語言的主要區別，也是 Rust 其它知識點的基礎。 動態數組因為大小在編譯期無法確定，所以放在堆上，並且在棧上有一個包含了長度和容量的胖指針指向堆上的記憶體。 恰到好處的限制，反而會釋放無窮的創意和生產力。 Rust 所有權規 ...
  • WIN32 動態 UAC 提權
    UAC(User Account Control) 是 Windows 平臺的用戶許可權控制。它可以讓程式使用管理員許可權執行某些操作。 靜態 UAC 提權 靜態 UAC 提權讓程式一直運行在管理員許可權下，只要在項目設置里把 "UAC Execution Level" 設置為 "requireAdmin ...
  • Spring AOP原來是這樣實現的
    Spring AOP 技術實現原理 在Spring框架中，AOP（面向切麵編程）是通過代理模式和反射機制來實現的。本文將詳細介紹Spring AOP的技術實現原理，包括JDK動態代理和CGLIB代理的使用，並通過實例演示其在實際項目中的應用。 1. AOP的實現原理概述 Spring AOP的實現基 ...
  • 搭建一個JavaWeb項目流程詳解
    本文致力於，讓編程者一步步明白書寫一個JavaWeb項目應該做些什麼，梳理清楚流程框架，需要的jar包，同時手寫了一個分頁工具類也在其中，讓你在編程中更加絲滑。 ...
  • C++11原子變數：線程安全、無鎖操作的實例解析
    在 C++11 中，原子變數（std::atomic）提供了一種線程安全的方式來操作共用變數。下麵是一個簡單的例子，演示了C++11原子變數的用法。 #include <iostream> #include <atomic> #include <thread> std::atomic<int> co ...
  • Python手相識別教程10命運線
    小北說在前面： 在一線互聯網企業種，如網易、美團、位元組、如阿裡、滴滴、極兔、有贊、希音、百度、美團等大廠，資料庫的面試題，一直是核心和重點的提問點，比如前段時間有位小伙伴面試位元組，就遇到了下麵這道面試題： 索引的設計規範，你知道那些？ 小伙伴雖然用過索引，但是索引的設計規範忘記得一干二凈，回答也是朦 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類