搭建一個 ELKB 日誌收集系統

来源:https://www.cnblogs.com/aaaak/archive/2020/05/22/create_ELK.html
-Advertisement-
Play Games

開發環境 centos release 7 3.1611.el7.centos.x86_64 elasticsearch 6.3.1 kibana 6.3.1 logstash 6.3.1 filebeat 6.3.1 ElasticSearch安裝 1. 下載ElasticSearch ,國內慢 ...


開發環境
centos-release-7-3.1611.el7.centos.x86_64
elasticsearch-6.3.1
kibana-6.3.1
logstash-6.3.1
filebeat-6.3.1

ElasticSearch安裝

  1. 下載ElasticSearch ,國內慢 找鏡像站下載
wget -c https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.1.tar.gz
tar -zxvf elasticsearch-6.3.1.tar.gz -C /opt/module/
mkdir data
  1. 修改配置文件/opt/module/elasticsearch-6.3.1/config/elasticsearch.yml
### node-1 192.168.9.101 
### node-2 192.168.9.102
### node-3 192.168.9.103
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true
node.data: true
# 集群名稱,預設是elasticsearch
 ###保證三台伺服器節點集群名稱相同
cluster.name: my-application
#-----------------------Node-----------------------
# 節點名稱,預設從elasticsearch-6.3.1/lib/elasticsearch-6.3.1.jar!config/names.txt中隨機選擇一個名稱

 ###每個節點名稱不一樣,其他兩台為node-1022,node-1033
node.name: node-101
#-----------------------Paths-----------------------
# 可以指定es的數據存儲目錄,預設存儲在es_home/data目錄下
path.data: /opt/module/elasticsearch-6.3.1/data
# 可以指定es的日誌存儲目錄,預設存儲在es_home/logs目錄下
path.logs: /opt/module/elasticsearch-6.3.1/logs
#-----------------------Memory-----------------------
# 鎖定物理記憶體地址,防止elasticsearch記憶體被交換出去,也就是避免es使用swap交換分區
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
#-----------------------Network-----------------------
# 為es設置ip綁定,預設是127.0.0.1,也就是預設只能通過127.0.0.1 或者localhost才能訪問
###實際伺服器的ip地址
network.host: 192.168.9.101 
#-----------------------Discovery-----------------------
# 當啟動新節點時,通過這個ip列表進行節點發現,組建集群
# 預設節點列表:
###多個服務集群ip
discovery.zen.ping.unicast.hosts: ["192.168.9.101", "192.168.9.102","192.168.9.103"]
# 通過配置這個參數來防止集群腦裂現象 (集群總節點數量/2)+1

discovery.zen.minimum_master_nodes: 1

# 其他幾台伺服器只需修改node.name和network.host屬性
# 分別啟動每台伺服器上的ES
# 在地址欄輸入http://192.168.9.102:9200/_cat/nodes?pretty驗證群集是否啟動,帶“*”證明是master節點,否則是slave節點
### es 容災原理
###(1)ES會自動選舉新的master;
###(2)ES在群集中會有多副本,異地備份能力;
###(3)故障恢復,數據恢復能力
  1. 配置本機環境
# soft nproc :單個用戶可用的最大進程數量(超過會警告);
# hard nproc:單個用戶可用的最大進程數量(超過會報錯);
# soft nofile  :可打開的文件描述符的最大數(超過會警告);
# hard nofile :可打開的文件描述符的最大數(超過會報錯);
vi /etc/security/limits.conf
# 添加
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

# centos 7 為  20-nproc.conf  centos 6 為 90-nproc.conf
vi /etc/security/limits.d/20-nproc.conf
#修改為
* soft nproc 4096

vi /etc/sysctl.conf 

# 添加下麵配置:
vm.max_map_count=655360

sysctl -p

# 然後,重新啟動Linux,必須重啟!!!
shutdown -r now
  1. 啟動 ElasticSearch
//ElasticSearch 不能以 root 啟動所以我們要新建一個用戶
adduser elk
 # 將es的擁有者和group改為elk
chown -R elk:elk /opt/module/elasticsearch-6.3.1/
su elk

bin/elasticsearch
  1. 驗證 ElasticSearch
curl http://192.168.9.102:9200

在這裡插入圖片描述

Kibana 安裝

  1. 下載Kibana ,國內慢 找鏡像站下載
wget -c https://gitee.com/mirrors/kibana/repository/archive/v6.3.1
tar -zxvf kibana-6.3.1.tar.gz -C /opt/module/

  1. 修改 修改相關配置,kibana.yml
vi config/kibana.yml

# Kibana 埠
server.port: 5601
# Kibana ip
server.host: "192.168.9.102"
# elasticsearch  地址
elasticsearch.url: "http://192.168.9.102:9200"
  1. 啟動Kibana
bin/kibana
  1. 驗證是否啟動成功
瀏覽器 http://59.110.167.61:5601/

在這裡插入圖片描述

Logstash 安裝

  1. 下載Logstash ,國內慢 找鏡像站下載
wget -c https://mirrors.huaweicloud.com/logstash/6.3.1/logstash-6.3.1.tar.gz
tar -zxvf logstash-6.3.1.tar.gz -C /opt/module/

  1. 驗證 Logstash 是否安裝成功
bin/logstash -e 'input { stdin { } } output { stdout {} }'
# 輸入 hellow 等待返回

{
       "message" => "hellow",
      "@version" => "1",
          "host" => "iZ2zei02d9n5g3r7vch43bZ",
    "@timestamp" => 2020-04-27T16:01:53.951Z
}
# 則安裝成功
  1. Logstash 語法
    區段 input {},filter {},output {}
    在這裡插入圖片描述
    示例 官網插件例子地址
# /opt/module/logstash-6.3.1
mkdir job
vi job/test.conf
# 輸入
input {
    stdin { }
}
output {
    stdout {codec=>"rubydebug"}
}
# 保存執行
bin/logstash -f job/test.conf --verbose --debug

logstash 日誌收集
在這裡插入圖片描述

Filebeat 安裝

wget -c https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.1-linux-x86_64.tar.gz
tar -zxvf filebeat-6.2.1-linux-x86_64.tar.gz -C /opt/module
  1. 配置 filebeat.yml
vi filebeat.yml
#=========================== Filebeat inputs =============================
## 配置 多 type 多目錄日誌收集
## 配置 Multiline 匹配多行消息
## 配置 fields 向輸出的每一條日誌添加額外的信息
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /home/tomcat/apache-tomcat-1/logs/*
  tags: ["java-1"] 
  fields:
    logIndex: tomcat
    docType: tomcat-log
    level: debug
    fields_under_root: true
  multiline:
    pattern: '^[[:space:]]+(at|\.{3})\b|^Caused by:'
    negate:  true
    match:   after
    
- input_type: log
  paths:
    - /home/tomcat/apache-tomcat-2/logs/*
  tags: ["java-2"] 
  fields:
    logIndex: tomcat
    docType: tomcat-log
    level: error
    fields_under_root: true
  multiline:
    pattern: '^[[:space:]]+(at|\.{3})\b|^Caused by:'
    negate:  true
    match:   after

#============================= Filebeat modules ===============================

#============================= Logstash output ===============================
# 輸出設置
output.logstash:
  # logstsh的ip地址 
  hosts: ["192.168.9.101:5044"]
  loadbalance: true
  index: filebeat
  
## 調優 避免 占用記憶體過大
## 是否因為通配符的原因,造成同時監控數量巨大的文件
## 是否文件的單行內容巨大,日誌記錄不規範
## 是否output經常阻塞,event queue裡面總是一直緩存event
max_procs: 1
queue.mem.events: 256
queue.mem.flush.min_events: 128
  1. 啟動 filebeat
## 文件要屬於root 用戶才能運行
chown -R root /opt/module/filebeat-6.2.1-linux-x86_64
## 查看啟用或者禁用的模塊列表
./filebeat modules list
## 啟用模塊
./filebeat modules enable logstash
## 檢查配置是否正確
./filebeat -configtest
## 啟動 filebeat
./filebeat -e -c filebeat.yml
  1. 配置 logstash 的 filebeat.conf
input {
  # 接收filebeat讀取的數據
  beats {
    port => 5044
  }
}

# 日誌例子 
#100.116.237.39 - - [17/Jul/2019:11:13:28 +0800] "HEAD /xinyuyl-admin/index.html HTTP/1.0" 200 -
## 不懂的可以去看看 [grok入門](https://www.jianshu.com/p/443f1ea7b640)

filter {
    grok {
        match => {
            "message" => "%{IPV4:ip_address} - - \[%{HTTPDATE:timestamp}\] %{QS:referrer} %{NUMBER:status} -"
        }

    }
    date {
        match => [ "timestamp","dd/MMM/yyyy:hh:mm:ss Z"]
        target => "@timastamp"
        timezone => "Asia/Shanghai"
    }
    mutate {
        remove_field => ["message","host","@timestamp","@version"]
        convert => {
                "referrer" => "string"
        }
        split => ["referrer", " "]
          add_field => {
            "path" => "%{[referrer][1]}"
            "Protocol" => "%{[referrer][2]}"
          }
    }
}
output {
  # 輸出到es
  elasticsearch {
    hosts => ["172.17.53.25:9200"]
    index => "system-log-java-%{+YYYY.MM.dd}"
    document_type => "log"
    manage_template => false
  }
}
  1. 測試 logstash 的 filter 是否能成功解析
# 驗證 filebeat.conf 是否正確
./bin/logstash -f job/filebeat.conf -t
#調試啟動
./bin/logstash -f job/filebeat.conf  --verbose --debug

顯示 json 即為成功
在這裡插入圖片描述

總結

  1. 啟動 ElasticSearch
    ./elasticsearch-6.3.1/bin/elasticsearch -d
  2. 啟動 Kibana
    nohup ./kibana-6.3.1-linux-x86_64/bin/kibana >/dev/null 2>&1 &
  3. 啟動 Logstash
    nohup ./logstash-6.3.1/bin/logstash -f job/filebeat.conf >/dev/null 2>&1 &
  4. 啟動 Filebeat
    nohup ./filebeat-6.3.1-linux-x86_64/filebeat -e -c filebeat.yml >/dev/null 2>&1 &

下一章 出高可用elk 實例
在這裡插入圖片描述

參考:
Logstash 最佳實踐


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 功能描述:切換目錄 語法:cd [目標目錄] “[ ]”為可選項。 說明:cd命令可以讓用戶在不同的目錄間來回切換,不過該用戶需要有足夠的許可權才能進入目標目錄。 示例1:從當前目錄切換至/tmp目錄 cd :不帶任何參數時表示切換回用戶的家目錄。 cd \~ :切換回自己的家目錄。註意:在bash中 ...
  • [toc] route命令 功能說明:顯示或管理路由表,路由表是在內核中的,route命令會立刻修改內核中的路由表,立即生效,系統重啟後失效。 用法 route [ n] route add [ net| host] target [netmask Nm] [gw Gw] [[dev] If] ro ...
  • 下載Redis安裝包並解壓 在 /opt/soft 內下載 "redis 5.0.5" 解壓完之後, /opt/module/ ⽬錄中會出現⼀個 的⽬錄 編譯並安裝 將Redis 安裝為系統服務並後臺啟動 設置允許遠程連接與訪問密碼 檢驗安裝結果 ...
  • 最近談到Redis就會聽到哨兵模式,工作期間同事也分享過關於哨兵模式的知識,但由於工作忙(給自己找個藉口)沒有沒認真看,現在惡補下,老樣子還是分上篇應用,下篇看實現過程,下麵我們來看下哨兵到底是啥? 哨兵模式(Sentinel)是Redis的高可用解決方案。由一個或多個Sentinel實例組成的Se ...
  • 檢測是否存在MARIADB 如果系統之前⾃帶 ,可以先卸載之。 ⾸先查詢已安裝的 Mariadb 安裝包: 卸載mariadb 刪除配置文件,刪除數據目錄 下載MYSQL安裝包並解壓 在 /opt/soft 內下載 "MySQL 5.7" 解壓完之後, /opt/module/ ⽬錄中會出現⼀個 的 ...
  • INSERT INTO test_table_public(class, name, geography) SELECT class, name, geography FROM test_table WHERE id >= 137181 AND id <= 137214; SELECT class, ...
  • Redis為什麼需要集群? 首先Redis單實例主要有單點,容量有限,流量壓力上限的問題。 Redis單點故障,可以通過主從複製 ,和自動故障轉移 哨兵機制。 但Redis單 實例提供讀寫服務,仍然有容量和壓力問題,因此需要數據分區,構建多個 實例同時提供讀寫服務(不僅限於從 節點提供讀服務)。 那 ...
  • GPS時間伺服器(NTP伺服器)京準教你選型小竅門 GPS時間伺服器(NTP伺服器)京準教你選型小竅門 京準電子科技官微——ahjzsz 目前,市場上的NTP網路時間伺服器魚龍混雜,廠家良莠不齊,對此選擇一家有實力的廠家及性價比高的NTP網路時間伺服器廠家顯得尤其重要。 NTP網路時間伺服器廠家簡介 ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...