搭建一個 ELKB 日誌收集系統

来源:https://www.cnblogs.com/aaaak/archive/2020/05/22/create_ELK.html

開發環境 centos release 7 3.1611.el7.centos.x86_64 elasticsearch 6.3.1 kibana 6.3.1 logstash 6.3.1 filebeat 6.3.1 ElasticSearch安裝 1. 下載ElasticSearch ,國內慢 ...


開發環境
centos-release-7-3.1611.el7.centos.x86_64
elasticsearch-6.3.1
kibana-6.3.1
logstash-6.3.1
filebeat-6.3.1

ElasticSearch安裝

  1. 下載ElasticSearch ,國內慢 找鏡像站下載
wget -c https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.1.tar.gz
tar -zxvf elasticsearch-6.3.1.tar.gz -C /opt/module/
mkdir data
  1. 修改配置文件/opt/module/elasticsearch-6.3.1/config/elasticsearch.yml
### node-1 192.168.9.101 
### node-2 192.168.9.102
### node-3 192.168.9.103
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true
node.data: true
# 集群名稱,預設是elasticsearch
 ###保證三台伺服器節點集群名稱相同
cluster.name: my-application
#-----------------------Node-----------------------
# 節點名稱,預設從elasticsearch-6.3.1/lib/elasticsearch-6.3.1.jar!config/names.txt中隨機選擇一個名稱

 ###每個節點名稱不一樣,其他兩台為node-1022,node-1033
node.name: node-101
#-----------------------Paths-----------------------
# 可以指定es的數據存儲目錄,預設存儲在es_home/data目錄下
path.data: /opt/module/elasticsearch-6.3.1/data
# 可以指定es的日誌存儲目錄,預設存儲在es_home/logs目錄下
path.logs: /opt/module/elasticsearch-6.3.1/logs
#-----------------------Memory-----------------------
# 鎖定物理記憶體地址,防止elasticsearch記憶體被交換出去,也就是避免es使用swap交換分區
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
#-----------------------Network-----------------------
# 為es設置ip綁定,預設是127.0.0.1,也就是預設只能通過127.0.0.1 或者localhost才能訪問
###實際伺服器的ip地址
network.host: 192.168.9.101 
#-----------------------Discovery-----------------------
# 當啟動新節點時,通過這個ip列表進行節點發現,組建集群
# 預設節點列表:
###多個服務集群ip
discovery.zen.ping.unicast.hosts: ["192.168.9.101", "192.168.9.102","192.168.9.103"]
# 通過配置這個參數來防止集群腦裂現象 (集群總節點數量/2)+1

discovery.zen.minimum_master_nodes: 1

# 其他幾台伺服器只需修改node.name和network.host屬性
# 分別啟動每台伺服器上的ES
# 在地址欄輸入http://192.168.9.102:9200/_cat/nodes?pretty驗證群集是否啟動,帶“*”證明是master節點,否則是slave節點
### es 容災原理
###(1)ES會自動選舉新的master;
###(2)ES在群集中會有多副本,異地備份能力;
###(3)故障恢復,數據恢復能力
  1. 配置本機環境
# soft nproc :單個用戶可用的最大進程數量(超過會警告);
# hard nproc:單個用戶可用的最大進程數量(超過會報錯);
# soft nofile  :可打開的文件描述符的最大數(超過會警告);
# hard nofile :可打開的文件描述符的最大數(超過會報錯);
vi /etc/security/limits.conf
# 添加
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

# centos 7 為  20-nproc.conf  centos 6 為 90-nproc.conf
vi /etc/security/limits.d/20-nproc.conf
#修改為
* soft nproc 4096

vi /etc/sysctl.conf 

# 添加下麵配置:
vm.max_map_count=655360

sysctl -p

# 然後,重新啟動Linux,必須重啟!!!
shutdown -r now
  1. 啟動 ElasticSearch
//ElasticSearch 不能以 root 啟動所以我們要新建一個用戶
adduser elk
 # 將es的擁有者和group改為elk
chown -R elk:elk /opt/module/elasticsearch-6.3.1/
su elk

bin/elasticsearch
  1. 驗證 ElasticSearch
curl http://192.168.9.102:9200

在這裡插入圖片描述

Kibana 安裝

  1. 下載Kibana ,國內慢 找鏡像站下載
wget -c https://gitee.com/mirrors/kibana/repository/archive/v6.3.1
tar -zxvf kibana-6.3.1.tar.gz -C /opt/module/

  1. 修改 修改相關配置,kibana.yml
vi config/kibana.yml

# Kibana 埠
server.port: 5601
# Kibana ip
server.host: "192.168.9.102"
# elasticsearch  地址
elasticsearch.url: "http://192.168.9.102:9200"
  1. 啟動Kibana
bin/kibana
  1. 驗證是否啟動成功
瀏覽器 http://59.110.167.61:5601/

在這裡插入圖片描述

Logstash 安裝

  1. 下載Logstash ,國內慢 找鏡像站下載
wget -c https://mirrors.huaweicloud.com/logstash/6.3.1/logstash-6.3.1.tar.gz
tar -zxvf logstash-6.3.1.tar.gz -C /opt/module/

  1. 驗證 Logstash 是否安裝成功
bin/logstash -e 'input { stdin { } } output { stdout {} }'
# 輸入 hellow 等待返回

{
       "message" => "hellow",
      "@version" => "1",
          "host" => "iZ2zei02d9n5g3r7vch43bZ",
    "@timestamp" => 2020-04-27T16:01:53.951Z
}
# 則安裝成功
  1. Logstash 語法
    區段 input {},filter {},output {}
    在這裡插入圖片描述
    示例 官網插件例子地址
# /opt/module/logstash-6.3.1
mkdir job
vi job/test.conf
# 輸入
input {
    stdin { }
}
output {
    stdout {codec=>"rubydebug"}
}
# 保存執行
bin/logstash -f job/test.conf --verbose --debug

logstash 日誌收集
在這裡插入圖片描述

Filebeat 安裝

wget -c https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.1-linux-x86_64.tar.gz
tar -zxvf filebeat-6.2.1-linux-x86_64.tar.gz -C /opt/module
  1. 配置 filebeat.yml
vi filebeat.yml
#=========================== Filebeat inputs =============================
## 配置 多 type 多目錄日誌收集
## 配置 Multiline 匹配多行消息
## 配置 fields 向輸出的每一條日誌添加額外的信息
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /home/tomcat/apache-tomcat-1/logs/*
  tags: ["java-1"] 
  fields:
    logIndex: tomcat
    docType: tomcat-log
    level: debug
    fields_under_root: true
  multiline:
    pattern: '^[[:space:]]+(at|\.{3})\b|^Caused by:'
    negate:  true
    match:   after
    
- input_type: log
  paths:
    - /home/tomcat/apache-tomcat-2/logs/*
  tags: ["java-2"] 
  fields:
    logIndex: tomcat
    docType: tomcat-log
    level: error
    fields_under_root: true
  multiline:
    pattern: '^[[:space:]]+(at|\.{3})\b|^Caused by:'
    negate:  true
    match:   after

#============================= Filebeat modules ===============================

#============================= Logstash output ===============================
# 輸出設置
output.logstash:
  # logstsh的ip地址 
  hosts: ["192.168.9.101:5044"]
  loadbalance: true
  index: filebeat
  
## 調優 避免 占用記憶體過大
## 是否因為通配符的原因,造成同時監控數量巨大的文件
## 是否文件的單行內容巨大,日誌記錄不規範
## 是否output經常阻塞,event queue裡面總是一直緩存event
max_procs: 1
queue.mem.events: 256
queue.mem.flush.min_events: 128
  1. 啟動 filebeat
## 文件要屬於root 用戶才能運行
chown -R root /opt/module/filebeat-6.2.1-linux-x86_64
## 查看啟用或者禁用的模塊列表
./filebeat modules list
## 啟用模塊
./filebeat modules enable logstash
## 檢查配置是否正確
./filebeat -configtest
## 啟動 filebeat
./filebeat -e -c filebeat.yml
  1. 配置 logstash 的 filebeat.conf
input {
  # 接收filebeat讀取的數據
  beats {
    port => 5044
  }
}

# 日誌例子 
#100.116.237.39 - - [17/Jul/2019:11:13:28 +0800] "HEAD /xinyuyl-admin/index.html HTTP/1.0" 200 -
## 不懂的可以去看看 [grok入門](https://www.jianshu.com/p/443f1ea7b640)

filter {
    grok {
        match => {
            "message" => "%{IPV4:ip_address} - - \[%{HTTPDATE:timestamp}\] %{QS:referrer} %{NUMBER:status} -"
        }

    }
    date {
        match => [ "timestamp","dd/MMM/yyyy:hh:mm:ss Z"]
        target => "@timastamp"
        timezone => "Asia/Shanghai"
    }
    mutate {
        remove_field => ["message","host","@timestamp","@version"]
        convert => {
                "referrer" => "string"
        }
        split => ["referrer", " "]
          add_field => {
            "path" => "%{[referrer][1]}"
            "Protocol" => "%{[referrer][2]}"
          }
    }
}
output {
  # 輸出到es
  elasticsearch {
    hosts => ["172.17.53.25:9200"]
    index => "system-log-java-%{+YYYY.MM.dd}"
    document_type => "log"
    manage_template => false
  }
}
  1. 測試 logstash 的 filter 是否能成功解析
# 驗證 filebeat.conf 是否正確
./bin/logstash -f job/filebeat.conf -t
#調試啟動
./bin/logstash -f job/filebeat.conf  --verbose --debug

顯示 json 即為成功
在這裡插入圖片描述

總結

  1. 啟動 ElasticSearch
    ./elasticsearch-6.3.1/bin/elasticsearch -d
  2. 啟動 Kibana
    nohup ./kibana-6.3.1-linux-x86_64/bin/kibana >/dev/null 2>&1 &
  3. 啟動 Logstash
    nohup ./logstash-6.3.1/bin/logstash -f job/filebeat.conf >/dev/null 2>&1 &
  4. 啟動 Filebeat
    nohup ./filebeat-6.3.1-linux-x86_64/filebeat -e -c filebeat.yml >/dev/null 2>&1 &

下一章 出高可用elk 實例
在這裡插入圖片描述

參考:
Logstash 最佳實踐


您的分享是我們最大的動力!

更多相關文章
  • 功能描述:切換目錄 語法:cd [目標目錄] “[ ]”為可選項。 說明:cd命令可以讓用戶在不同的目錄間來回切換,不過該用戶需要有足夠的許可權才能進入目標目錄。 示例1:從當前目錄切換至/tmp目錄 cd :不帶任何參數時表示切換回用戶的家目錄。 cd \~ :切換回自己的家目錄。註意:在bash中 ...
  • [toc] route命令 功能說明:顯示或管理路由表,路由表是在內核中的,route命令會立刻修改內核中的路由表,立即生效,系統重啟後失效。 用法 route [ n] route add [ net| host] target [netmask Nm] [gw Gw] [[dev] If] ro ...
  • 下載Redis安裝包並解壓 在 /opt/soft 內下載 "redis 5.0.5" 解壓完之後, /opt/module/ ⽬錄中會出現⼀個 的⽬錄 編譯並安裝 將Redis 安裝為系統服務並後臺啟動 設置允許遠程連接與訪問密碼 檢驗安裝結果 ...
  • 最近談到Redis就會聽到哨兵模式,工作期間同事也分享過關於哨兵模式的知識,但由於工作忙(給自己找個藉口)沒有沒認真看,現在惡補下,老樣子還是分上篇應用,下篇看實現過程,下麵我們來看下哨兵到底是啥? 哨兵模式(Sentinel)是Redis的高可用解決方案。由一個或多個Sentinel實例組成的Se ...
  • 檢測是否存在MARIADB 如果系統之前⾃帶 ,可以先卸載之。 ⾸先查詢已安裝的 Mariadb 安裝包: 卸載mariadb 刪除配置文件,刪除數據目錄 下載MYSQL安裝包並解壓 在 /opt/soft 內下載 "MySQL 5.7" 解壓完之後, /opt/module/ ⽬錄中會出現⼀個 的 ...
  • INSERT INTO test_table_public(class, name, geography) SELECT class, name, geography FROM test_table WHERE id >= 137181 AND id <= 137214; SELECT class, ...
  • Redis為什麼需要集群? 首先Redis單實例主要有單點,容量有限,流量壓力上限的問題。 Redis單點故障,可以通過主從複製 ,和自動故障轉移 哨兵機制。 但Redis單 實例提供讀寫服務,仍然有容量和壓力問題,因此需要數據分區,構建多個 實例同時提供讀寫服務(不僅限於從 節點提供讀服務)。 那 ...
  • GPS時間伺服器(NTP伺服器)京準教你選型小竅門 GPS時間伺服器(NTP伺服器)京準教你選型小竅門 京準電子科技官微——ahjzsz 目前,市場上的NTP網路時間伺服器魚龍混雜,廠家良莠不齊,對此選擇一家有實力的廠家及性價比高的NTP網路時間伺服器廠家顯得尤其重要。 NTP網路時間伺服器廠家簡介 ...
一周排行
  • 一:背景 1. 講故事 曾今在項目中發現有同事自定義結構體的時候,居然沒有重寫Equals方法,比如下麵這段代碼: static void Main(string[] args) { var list = Enumerable.Range(0, 1000).Select(m => new Point ...
  • 最近一個朋友有個關於素數的小東西要寫一下,素數是什麼呢?除了1和他本身不能被其他數整除,那麼這個數就是素數,1除外哦。我們知道概念那就很簡單了,直接代碼擼起。 ...
  • 前言 在開發編程中,我們經常會遇到功能非常相似的功能模塊,只是他們的處理的數據不一樣,所以我們會分別採用多個方法來處理不同的數據類型。但是這個時候,我們就會想一個問題,有沒有辦法實現利用同一個方法來傳遞不同種類型的參數呢? 這個時候,泛型也就因運而生,專門來解決這個問題的。 泛型是在C 2.0就推出 ...
  • 本文章主要用於介紹在Asp.Net Mvc(C#)中使用Fleck製作一個Html5的即時聊天室,含有完整代碼和演示Demo。 ...
  • 出庫單的功能。能學習了出庫單管理之後,WMS的 主體功能算是完成了。當然一個成熟的WMS還包括了盤點,報表,策略規則,移庫功能及與其他系統(ERP、TMS等)的介面,實現無縫集成,打破信息孤島,讓數據實時、準確和同步。 ...
  • Data StructureThere're two types of variables in C#, reference type and value type.Enum:enum Color{Red=0,Green=1}//equals to enum Color{Red,//start fr... ...
  • 0. 前言 該項目使用Maven進行管理和構建,所以需要預先配置好Maven。嗯,在這個系列里就不做過多的介紹了。 1. 創建項目 先創建一個pom.xml 文件,添加以下內容: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http: ...
  • API 概述 API(Application Programming Interface),應用程式編程介面。 Java API是一本程式員的 字典 ,是JDK中提供給我們使用的類的說明文檔。 這些類將底層的代碼實現封裝了起來,我們不需要關心這些類是如何實現的,只需要學習這些類如何使用即可。 所以我 ...
  • 女程式員是這麼徵婚的: SELECT * FROM 男人們 WHERE 未婚=true and 同性戀=false and 有房=true and 有車=true and 條件 in (帥氣,紳士,大度,氣質,智慧,溫柔,體貼,會浪漫,活潑,可愛,最好還能帶孩子) and 年齡 between(24 ...
  • 有很多剛學習軟體測試的小伙伴,都會在網路上找尋各種學習資料,去提升自己的專業技能水平。因此,我決定定期分享我整理收集的一些軟體測試的測試工具下載、面試寶典、視頻教學合集。都整理好了,有需要的可以關註我(獲取方式在文末) 軟體測試的學習,不止是基礎理論,還需要學習測試工具的用法,如介面工具Postma ...