Centos7單機部署ELK

来源:http://www.cnblogs.com/bigberg/archive/2017/11/03/7765269.html
-Advertisement-
Play Games

一、 簡介 1.1 介紹 ELK是三個開源工具組成，簡單解釋如下： Elasticsearch是個開源分散式搜索引擎，它的特點有：分散式，零配置，自動發現，索引自動分片，索引副本機制，restful風格介面，多數據源，自動搜索負載等。 Logstash是一個完全開源的工具，它可以對你的日誌進行收集、 ...


一、 簡介

1.1 介紹

　　ELK是三個開源工具組成，簡單解釋如下：

　　Elasticsearch是個開源分散式搜索引擎，它的特點有：分散式，零配置，自動發現，索引自動分片，索引副本機制，restful風格介面，多數據源，自動搜索負載等。

　　Logstash是一個完全開源的工具，它可以對你的日誌進行收集、過濾，並將其存儲供以後使用（如，搜索）。

Kibana 也是一個開源和免費的工具，它可以為 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 界面，可以幫助您彙總、分析和搜索重要數據日誌。

1.2 場景分析

　　日誌主要包括系統日誌、應用程式日誌和安全日誌等等。運維人員和開發人員可以通過日誌瞭解伺服器軟硬體信息、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日誌可以瞭解伺服器的負荷，性能安全性，從而及時採取措施糾正錯誤。

　　通常，日誌被分散的儲存不同的設備上。如果你管理數十上百台伺服器，你還在使用依次登錄每台機器的傳統方法查閱日誌。這樣是不是感覺很繁瑣和效率低下。當務之急我們使用集中化的日誌管理，例如：開源的syslog，將所有伺服器上的日誌收集彙總。

　　集中化管理日誌後，日誌的統計和檢索又成為一件比較麻煩的事情，一般我們使用grep、awk和wc等Linux命令能實現檢索和統計，但是對於要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法難免有點力不從心。

　　這裡採用開源實時日誌分析ELK平臺能夠完美的解決我們上述的問題，當然也還有別的平臺或者工具可以使用，這裡只討論ELK，官方網站：https://www.elastic.co

 

二、安裝Elasticsearch

2.1 安裝jdk

# java -version
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)

 2.2 安裝Elasticsearch

# tar -zxvf elasticsearch-5.6.3.tar.gz
# mv elasticsearch-5.6.3 /data/elasticsearch
# cd elasticsearch/config/
# 備份配置文件
# cp elasticsearch.yml elasticsearch.yml.bak

　　編輯配置文件

# cat elasticsearch.yml | grep -v ^#
cluster.name: elk-application
node.name: node-1
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
network.host: 172.16.220.248
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node-1"]
discovery.zen.minimum_master_nodes: 1

　　添加elasticsearch用戶，不能使用root啟動

# groupadd -g 1008 elasticsearch
# useradd -g 1008 -u 1008 elasticsearch
# chown -R elasticsearch:elasticsearch /data/elasticsearch/

　　修改sysctl.conf文件

# vim /etc/sysctl.conf
vm.max_map_count = 262144

# sysctl -p　　

　　修改/etc/security/limits.conf文件，修改打開文件句柄

*               soft    nofile          100000
*               hard    nofile          100000
*               soft    nproc           100000
*               hard    nproc           100000

　　添加hosts文件

# vim /etc/hosts
172.16.220.248 node-1

　　啟動

# su -s elasticsearch
# cd /data/elasticsearch/bin
# ./elasticearch &

　　查看是否啟動

　　

　　簡單的curl測試

# curl http://172.16.220.248:9200

　　

 

三、安裝Logstash和filebeat

　　filebeat用於在各個伺服器上獲取數據，發送到logstash上，再由logstash處理數據。

3.1 安裝logstash

# tar -zxvf logstash-5.6.3.tar.gz
# mv logstash-5.6.3 /data/logstash

3.2 安裝filebeat

　　下載filebeat並啟動，通過它來監聽數據源文件的新增內容經過logstash處理後上傳到es裡面

# tar -zxvf filebeat-5.6.3-linux-x86_64.tar.gz
# mv filebeat-5.6.3-linux-x86_64 /data/filebeat
# cd /data/filebeat
# cp filebeat.yml filebeat.yml.bak

　　編輯filebeat.yml文件

filebeat.prospectors:
- input_type: log
  paths:
    - /var/log/message-log  # 測試本機的一個log文件
output.logstash:
  hosts: ["172.16.220.248:5044"]

　　啟動filebeat服務

# cd /data/filebeat
# ./filebeat &

　　查看啟動，filebeat沒有監聽埠，主要看日誌和進程

# tialf logs/filebeat
# ps -ef | grep filebeat

　　

　　filebeat監聽的文件記錄信息在/data/filebeat/data/registry

　　新建一個本地文件message-log，可以取幾條本機系統的messages文件

 　　

3.3 啟動logstash　　

　　最後新建一個logstash的啟動指定test.conf配置文件，內容如下：　　

input {
    beats {
      port => "5044"
    }
}
output {
   elasticsearch {
   hosts => "172.16.220.248:9200"
  }
  stdout { codec => rubydebug }   # 這是將輸出列印在屏幕上，可以註釋掉
}　　

　　Logstash預設有input、filter、output三個區域，一般最少需要配置input和output即可！

　　logstash的本身預設的logstash.yml配置文件選擇不修改即可！

　　簡單測試一下logstash不指定配置文件啟動

# cd /data/filebeat/bin
# ./logstash -e 'input { stdin {} } output {stdout {} }'

　　

　　我們手動輸入 hello world，它也會輸出 hello world

　　指定配置文件啟動logstash　

# ./logstash -f ../config/test.conf &

　　查看5044埠和9600埠是否開啟

　　

　　等待一會後應該會出現如下信息輸出，這也就是test.conf裡面最後一行定義輸出到屏幕上

　　

 四、安裝kibana　

# tar -zxvf kibana-5.6.3-linux-x86_64.tar.gz
# mv kibana-5.6.3-linux-x86_64 /data/kinbana
# cd /data/kinbana/config/
# cp kibana.yml kibana.yml.bak

　　編輯kibana.yml配置文件

# vim kibana.yml
server.port: 5601
server.host: "172.16.220.248"
elasticsearch.url: "http://172.16.220.248:9200"

　　啟動kinbana

# cd /data/kibana/bin
# ./kibana &

　　查看埠

　　

　　瀏覽器登入查看

 　　

　　點擊create按鈕後，然後點擊上面的discover按鈕，註意如果沒數據的話，註意看看導入的時間@timestamp和現在的時間對比一下，kibana預設只顯示最近15分鐘的數據，如果超出15分鐘請選擇適當的時間，從kibana可以看到messages-log裡面的15條數據都正常導入了。這就也完成我們的實現的第一個效果。但是這僅僅是把流程跑通了，接下來我們需要做的事情還有更多。註意只能先導入數據到es後才能在kibana創建索引。

　　

 

五、獲取Nginx access日誌

　　Nginx日誌格式在logstash的grok裡面預設是沒有的，需要我們手動配置，可以通過http://grokdebug.herokuapp.com/ 線上工具來判斷配置是否正確。

 5.1 在nginx伺服器上安裝filebeat

　　伺服器： 172.16.200.160　　

# tar -zxvf filebeat-5.6.3-linux-x86_64.tar.gz
# mv filebeat-5.6.3-linux-x86_64 /data/filebeat
# cd /data/filebeat
# cp filebeat.yml filebeat.yml.bak

　　修改filebeat配置文件

# cat filebeat.yml | grep -v ^$ | grep -v ^# | grep -v "#"
filebeat.prospectors:
- input_type: log
  paths:
    - /data/nginx/logs/160_access.log
   document_type: nginx_access
output.logstash:
  hosts: ["172.16.220.248:5044"]

　　啟動filebeat

# ./filebeat &　

5.2 重新配置logstash啟動配置文件

　　nginx日誌格式，根據業務要求，我們這做了一些修改，比如增加cookie等，修改access.log日誌時間格式等，這個會在另外的博客中寫出來，會給出鏈接的。

 　　nginx日誌中添加cookie信息

　　nginx改變access.log中的時間格式

 　　Nginx日誌格式　　

log_format main
                '[$time_local] - $remote_addr:$remote_port - $upstream_addr $upstream_status $upstream_response_time - '
                '"$request" $status $bytes_sent $request_time '
                '"$http_referer" - "$http_user_agent" - '
                '"$customerTag_cookie" - "$ym_cookie" - "$http_cookie" '
                '"$http_x_forwarded_for"';

# 這裡只是我們自己的格式，各位可以根據自己要求增刪

 　　grok使用表達式

　　可能我理解不是很到位，寫的也比較複雜，我會把匹配對應項一一寫出來，大家可以自己理解，然後為自己的項目配置

%{SYSLOG5424SD} - %{IPV4:clientip}:%{NUMBER:clientport} - %{IPV4:hostip}:%{NUMBER:itemport} %{INT:upstream_status} %{NUMBER:response_time} - \"%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:http_version}\" %{INT:status} %{INT:body_bytes_sent} %{NUMBER:request_time} %{QS:url} - %{QS:user_agent} - %{QS:customerTag} - %{QS:ym_traffic_session_id} - %{QS:all_cookies} %{IPV4:realip}

　　grok匹配說明

%{SYSLOG5424SD}
 時間格式 
%{IPV4:clientip}
 獲取ip,clientip是自己命名的 
%{NUMBER:clientport}
 NUMBER匹配數字 
%{INT:upstream_status}
 INT整形 
%{WORD:method}
 WORD單詞 
%{URIPATHPARAM:request}
 獲取請求內容request 
%{QS:url}
  QS可以獲取一段字元串

 

　　修改logstash啟動配置文件

input {
    beats {
      port => "5044"
    }

}


filter {
    if [type] == "nginx_access" {

    grok {
        match => {"message" => "%{SYSLOG5424SD} - %{IPV4:clientip}:%{NUMBER:clientport} - %{IPV4:hostip}:%{NUMBER:itemport} %{INT:upstream_status} %{NUMBER:response_time} - \"%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:http_version}\" %{INT:status} %{INT:body_bytes_sent} %{NUMBER:request_time} %{QS:url} - %{QS:user_agent} - %{QS:customerTag} - %{QS:ym_traffic_session_id} - %{QS:all_cookies} %{IPV4:realip}"}
      }
     

    mutate {
       remove_field => "message"   # 把message欄位去掉，它會將上面單項獲取的信息做個彙總，這樣就重覆了
    }

  }

}

output {
   elasticsearch {
   hosts => "172.16.220.248:9200"
  }
#stdout { codec => rubydebug }
}

　　測試一下配置文件

./logstash -t -f ../config/logstash.conf

　　

　   重啟logstash

　　不出問題elasticsearch 和kibana中就會有數據了

        

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • GCC程式編譯
    1、簡介 GCC程式編譯可分成四個階段： 預處理（Pre-Preocessing） 編譯（Compiling） 彙編（Assembling） 鏈接（Linking） 2、GCC基本用法 基本用法：gcc [options][filename] 常用options選型及其用法介紹如下： -o outp ...
  • Nginx入門
    一、Nginx簡介 1.1Nginx特性 模塊化設計，較好的擴展性 高可靠性 支持熱部署：不停機更新配置文件，升級版本，更換日誌文件 低記憶體消耗：10000個keep alive連接模式下的非活動連接，僅 需要2.5M記憶體event driven,aio,mmap，sendfile 1.2Nginx ...
  • 26.Linux-網卡驅動(詳解)
    1.描述 網卡的驅動其實很簡單,它還是與硬體相關,主要是負責收髮網絡的數據包,它將上層協議傳遞下來的數據包以特定的媒介訪問控制方式進行發送， 並將接收到的數據包傳遞給上層協議。 網卡設備與字元設備和塊設備不同， 網路設備並不對應於/dev目錄下的文件,不過會存放在/sys/class/net目錄下 ...
  • WARNING: at drivers/gpio/gpiolib.c:101 gpio_ensure_requested+0x5c/0x118()
    使用輸入子系統實現的按鍵程式，每次按鍵後進入中斷，就會報錯如下： input_key_handler [ cut here ] WARNING: at drivers/gpio/gpiolib.c:101 gpio_ensure_requested+0x5c/0x118() autorequest ...
  • lvs學習筆記
    本人身為一個網工，最近一直在工作中學習linux的相關知識。前短時間通過自查資料學習了lvs的相關內容，摘錄部分整理後和大家分享,內容較多，較瑣碎，望見諒！！！ LVS 從Linux內核版本2.6起，ip_vs code已經被整合進了內核中，因此，只要在編譯內核的時候選擇了ipvs的功能，您的Lin ...
  • 我只是想獲取access_token而已
    起因是想在微信小程式中獲取access_token。 之前資源只有一個阿裡雲虛擬主機和一個功能變數名稱，於是用C#後端寫了GET請求的介面，準備調用自己功能變數名稱下的介面獲取access_token 使用微信的wx.request介面 發現報錯，提示該功能變數名稱不在伺服器合法功能變數名稱中 於是去微信小程式的開發設置中的伺服器 ...
  • EduSoho程式上線實錄
    1.1 修改配置文件 1.2 edusoho站點上線 第一個裡程碑:上傳解壓文件 [root@web01 tools]# tar xf edusoho-8.0.16.tar.gz 第二個裡程碑:移動站點文件到指定站點目錄 [root@web01 tools]# cd edusoho [root@we ...
  • VMware系統克隆
    第1章 搭建VMware實戰環境 1.1 vmware主機配置-網路配置 1.1.1 虛擬主機添加網卡信息(5) a.右鍵虛擬主機→設置→添加虛擬網卡硬體設備 b.設置網路適配器類型→完成添加 1.1.2 虛擬主機配置網卡信息(6) a.編輯虛擬網路編輯器→修改虛擬網卡VMnet8配置→選擇NAT模 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類