Docker安裝及安裝單機版ELK日誌收集系統

来源:https://www.cnblogs.com/knownfreestyle/archive/2020/07/02/13224703.html
-Advertisement-
Play Games

Docker安裝單機版ELK日誌收集系統 概述 現在Elasticsearch是比較火的, 很多公司都在用. 而Docker也正如火如荼, 所以我就使用了Docker來安裝ELK, 這裡會詳細介紹下安裝的細節以及需要註意的地方. 先來強調一下, Elasticsearch和Kibana必須用相同版本 ...


Docker安裝單機版ELK日誌收集系統

概述

現在Elasticsearch是比較火的, 很多公司都在用. 而Docker也正如火如荼, 所以我就使用了Docker來安裝ELK, 這裡會詳細介紹下安裝的細節以及需要註意的地方. 先來強調一下, Elasticsearch和Kibana必須用相同版本, 這個可以避免很多坑。

日誌主要包括系統日誌、應用程式日誌和安全日誌。系統運維和開發人員可以通過日誌瞭解伺服器軟硬體信息、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日誌可以瞭解伺服器的負荷，性能安全性，從而及時採取措施糾正錯誤。

開源實時日誌分析ELK平臺由ElasticSearch、Logstash和Kiabana三個開源工具組成：

1）ElasticSearch是一個基於Lucene的開源分散式搜索伺服器。它的特點有：分散式，零配置，自動發現，索引自動分片，索引副本機制，restful風格介面，多數據源，自動搜索負載等。它提供了一個分散式多用戶能力的全文搜索引擎，基於RESTful web介面。Elasticsearch是用Java開發的，並作為Apache許可條款下的開放源碼發佈，是第二流行的企業搜索引擎。設計用於雲計算中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便。在elasticsearch中，所有節點的數據是均等的。

2）Logstash是一個完全開源的工具，它可以對你的日誌進行收集、過濾、分析，支持大量的數據獲取方法，並將其存儲供以後使用（如搜索）。說到搜索，logstash帶有一個web界面，搜索和展示所有日誌。一般工作方式為c/s架構，client端安裝在需要收集日誌的主機上，server端負責將收到的各節點日誌進行過濾、修改等操作在一併發往elasticsearch上去。

3）Kibana 是一個基於瀏覽器頁面的Elasticsearch前端展示工具，也是一個開源和免費的工具，Kibana可以為 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 界面，可以幫助您彙總、分析和搜索重要數據日誌。

ELK工作原理展示圖：

 

如上圖：Logstash收集AppServer產生的Log，並存放到ElasticSearch集群中，而Kibana則從ES集群中查詢數據生成圖表，再返回給Browser。

ELK環境部署

CentOS7.8系統上安裝docker，並用docker安裝ELK單機日誌手機系統平臺。

一、準備工作

1，系統環境

系統：CentOS7.8

防火牆：關閉

Centos7防火牆關閉方法與Centos6的有所區別

CentOS6關閉防火牆使用以下命令：

CentOS7中關閉防火牆使用以下命令：

selinux：關閉

selinux關閉方式有兩種，一種是臨時關閉，另一種是永久關閉。

臨時關閉方式：

永久關閉方式：

編輯配置文件/etc/selinux/config

首先執行yum update –y升級操作系統到最新版本，

[root@docker-srv ~]#cat /etc/redhat-release

CentOS Linux release 7.8.2003 (Core)

配置安裝docker-ce19.03.11的yum源，

yum install –y yum-utils device-mapper-persistent-data lvm2

yum-config-manager \

--add-repo \

https://download.docker.com/linux/centos/docker-ce.repo

執行yum install docker-ce-19.03.11* -y

驗證安裝

安裝完成後，運行下麵的命令，驗證是否安裝成功。

docker version 

 

docker info

 

 

 配置docker加速器

vi /etc/docker/daemon.json

 

systemctl daemon-reload

systemctl restart docker

systemctl enable docker

docker安裝到此結束！

1,接下來用docker安裝ELK,拉取鏡像：

首先安裝elasticsearch

docker pull elasticsearch:7.6.2

敲完命令後回車, 只需要等鏡像下載完就成了. 一共791MB, 耐心等待.

2，啟動ES

安裝完成以後當然需要去啟動了, 啟動也很方便, 只需要一行命令即可.

docker run --name es1 -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -d elasticsearch:7.6.2

啟動後可以先查看一下，名稱自定義！

 

3. 測試安裝

我們可以去檢查ES是否安裝完成, 可以輸入命令:

curl http://localhost:9200

 

註意: 需要關閉防火牆或放行9200埠

安裝Kibana

Kibana是一個開源的分析和可視化平臺, 被設計用於和Elasticsearch一起工作. 我們可以通過Kibana來搜索, 查看, 並和存儲在Elasticsearch索引中的數據進行交互, 並輕鬆地執行高級數據分析, 以各種圖標, 表格和地圖的形式可視化數據.

Kibana使得理解大量數據變得很容易. 它簡單的, 基於瀏覽器的界面使你能夠快速創建和共用動態儀錶板, 實時顯示Elasticsearch查詢的變化.

1. 拉取鏡像

同樣適用docker安裝Kibana命令如下:

docker pull kibana:7.6.2

這個比較大, 有1.01GB, 耐心等待…

2. 啟動Kibana

安裝完成以後需要啟動Kibana容器, 我們需要使用--link參數將Kibana連接到Elasticsearch容器, 命令如下:

docker run --name kibana --link es1:elasticsearch -p 5601:5601 -d kibana:7.6.2

其中, --link es:elasticsearch中的es是Docker中Elasticsearch容器名, 你也可以替換成對應的容器ID.

3. 配置漢化

預設情況下, Kibana界面是英文的, 不過Kibana 7中官方加入了中文的選項, 漢化包位置: /usr/share/kibana/x-pack/plugins/translations/translations/zh-CN.json

我們需要進入Kibana容器, 編輯/usr/share/kibana/config/kibana.yml文件, 在末尾添加i18n.locale: zh-CN即可. 註意冒號後一定要有空格!

docker exec -it kibana /bin/bash

cd config/

vi kibana.yml

exit

 

然後重啟Kibana

docker restart kibana

4. 測試安裝

啟動以後可以打開瀏覽器輸入http://你的IP:5601就可以打開Kibana的界面了. 上圖

 

ES的其他設置

在使用Elasticsearch時, 我們還需要進行一些設置. 例如解決跨域訪問和中文分詞.

1. 解決跨域訪問

首先進入到ES容器中, 然後進入到指定目錄修改elasticsearch.yml文件

docker exec -it es /bin/bash

cd config/

vi elasticsearch.yml

在elasticsearch.yml的文件末尾加上

http.cors.enabled: true

http.cors.allow-origin: "*"

修改配置後重啟容器即可

docker restart es1

 

2. 安裝IK中文分詞器

ES自帶的分詞器對中文分詞不友好, 所以我們下載開源的IK分詞器來解決這個問題. 首先進入到plugins目錄中下載分詞器, 下載完成後解壓, 再重啟ES即可. 具體步驟如下:

docker exec -it es /bin/bash

cd plugins/

elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zip

exit

Elasticsearch的版本和IK分詞器的版本需要保持一致, 不然在重啟的時候會失敗. 可以點擊查看所有版本, 選擇合適的版本右鍵複製鏈接地址即可.

然後重啟容器, 可以在Kibana界面的dev tools中驗證是否安裝成功

 

安裝elasticsearch head插件監控管理

docker pull mobz/elasticsearch-head:5

docker run -d -p 9100:9100 docker.io/mobz/elasticsearch-head:5

在瀏覽器中打開elasticsearch-head頁面，填入ElasticSearch地址

 

 

安裝filebeat+logstash進行日誌過濾

在客戶端機器上面安裝filebeat

配置yum源

cat /etc/yum.repos.d/filebeat.repo

[filebeat]

name=Elasticsearch repository for 7.x packages

baseurl=https://artifacts.elastic.co/packages/7.x/yum

gpgcheck=0

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

執行yum makecache && yum install filebeat* -y

vi /etc/filebeat/filebeat.yml

 

 

 

 

systemctl restart filebeat

docker pull logstash:7.6.2

docker run -itd --name logstash -p 5044:5044 -v /etc/logstash/config:/usr/share/logstash/config -v /etc/logstash/pipeline:/usr/share/logstash/pipeline logstash:7.6.2

cat /etc/logstash/config/logstash.conf

 

 

最後提醒：線上環境要求持續提供服務，即使在伺服器出現問題時，及時修複及時提供服務，比如異常斷電宕機，或者重啟機器後，所以需要配置docker及各個伺服器開機自動啟動！

Docker容器啟動時加入--restart=always 就ok啦！

 

白駒過隙，當看到比你優秀的人比你還努力的時候，你也會越來越優秀，相信越努力越幸運！


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 4. 雲停車 (平臺篇)
    1. 雲停車 (開篇)2. 雲停車 (硬體篇)3. 雲停車 (業務篇)4. 雲停車 (平臺篇)5. 雲停車 (源碼篇) 網址：http://42.194.142.223:8091/Home 賬戶：admin 密碼：admin@park8888 在場記錄 出入記錄 月租車繳費記錄 臨時車繳費記錄 車場 ...
  • 如何查看docker run啟動參數命令
    通過runlike去查看一個容器的docker run啟動參數 ...
  • 聊聊Java中的異常及處理
    前言 在編程中異常報錯是不可避免的。特別是在學習某個語言初期，看到異常報錯就抓耳撓腮，常常開玩笑說編程1分鐘，改bug1小時。今天就讓我們來看看什麼是異常和怎麼合理的處理異常吧！ 異常與error介紹 下麵還是先讓我們來看一下基本概念吧！ ​ 異常指程式運行過程中出現的非正常現象，例如用戶輸入錯誤、 ...
  • 打開VMware虛擬網路編輯器中沒有VMnet0
    打開VMware虛擬網路編輯器，裡面沒有VMnet0（沒有紅圈的），此處只是我電腦里被我改後顯示出來的，原本沒有。 1、選擇 “右鍵屬性->相容性-->以管理員身份運行此程式”，應用，確認。 2、確認後退出，重新打開“虛擬機編輯器”，就解決OK啦。 ...
  • Linux命令詳解 - CD，LS，PWD 命令
    Linux 命令詳解- CD，LS，PWD 命令 今天這三個命令是用於 Linux 中的文件管理。 cd 命令：用於切換當前工作目錄至 dirName(目錄參數)。 語法： cd [dirName] 參數： " ~ " 代位符 代表的是個人目錄的地址，個人目錄地址隨著用戶身份的改變而變化。 # 在普 ...
  • 更換Ubuntu國內鏡像源
    更換Ubuntu國內鏡像源： 由於Ubuntu官方軟體倉庫伺服器位於國外，導致我們國內訪問體驗非常糟糕，下載網速只有200-300k左右，令人淚目。 所以我們需要將系統預設下載地址配置為國內的鏡像源，以此提高用戶體驗。 準備工作： 備份源文件： cp /etc/apt/sources.list /e ...
  • 非易失性MRAM讀寫操作
    高密度MRAM具有非常低的功率，高的讀取速度，非常高的數據保留能力和耐久性，適用於廣泛的應用。單元面積僅為0.0456平方微米，讀取速度為10ns，讀取功率為0.8mA/MHz/b，在低功耗待機模式（LPSB）下，其在25C時的泄漏電流小於55mA，相當於每比特的漏電流僅為1.7E-12A。對於32 ...
  • centos7下的docker安裝ES集群
    1>拉取鏡像 docker pull elasticsearch:7.6.2 2>創建數據掛在目錄，以及配置ElasticSearch集群配置文件 mkdir /docker/ES mkdir /docker/ES/data1 mkdir /docker/ES/data2 mkdir /docker ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類