Docker安裝及安裝單機版ELK日誌收集系統

来源:https://www.cnblogs.com/knownfreestyle/archive/2020/07/02/13224703.html
-Advertisement-
Play Games

Docker安裝單機版ELK日誌收集系統 概述 現在Elasticsearch是比較火的, 很多公司都在用. 而Docker也正如火如荼, 所以我就使用了Docker來安裝ELK, 這裡會詳細介紹下安裝的細節以及需要註意的地方. 先來強調一下, Elasticsearch和Kibana必須用相同版本 ...


Docker安裝單機版ELK日誌收集系統

概述

現在Elasticsearch是比較火的, 很多公司都在用. 而Docker也正如火如荼, 所以我就使用了Docker來安裝ELK, 這裡會詳細介紹下安裝的細節以及需要註意的地方. 先來強調一下, Elasticsearch和Kibana必須用相同版本, 這個可以避免很多坑。

日誌主要包括系統日誌、應用程式日誌和安全日誌。系統運維和開發人員可以通過日誌瞭解伺服器軟硬體信息、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日誌可以瞭解伺服器的負荷，性能安全性，從而及時採取措施糾正錯誤。

開源實時日誌分析ELK平臺由ElasticSearch、Logstash和Kiabana三個開源工具組成：

1）ElasticSearch是一個基於Lucene的開源分散式搜索伺服器。它的特點有：分散式，零配置，自動發現，索引自動分片，索引副本機制，restful風格介面，多數據源，自動搜索負載等。它提供了一個分散式多用戶能力的全文搜索引擎，基於RESTful web介面。Elasticsearch是用Java開發的，並作為Apache許可條款下的開放源碼發佈，是第二流行的企業搜索引擎。設計用於雲計算中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便。在elasticsearch中，所有節點的數據是均等的。

2）Logstash是一個完全開源的工具，它可以對你的日誌進行收集、過濾、分析，支持大量的數據獲取方法，並將其存儲供以後使用（如搜索）。說到搜索，logstash帶有一個web界面，搜索和展示所有日誌。一般工作方式為c/s架構，client端安裝在需要收集日誌的主機上，server端負責將收到的各節點日誌進行過濾、修改等操作在一併發往elasticsearch上去。

3）Kibana 是一個基於瀏覽器頁面的Elasticsearch前端展示工具，也是一個開源和免費的工具，Kibana可以為 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 界面，可以幫助您彙總、分析和搜索重要數據日誌。

ELK工作原理展示圖：

 

如上圖：Logstash收集AppServer產生的Log，並存放到ElasticSearch集群中，而Kibana則從ES集群中查詢數據生成圖表，再返回給Browser。

ELK環境部署

CentOS7.8系統上安裝docker，並用docker安裝ELK單機日誌手機系統平臺。

一、準備工作

1，系統環境

系統：CentOS7.8

防火牆：關閉

Centos7防火牆關閉方法與Centos6的有所區別

CentOS6關閉防火牆使用以下命令：

CentOS7中關閉防火牆使用以下命令：

selinux：關閉

selinux關閉方式有兩種，一種是臨時關閉，另一種是永久關閉。

臨時關閉方式：

永久關閉方式：

編輯配置文件/etc/selinux/config

首先執行yum update –y升級操作系統到最新版本，

[root@docker-srv ~]#cat /etc/redhat-release

CentOS Linux release 7.8.2003 (Core)

配置安裝docker-ce19.03.11的yum源，

yum install –y yum-utils device-mapper-persistent-data lvm2

yum-config-manager \

--add-repo \

https://download.docker.com/linux/centos/docker-ce.repo

執行yum install docker-ce-19.03.11* -y

驗證安裝

安裝完成後，運行下麵的命令，驗證是否安裝成功。

docker version 

 

docker info

 

 

 配置docker加速器

vi /etc/docker/daemon.json

 

systemctl daemon-reload

systemctl restart docker

systemctl enable docker

docker安裝到此結束！

1,接下來用docker安裝ELK,拉取鏡像：

首先安裝elasticsearch

docker pull elasticsearch:7.6.2

敲完命令後回車, 只需要等鏡像下載完就成了. 一共791MB, 耐心等待.

2，啟動ES

安裝完成以後當然需要去啟動了, 啟動也很方便, 只需要一行命令即可.

docker run --name es1 -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -d elasticsearch:7.6.2

啟動後可以先查看一下，名稱自定義！

 

3. 測試安裝

我們可以去檢查ES是否安裝完成, 可以輸入命令:

curl http://localhost:9200

 

註意: 需要關閉防火牆或放行9200埠

安裝Kibana

Kibana是一個開源的分析和可視化平臺, 被設計用於和Elasticsearch一起工作. 我們可以通過Kibana來搜索, 查看, 並和存儲在Elasticsearch索引中的數據進行交互, 並輕鬆地執行高級數據分析, 以各種圖標, 表格和地圖的形式可視化數據.

Kibana使得理解大量數據變得很容易. 它簡單的, 基於瀏覽器的界面使你能夠快速創建和共用動態儀錶板, 實時顯示Elasticsearch查詢的變化.

1. 拉取鏡像

同樣適用docker安裝Kibana命令如下:

docker pull kibana:7.6.2

這個比較大, 有1.01GB, 耐心等待…

2. 啟動Kibana

安裝完成以後需要啟動Kibana容器, 我們需要使用--link參數將Kibana連接到Elasticsearch容器, 命令如下:

docker run --name kibana --link es1:elasticsearch -p 5601:5601 -d kibana:7.6.2

其中, --link es:elasticsearch中的es是Docker中Elasticsearch容器名, 你也可以替換成對應的容器ID.

3. 配置漢化

預設情況下, Kibana界面是英文的, 不過Kibana 7中官方加入了中文的選項, 漢化包位置: /usr/share/kibana/x-pack/plugins/translations/translations/zh-CN.json

我們需要進入Kibana容器, 編輯/usr/share/kibana/config/kibana.yml文件, 在末尾添加i18n.locale: zh-CN即可. 註意冒號後一定要有空格!

docker exec -it kibana /bin/bash

cd config/

vi kibana.yml

exit

 

然後重啟Kibana

docker restart kibana

4. 測試安裝

啟動以後可以打開瀏覽器輸入http://你的IP:5601就可以打開Kibana的界面了. 上圖

 

ES的其他設置

在使用Elasticsearch時, 我們還需要進行一些設置. 例如解決跨域訪問和中文分詞.

1. 解決跨域訪問

首先進入到ES容器中, 然後進入到指定目錄修改elasticsearch.yml文件

docker exec -it es /bin/bash

cd config/

vi elasticsearch.yml

在elasticsearch.yml的文件末尾加上

http.cors.enabled: true

http.cors.allow-origin: "*"

修改配置後重啟容器即可

docker restart es1

 

2. 安裝IK中文分詞器

ES自帶的分詞器對中文分詞不友好, 所以我們下載開源的IK分詞器來解決這個問題. 首先進入到plugins目錄中下載分詞器, 下載完成後解壓, 再重啟ES即可. 具體步驟如下:

docker exec -it es /bin/bash

cd plugins/

elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zip

exit

Elasticsearch的版本和IK分詞器的版本需要保持一致, 不然在重啟的時候會失敗. 可以點擊查看所有版本, 選擇合適的版本右鍵複製鏈接地址即可.

然後重啟容器, 可以在Kibana界面的dev tools中驗證是否安裝成功

 

安裝elasticsearch head插件監控管理

docker pull mobz/elasticsearch-head:5

docker run -d -p 9100:9100 docker.io/mobz/elasticsearch-head:5

在瀏覽器中打開elasticsearch-head頁面，填入ElasticSearch地址

 

 

安裝filebeat+logstash進行日誌過濾

在客戶端機器上面安裝filebeat

配置yum源

cat /etc/yum.repos.d/filebeat.repo

[filebeat]

name=Elasticsearch repository for 7.x packages

baseurl=https://artifacts.elastic.co/packages/7.x/yum

gpgcheck=0

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

執行yum makecache && yum install filebeat* -y

vi /etc/filebeat/filebeat.yml

 

 

 

 

systemctl restart filebeat

docker pull logstash:7.6.2

docker run -itd --name logstash -p 5044:5044 -v /etc/logstash/config:/usr/share/logstash/config -v /etc/logstash/pipeline:/usr/share/logstash/pipeline logstash:7.6.2

cat /etc/logstash/config/logstash.conf

 

 

最後提醒：線上環境要求持續提供服務，即使在伺服器出現問題時，及時修複及時提供服務，比如異常斷電宕機，或者重啟機器後，所以需要配置docker及各個伺服器開機自動啟動！

Docker容器啟動時加入--restart=always 就ok啦！

 

白駒過隙，當看到比你優秀的人比你還努力的時候，你也會越來越優秀，相信越努力越幸運！


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 4. 雲停車 (平臺篇)
    1. 雲停車 (開篇)2. 雲停車 (硬體篇)3. 雲停車 (業務篇)4. 雲停車 (平臺篇)5. 雲停車 (源碼篇) 網址：http://42.194.142.223:8091/Home 賬戶：admin 密碼：admin@park8888 在場記錄 出入記錄 月租車繳費記錄 臨時車繳費記錄 車場 ...
  • 如何查看docker run啟動參數命令
    通過runlike去查看一個容器的docker run啟動參數 ...
  • 聊聊Java中的異常及處理
    前言 在編程中異常報錯是不可避免的。特別是在學習某個語言初期，看到異常報錯就抓耳撓腮，常常開玩笑說編程1分鐘，改bug1小時。今天就讓我們來看看什麼是異常和怎麼合理的處理異常吧！ 異常與error介紹 下麵還是先讓我們來看一下基本概念吧！ ​ 異常指程式運行過程中出現的非正常現象，例如用戶輸入錯誤、 ...
  • 打開VMware虛擬網路編輯器中沒有VMnet0
    打開VMware虛擬網路編輯器，裡面沒有VMnet0（沒有紅圈的），此處只是我電腦里被我改後顯示出來的，原本沒有。 1、選擇 “右鍵屬性->相容性-->以管理員身份運行此程式”，應用，確認。 2、確認後退出，重新打開“虛擬機編輯器”，就解決OK啦。 ...
  • Linux命令詳解 - CD，LS，PWD 命令
    Linux 命令詳解- CD，LS，PWD 命令 今天這三個命令是用於 Linux 中的文件管理。 cd 命令：用於切換當前工作目錄至 dirName(目錄參數)。 語法： cd [dirName] 參數： " ~ " 代位符 代表的是個人目錄的地址，個人目錄地址隨著用戶身份的改變而變化。 # 在普 ...
  • 更換Ubuntu國內鏡像源
    更換Ubuntu國內鏡像源： 由於Ubuntu官方軟體倉庫伺服器位於國外，導致我們國內訪問體驗非常糟糕，下載網速只有200-300k左右，令人淚目。 所以我們需要將系統預設下載地址配置為國內的鏡像源，以此提高用戶體驗。 準備工作： 備份源文件： cp /etc/apt/sources.list /e ...
  • 非易失性MRAM讀寫操作
    高密度MRAM具有非常低的功率，高的讀取速度，非常高的數據保留能力和耐久性，適用於廣泛的應用。單元面積僅為0.0456平方微米，讀取速度為10ns，讀取功率為0.8mA/MHz/b，在低功耗待機模式（LPSB）下，其在25C時的泄漏電流小於55mA，相當於每比特的漏電流僅為1.7E-12A。對於32 ...
  • centos7下的docker安裝ES集群
    1>拉取鏡像 docker pull elasticsearch:7.6.2 2>創建數據掛在目錄，以及配置ElasticSearch集群配置文件 mkdir /docker/ES mkdir /docker/ES/data1 mkdir /docker/ES/data2 mkdir /docker ...
一周排行
    -Advertisement-
    Play Games
  • UOS 開啟 VisualStudio 遠程調試 .NET 應用之旅
    前言 在我們開發過程中基本上不可或缺的用到一些敏感機密數據，比如SQL伺服器的連接串或者是OAuth2的Secret等，這些敏感數據在代碼中是不太安全的，我們不應該在源代碼中存儲密碼和其他的敏感數據，一種推薦的方式是通過Asp.Net Core的機密管理器。 機密管理器 在 ASP.NET Core ...
  • C# - 能否讓 SortedSet.RemoveWhere 內傳入的委托非同步執行
    新改進提供的Taurus Rpc 功能，可以簡化微服務間的調用，同時可以不用再手動輸出模塊名稱，或調用路徑，包括負載均衡，這一切，由框架實現並提供了。新的Taurus Rpc 功能，將使得服務間的調用，更加輕鬆、簡約、高效。 ...
  • 順序棧的介面程式
    順序棧的介面程式 目錄順序棧的介面程式頭文件創建順序棧入棧出棧利用棧將10進位轉16進位數驗證 頭文件 #include <stdio.h> #include <stdbool.h> #include <stdlib.h> 創建順序棧 // 指的是順序棧中的元素的數據類型，用戶可以根據需要進行修改 ...
  • mORMot2 獲取數據集1
    前言 整理這個官方翻譯的系列，原因是網上大部分的 tomcat 版本比較舊，此版本為 v11 最新的版本。 開源項目 從零手寫實現 tomcat minicat 別稱【嗅虎】心有猛虎，輕嗅薔薇。 系列文章 web server apache tomcat11-01-官方文檔入門介紹 web serv ...
  • 萬字長文總結與剖析C語言關鍵字 -- <<C語言深度解剖>>
    C總結與剖析:關鍵字篇 -- <<C語言深度解剖>> 目錄C總結與剖析:關鍵字篇 -- <<C語言深度解剖>>程式的本質:二進位文件變數1.變數:記憶體上的某個位置開闢的空間2.變數的初始化3.為什麼要有變數4.局部變數與全局變數5.變數的大小由類型決定6.任何一個變數,記憶體賦值都是從低地址開始往高地 ...
  • 【Flink入門修煉】2-3 Flink Checkpoint 原理機制
    如果讓你來做一個有狀態流式應用的故障恢復，你會如何來做呢？ 單機和多機會遇到什麼不同的問題？ Flink Checkpoint 是做什麼用的？原理是什麼？ ...
  • C++ 多級繼承與多重繼承：代碼組織與靈活性的平衡
    C++ 多級繼承 多級繼承是一種面向對象編程（OOP）特性，允許一個類從多個基類繼承屬性和方法。它使代碼更易於組織和維護，並促進代碼重用。 多級繼承的語法 在 C++ 中，使用 : 符號來指定繼承關係。多級繼承的語法如下： class DerivedClass : public BaseClass1 ...
  • 圖文結合手把手教你創建SpringCloud項目
    前言 什麼是SpringCloud？ Spring Cloud 是一系列框架的有序集合，它利用 Spring Boot 的開發便利性簡化了分散式系統的開發，比如服務註冊、服務發現、網關、路由、鏈路追蹤等。Spring Cloud 並不是重覆造輪子，而是將市面上開發得比較好的模塊集成進去，進行封裝，從 ...
  • 類模板的常見用法
    class_template 類模板和函數模板的定義和使用類似，我們已經進行了介紹。有時，有兩個或多個類，其功能是相同的，僅僅是數據類型不同。類模板用於實現類所需數據的類型參數化 template<class NameType, class AgeType> class Person { publi ...
  • system-v IPC共用記憶體通信
    目錄system v IPC簡介共用記憶體需要用到的函數介面shmget函數--獲取對象IDshmat函數--獲得映射空間shmctl函數--釋放資源共用記憶體實現思路註意 system v IPC簡介 消息隊列、共用記憶體和信號量統稱為system v IPC(進程間通信機制)，V是羅馬數字5，是UNI ...
所有分類