ELK 架構之 Elasticsearch 和 Kibana 安裝配置

来源:https://www.cnblogs.com/xishuai/archive/2018/05/15/elk-elasticsearch-kibana.html
-Advertisement-
Play Games

閱讀目錄： 1. ELK Stack 簡介 2. 環境準備 3. 安裝 Elasticsearch 4. 安裝 Kibana 5. Kibana 使用 6. Elasticsearch 命令 最近在開發分散式服務追蹤，使用 Spring Cloud Sleuth Zipkin + Stream + ...


閱讀目錄：

  • 1. ELK Stack 簡介
  • 2. 環境準備
  • 3. 安裝 Elasticsearch
  • 4. 安裝 Kibana
  • 5. Kibana 使用
  • 6. Elasticsearch 命令

最近在開發分散式服務追蹤，使用 Spring Cloud Sleuth Zipkin + Stream + RabbitMQ 中間件，預設使用記憶體存儲數據，但這樣應用於生產環境，就不太合適了。

最終我採用的方案：服務追蹤數據使用 RabbitMQ 進行採集 + 數據存儲使用 Elasticsearch + 數據展示使用 Kibana。

這篇文章主要記錄 Elasticsearch 和 Kibana 環境的配置，以及採集服務追蹤數據的顯出處理。

1. ELK Stack 簡介

ELK 是三個開源軟體的縮寫，分別為：Elasticsearch、Logstash 以及 Kibana，它們都是開源軟體。不過現在還新增了一個 Beats，它是一個輕量級的日誌收集處理工具（Agent），Beats 占用資源少，適合於在各個伺服器上搜集日誌後傳輸給 Logstash，官方也推薦此工具，目前由於原本的 ELK Stack 成員中加入了 Beats 工具所以已改名為 Elastic Stack。

根據 Google Trend 的信息顯示，Elastic Stack 已經成為目前最流行的集中式日誌解決方案。

Elastic Stack 包含：

  • Elasticsearch 是個開源分散式搜索引擎，提供搜集、分析、存儲數據三大功能。它的特點有：分散式，零配置，自動發現，索引自動分片，索引副本機制，restful 風格介面，多數據源，自動搜索負載等。詳細可參考 Elasticsearch 權威指南
  • Logstash 主要是用來日誌的搜集、分析、過濾日誌的工具，支持大量的數據獲取方式。一般工作方式為 c/s 架構，client 端安裝在需要收集日誌的主機上，server 端負責將收到的各節點日誌進行過濾、修改等操作在一併發往 Elasticsearch 上去。
  • Kibana 也是一個開源和免費的工具，Kibana 可以為 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 界面，可以幫助彙總、分析和搜索重要數據日誌。
  • Beats 在這裡是一個輕量級日誌採集器，其實 Beats 家族有 6 個成員，早期的 ELK 架構中使用 Logstash 收集、解析日誌，但是 Logstash 對記憶體、cpu、io 等資源消耗比較高。相比 Logstash，Beats 所占系統的 CPU 和記憶體幾乎可以忽略不計。

ELK Stack （5.0版本之後）--> Elastic Stack == （ELK Stack + Beats）。

目前 Beats 包含六種工具：

  • Packetbeat： 網路數據（收集網路流量數據）
  • Metricbeat： 指標（收集系統、進程和文件系統級別的 CPU 和記憶體使用情況等數據）
  • Filebeat： 日誌文件（收集文件數據）
  • Winlogbeat： windows 事件日誌（收集 Windows 事件日誌數據）
  • Auditbeat：審計數據（收集審計日誌）
  • Heartbeat：運行時間監控（收集系統運行時的數據）

ELK 簡單架構圖：

2. 環境準備

伺服器環境：Centos 7.0（目前單機，後續再部署集群）

Elasticsearch 和 Logstash 需要 Java 環境，Elasticsearch 推薦的版本為 Java 8，安裝教程：確定穩定的 Spring Cloud 相關環境版本

另外，我們需要修改下伺服器主機信息：

[root@node1 ~]# vi /etc/hostname
node1

[root@node1 ~]# vi /etc/hosts
192.168.0.11 node1
127.0.0.1   node1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         node1 localhost localhost.localdomain localhost6 localhost6.localdomain6

註意：我之前安裝 Elasticsearch 和 Kibana 都是最新版本（6.x），但和 Spring Cloud 集成有些問題，所以就採用了 5.x 版本（具體 5.6.9 版本）

3. 安裝 Elasticsearch

運行以下命令將 Elasticsearch 公共 GPG 密鑰導入 rpm：

[root@node1 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

在/etc/yum.repos.d/目錄中，創建一個名為elasticsearch.repo的文件，添加下麵配置：

[elasticsearch-5.x]
name=Elasticsearch repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

Elasticsearch 源創建完成之後，通過 makecache 查看源是否可用，然後通過 yum 安裝 Elasticsearch：

[root@node1 ~]# yum makecache && yum install elasticsearch -y

修改配置（啟動地址和埠）：

[root@node1 ~]# vi /etc/elasticsearch/elasticsearch.yml
network.host: node1  # 預設localhost，自定義為ip
http.port: 9200

要將 Elasticsearch 配置為在系統引導時自動啟動，運行以下命令：

[root@node1 ~]# sudo /bin/systemctl daemon-reload
[root@node1 ~]# sudo /bin/systemctl enable elasticsearch.service

Elasticsearch 可以按如下方式啟動和停止：

[root@node1 ~]# sudo systemctl start elasticsearch.service
[root@node1 ~]# sudo systemctl stop elasticsearch.service

列出 Elasticsearch 服務的日誌：

[root@node1 ~]# sudo journalctl --unit elasticsearch
-- Logs begin at 三 2018-05-09 10:13:46 CEST, end at 三 2018-05-09 10:53:53 CEST. --
5月 09 10:53:43 node1 systemd[1]: [/usr/lib/systemd/system/elasticsearch.service:8] Unknown lvalue 'RuntimeDirectory' in section 'Service'
5月 09 10:53:43 node1 systemd[1]: [/usr/lib/systemd/system/elasticsearch.service:8] Unknown lvalue 'RuntimeDirectory' in section 'Service'
5月 09 10:53:48 node1 systemd[1]: Starting Elasticsearch...
5月 09 10:53:48 node1 systemd[1]: Started Elasticsearch.
5月 09 10:53:48 node1 elasticsearch[2908]: which: no java in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin)
5月 09 10:53:48 node1 elasticsearch[2908]: could not find java; set JAVA_HOME or ensure java is in PATH
5月 09 10:53:48 node1 systemd[1]: elasticsearch.service: main process exited, code=exited, status=1/FAILURE
5月 09 10:53:48 node1 systemd[1]: Unit elasticsearch.service entered failed state.

出現了錯誤，具體信息是未找到JAVA_HOME環境變數，但我們明明已經配置過了。

解決方式（參考資料：https://segmentfault.com/q/1010000004715131）：

[root@node1 ~]# vi /etc/sysconfig/elasticsearch
JAVA_HOME=/usr/local/java

重新啟動：

sudo systemctl restart elasticsearch.service

或者通過systemctl命令，查看 Elasticsearch 啟動狀態：

[root@node1 ~]# systemctl status elasticsearch.service
elasticsearch.service - Elasticsearch
   Loaded: loaded (/usr/lib/systemd/system/elasticsearch.service; enabled)
   Active: active (running) since 一 2018-05-14 05:13:45 CEST; 4h 5min ago
     Docs: http://www.elastic.co
  Process: 951 ExecStartPre=/usr/share/elasticsearch/bin/elasticsearch-systemd-pre-exec (code=exited, status=0/SUCCESS)
 Main PID: 953 (java)
   CGroup: /system.slice/elasticsearch.service
           └─953 /usr/local/java/bin/java -Xms2g -Xmx2g -XX:+UseConcMarkSweepGC -XX:CMSInitiatingO...

5月 14 05:13:45 node1 systemd[1]: Started Elasticsearch.

發現 Elasticsearch 已經成功啟動。

查看 Elasticsearch 信息：

[root@node1 ~]# curl -XGET 'http://node1:9200/?pretty'
{
  "name" : "AKmrtMm",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "r7lG3UBXQ-uTLHInJxbOJA",
  "version" : {
    "number" : "5.6.9",
    "build_hash" : "877a590",
    "build_date" : "2018-04-12T16:25:14.838Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.1"
  },
  "tagline" : "You Know, for Search"
}

4. 安裝 Kibana

運行以下命令將 Elasticsearch 公共 GPG 密鑰導入 rpm：

[root@node1 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

在/etc/yum.repos.d/目錄中，創建一個名為kibana.repo的文件，添加下麵配置：

[kibana-5.x]
name=Kibana repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

安裝 Kibana：

[root@node1 ~]# yum makecache && yum install kibana -y

修改配置（地址和埠，以及 Elasticsearch 的地址，註意server.host只能填寫伺服器的 IP 地址）：

[root@node1 ~]# vi /etc/kibana/kibana.yml

# Kibana is served by a back end server. This setting specifies the port to use.
server.port: 5601

# Specifies the address to which the Kibana server will bind. IP addresses and host names are both valid values.
# The default is 'localhost', which usually means remote machines will not be able to connect.
# To allow connections from remote users, set this parameter to a non-loopback address.
server.host: "192.168.0.11"

# The Kibana server's name.  This is used for display purposes.
server.name: "kibana-server"

# The URL of the Elasticsearch instance to use for all your queries.
elasticsearch.url: "http://node1:9200"

# 配置kibana的日誌文件路徑，不然預設是messages里記錄日誌
logging.dest: /var/log/kibana.log

創建日誌文件：

[root@node1 ~]# touch /var/log/kibana.log; chmod 777 /var/log/kibana.log

要將 Kibana 配置為在系統引導時自動啟動，運行以下命令：

[root@node1 ~]# sudo /bin/systemctl daemon-reload
[root@node1 ~]# sudo /bin/systemctl enable kibana.service

Kibana 可以如下啟動和停止

[root@node1 ~]# sudo systemctl start kibana.service
[root@node1 ~]# sudo systemctl stop kibana.service

查看啟動日誌：

[root@node1 ~]# sudo journalctl --unit kibana
5月 09 11:14:48 node1 systemd[1]: Starting Kibana...
5月 09 11:14:48 node1 systemd[1]: Started Kibana.

然後瀏覽器訪問：http://node1:5601

初次使用時，會讓你配置一個預設的 index，也就是你至少需要關聯一個 Elasticsearch 里的 Index，可以使用 pattern 正則匹配。

註意：如果 Elasticsearch 中沒有數據的話，你是無法創建 Index 的。

如果 Spring Cloud Sleuth Zipkin + Stream + RabbitMQ 配置正確的話（以後再詳細說明），服務追蹤的數據就已經存儲在 Elasticsearch 中了。

5. Kibana 使用

創建zipkin:*索引（*匹配後面所有字元）：

然後就可以查看服務追蹤的數據了：

也可以創建自定義儀錶盤：

6. Elasticsearch 命令

創建索引：

$ curl -XPUT 'http://node1:9200/twitter'

查看 Index 索引列表：

$ curl -XGET http://node1:9200/_cat/indices
yellow open twitter k1KnzWyYRDeckjt7GASh8w 5 1 1 0 5.1kb 5.1kb
yellow open .kibana 8zJGQkq8TwC4s3JJLMX44g 1 1 1 0   4kb   4kb
yellow open student iZPqPcwrQbifGOfE9DQYvg 5 1 0 0  955b  955b

添加 Document 數據：

$ curl -XPUT 'http://node1:9200/twitter/tweet/1' -d '{
    "user" : "kimchy",
    "post_date" : "2009-11-15T14:12:12",
    "message" : "trying out Elastic Search"
}'

獲取 Document 數據：

$ curl -XGET 'http://node1:9200/twitter/tweet/1'
{"_index":"twitter","_type":"tweet","_id":"1","_version":1,"found":true,"_source":{
    "user" : "kimchy",
    "post_date" : "2009-11-15T14:12:12",
    "message" : "trying out Elastic Search"
}}%

查詢zipkin索引下麵的數據：

$ curl -XGET 'http://node1:9200/zipkin:*/_search'

參考資料：


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Ajax在表單中的應用
    ajax在註冊用戶表單中的使用 1.驗證用戶名是否被使用 2.獲取手機簡訊驗證碼 3.點擊表單中的圖片刷新，可實現刷新圖片驗證碼 ...
  • 節點的運用和方法
    JQUERY的父，子，兄弟節點查找方法 jQuery.parent(expr) 找父親節點，可以傳入expr進行過濾，比如$("span").parent()或者$("span").parent(".class") jQuery.parents(expr),類似於jQuery.parents(exp ...
  • vue-cli的基礎入門
    大家哈好！我又來了，最近打算從新順一順vue的知識。先從cli腳手架開始跟大家分享，我做的都是簡單的入門的知識。希望對大家有所幫助，有什麼不足的地方也是希望大家指出！互相成長！ vue-cli開始吧騷年！！ 第一步 安裝vue-cli： 1.檢查是否安裝node 和npm 以及版本，最好更新到最新版 ...
  • 文件上傳的一些驗證（文件類型）
    /******************************************************************************* * 驗證文件尾碼名是否滿足條件 * * @param filePath * 文件名（可以含文件路徑） * @param allowedFi ...
  • 微信公眾號DOM的一個坑
    最近不知道寫什麼，node的源碼有點不知道怎麼入手，所以還在努力學習中…… 在寫微信公眾號的時候遇到了一個小bug，有一個tab欄，在開發者工具、IOS手機上都OK，但是一到我的小米note上就GG了，怎麼切換都無法觸發對應的請求，核心代碼如下： 點擊切換後，會重置分頁的index參數，然後將滾輪弄 ...
  • 移動優先的響應式佈局
    前面的話 隨著移動互聯網的興起，不同設備的解析度相差較大，如果在不同的設置上顯示同一個頁面，則用戶體驗差。響應式網頁設計是一種方法，使得一個網站能夠相容多個終端，而不用為每個終端製作特定的版本。它使得一個網站可以在任何類型的屏幕上，都可以被輕鬆地瀏覽和使用。採用響應式設計，在不同設備中，網站會重新排 ...
  • 【原創】微信授權、獲取用戶openid-純前端實現——jsonp跨域訪問返回json數據會報錯的純前端解決辦法
    微信授權、獲取用戶openid-純前端實現——jsonp跨域訪問返回json數據會報錯的純前端解決辦法 ...
  • 百度前端學院-基礎學院-第20到21天
    1、事件：addEventListener('click', function(){}或者方法名字) 可以添加多個處理器，語法： 對應的有removeEventListener()。 2、阻止表單預設行為： preventDefault();當在事件對象上調用該函數 3、阻止事件冒泡： stopPr ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類