docker搭建Elasticsearch、Kibana、Logstash 同步mysql數據到ES

来源:https://www.cnblogs.com/wang1221/archive/2022/12/28/17009397.html
-Advertisement-
Play Games

一、前言 在數據量大的企業級實踐中，Elasticsearch顯得非常常見，特別是數據表超過千萬級後，無論怎麼優化，還是有點力不從心！使用中，最首先的問題就是怎麼把千萬級數據同步到Elasticsearch中，在一些開源框架中知道了，有專門進行同步的！那就是Logstash 。在思考，同步完怎麼查看 ...


一、前言

在數據量大的企業級實踐中，Elasticsearch顯得非常常見，特別是數據表超過千萬級後，無論怎麼優化，還是有點力不從心！使用中，最首先的問題就是怎麼把千萬級數據同步到Elasticsearch中，在一些開源框架中知道了，有專門進行同步的！那就是Logstash 。在思考，同步完怎麼查看呢，這時Kibana映入眼帘，可視化的界面，讓使用更加的得心應手哈！！這就是三劍客ELK。不過大多時候都是進行日誌採集的，小編沒有用，只是用來解決一個表的數據量大，查詢慢的！後面小編在專門搭建日誌採集的ELK。

二、三者介紹

1. Elasticsearch

Elasticsearch 是一個分散式、RESTful 風格的搜索和數據分析引擎，能夠解決不斷涌現出的各種用例。作為 Elastic Stack 的核心，Elasticsearch 會集中存儲您的數據，讓您飛快完成搜索，微調相關性，進行強大的分析，並輕鬆縮放規模。

2. Kibana

Kibana 是一個免費且開放的用戶界面，能夠讓您對 Elasticsearch 數據進行可視化，並讓您在 Elastic Stack 中進行導航。您可以進行各種操作，從跟蹤查詢負載，到理解請求如何流經您的整個應用，都能輕鬆完成。

3. Logstash

Logstash 是免費且開放的伺服器端數據處理管道，能夠從多個來源採集數據，轉換數據，然後將數據發送到您最喜歡的“存儲庫”中。

三、版本選擇

現在最新版就是8.5，最新的教程少和問題未知，小編選擇7版本的，求一手穩定哈！

於是去hub.docker查看了一下，經常用的版本，最終確定為：7.17.7

dockerHub官網地址

官方規定：
安裝 Elastic Stack 時，您必須在整個堆棧中使用相同的版本。例如，如果您使用的是 Elasticsearch 7.17.7，則安裝 Beats 7.17.7、APM Server 7.17.7、Elasticsearch Hadoop 7.17.7、Kibana 7.17.7 和 Logstash 7.17.7

在這裡插入圖片描述

四、搭建mysql

1. 拉去MySQL鏡像

sudo docker pull mysql:5.7

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/0709ce9181a04bfcb97504cae7189ba5.png
)

2. Docker啟動MySQL

sudo docker run -p 3306:3306 --name mysql \
-v /mydata/mysql/log:/var/log/mysql \
-v /mydata/mysql/data:/var/lib/mysql \
-v /mydata/mysql/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root \
-d mysql:5.7
####這裡往下是解釋,不需要粘貼到linux上#############
--name 指定容器名字
-v 將對應文件掛載到linux主機上
-e 初始化密碼
-p 容器埠映射到主機的埠(把容器的3306映射到linux中3306,這樣windows上就可以訪問這個資料庫)
-d 後臺運行

在這裡插入圖片描述

3. Docker配置MySQL

vim /mydata/mysql/conf/my.cnf # 創建併進入編輯

[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
skip-name-resolve

在這裡插入圖片描述

4. Docker重啟MySQL使配置生效

docker restart mysql

5. 新增資料庫

在這裡插入圖片描述

6. 新建測試表

DROP TABLE IF EXISTS `sys_log`;
CREATE TABLE `sys_log`  (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '日誌主鍵',
  `title` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT '' COMMENT '模塊標題',
  `business_type` int(2) NULL DEFAULT 0 COMMENT '業務類型（0其它 1新增 2修改 3刪除）',
  `method` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT '' COMMENT '方法名稱',
  `request_method` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT '' COMMENT '請求方式',
  `oper_name` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT '' COMMENT '操作人員',
  `oper_url` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT '' COMMENT '請求URL',
  `oper_ip` varchar(128) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT '' COMMENT '主機地址',
  `oper_time` datetime(0) NULL DEFAULT NULL COMMENT '操作時間',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 1585197503834284034 CHARACTER SET = utf8 COLLATE = utf8_general_ci COMMENT = '操作日誌記錄' ROW_FORMAT = Dynamic;

SET FOREIGN_KEY_CHECKS = 1;

五、ELK搭建準備

1. 創建掛載的文件

es掛載：

mkdir -p /mydata/elk/elasticsearch/{config,plugins,data,logs}

kibana掛載：

mkdir -p /mydata/elk/kibana/config

logstash掛載：

mkdir -p /mydata/elk/logstash/config

2. ES掛載具體配置

vim /mydata/elk/elasticsearch/config/elasticsearch.yml

輸入下麵命令：

http.host: 0.0.0.0
xpack.security.enabled: false

http.host：任何地址都可以訪問。
xpack.security.enabled：關閉密碼認證

3. Kibana掛載具體配置

vim /mydata/elk/kibana/config/kibana.yml

內容：

server.host: 0.0.0.0
elasticsearch.hosts: [ "http://192.168.239.131:9200" ]

elasticsearch.hosts：指向es地址

4. Logstash掛載具體配置

vim /mydata/elk/logstash/config/logstash.yml

內容：

http.host: 0.0.0.0
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.239.131:9200" ]

記錄存放：

touch log
chmod 777 log

vim /mydata/elk/logstash/config/logstash.conf

內容：

jdbc_driver_library：指定必須要自己下載mysql-connector-java-8.0.28.jar，版本自己決定，下載地址；

statement：如果sql長，可以指定sql文件，直接指定文件所在位置，這裡的位置都為容器內部的地址；

last_run_metadata_path：上次記錄存放文件對應上方的log。

在這裡插入圖片描述

input {
    stdin {
    }
    jdbc {
      jdbc_connection_string => "jdbc:mysql://192.168.239.131:3306/test?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC"
      jdbc_user => "root"
      jdbc_password => "root"
      jdbc_driver_library => "/usr/share/logstash/config/mysql-connector-java-8.0.28.jar"
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "300000"
      statement => "SELECT id, title, business_type, method, request_method, oper_name, oper_url, oper_ip, oper_time FROM sys_log"
      schedule => "*/1 * * * *"
      use_column_value => false
      tracking_column_type => "timestamp"
      tracking_column => "oper_time"
      record_last_run => true
      jdbc_default_timezone => "Asia/Shanghai"
      last_run_metadata_path => "/usr/share/logstash/config/log"
    }
}
 
output {
    elasticsearch {
        hosts => ["192.168.239.131:9200"]
        index => "sys_log"
        document_id => "%{id}"
    }
    stdout {
        codec => json_lines
    }
}

流水線指定上面的配置文件：

vim /mydata/elk/logstash/config/pipelines.yml

內容：

- pipeline.id: sys_log
  path.config: "/usr/share/logstash/config/logstash.conf"

最終/mydata/elk/logstash/config/下的文件

在這裡插入圖片描述

防止保存沒有修改許可權，可以把上面建的文件夾和文件賦予修改許可權：

chmod 777 文件名稱

五、運行容器

0. docker compose一鍵搭建

在elk目錄創建：

vim docker-compose.yml

內容如下：

version: '3'
services:
  elasticsearch:
    image: elasticsearch:7.17.7
    container_name: elasticsearch
    ports:
      - "9200:9200"
      - "9300:9300"
    environment:
      - cluster.name=elasticsearch
      - discovery.type=single-node
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - /mydata/elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins
      - /mydata/elk/elasticsearch/data:/usr/share/elasticsearch/data
      - /mydata/elk/elasticsearch/logs:/usr/share/elasticsearch/logs

  kibana:
    image: kibana:7.17.7
    container_name: kibana
    ports:
      - "5601:5601"
    depends_on:
      - elasticsearch
    environment:
      I18N_LOCALE: zh-CN
    volumes:
      - /mydata/elk/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml

  logstash:
    image: logstash:7.17.7
    container_name: logstash
    ports:
      - "5044:5044"
    volumes:
      - /mydata/elk/logstash/config:/usr/share/logstash/config
    depends_on:
      - elasticsearch

一定要在docker-compose.yml所在目錄執行命令！！

運行：

docker compose up -d

在這裡插入圖片描述

完成後可以跳到5進行查看kibana！！

1. 運行ES

docker run --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms64m -Xmx512m" -v /mydata/elk/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /mydata/elk/elasticsearch/data:/usr/share/elasticsearch/data -v  /mydata/elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins -d elasticsearch:7.17.7

在這裡插入圖片描述

2. 運行Kibana

docker run --name kibana -e ELASTICSEARCH_HOSTS=http://192.168.239.131:9200 -p 5601:5601 -d kibana:7.17.7

在這裡插入圖片描述

3. 運行Logstash

docker run -d -p 5044:5044 -v /mydata/elk/logstash/config:/usr/share/logstash/config --name logstash logstash:7.17.7

在這裡插入圖片描述

4. 容器完結圖

在這裡插入圖片描述

5. 訪問Kibana

http://192.168.239.131:5601/app/home#/

在這裡插入圖片描述

六、新建索引

PUT /sys_log
{
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 0,
    "index": {
      "max_result_window": 100000000
    }
  },
  "mappings": {
    "dynamic": "strict",
    "properties": {
      "@timestamp": {
        "type": "date"
      },
      "@version": {
        "type": "text",
        "fields": {
          "keyword": {
            "type": "keyword",
            "ignore_above": 256
          }
        }
      },
      
      "business_type": {
        "type": "integer"
      },
      "title": {
        "type": "text"
      },
      "method": {
        "type": "text"
      },
      "request_method": {
        "type": "text"
      },
      "oper_name": {
        "type": "text"
      },
      "oper_url": {
        "type": "text"
      },
      "oper_ip": {
        "type": "text"
      },
      "oper_time": {
        "type": "date"
      },
      "id": {
        "type": "long"
      }
    }
  }
}

七、測試

新增幾條記錄，然後查看Logstash日誌

docker logs -f logstash

在這裡插入圖片描述
我們去kibana看一下是否已存在：
輸入命令：

GET /sys_log/_search
{
  "query": {
    "match_all": {}
  }
}

我們看到存在6條，和mysql一致！！

在這裡插入圖片描述
在這裡插入圖片描述

八、總結

話費了一天時間，終於搭建完成了，太不容易了！下篇文章搭建ELK日誌，歡迎點個關註，等待更新哈！！

如果對你有幫助，還請不要吝嗇您的發財小手，一鍵三連是我寫作的動力，謝謝大家哈！！

可以看下一小編的微信公眾號文章首發看，歡迎關註，一起交流哈！！


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • LeetCode-224. 基本計算器
    題目來源 224. 基本計算器 題目詳情 給你一個字元串表達式 s ，請你實現一個基本計算器來計算並返回它的值。 註意:不允許使用任何將字元串作為數學表達式計算的內置函數，比如 eval() 。 示例 1： 輸入： s = "1 + 1" 輸出： 2 示例 2： 輸入： s = " 2-1 + 2 ...
  • 基於 Dubbo Admin 實現同機房/區域優先
    JZ64 求1+2+3+...+n 題目 求1+2+3+...+n，要求不能使用乘除法、for、while、if、else、switch、case等關鍵字及條件判斷語句（A?B:C）。 方法 位運算 思路 演算法實現 從1連加到n，不能使用城乘除法，那就只能相加了。一個一個加，但是迴圈需要判斷什麼時候 ...
  • 當我把用Python做的課堂點名系統獻給各科老師後，再也沒掛過科
    剛上大學的表弟問我，大學準備好好玩玩，問我有沒有什麼不掛科的秘訣。 哎，這可就問對人了，要想不掛科，先把老師賄賂好，當然，咱們說的賄賂不是送錢啥的，這不是侮辱老師嗎？ 於是我連夜給表弟寫了一個課堂點名系統，讓他給每個任課老師都送一遍，方便老師就是方便自己，嘿嘿~ 準備工作 首先我們需要準備好點名的姓 ...
  • 一分鐘搞定Netty 三大組件，如果搞不定，再看3遍
    1. 三大組件簡介 Channel 與 Buffer Java NIO 系統的核心在於：通道 (Channel) 和緩衝區 (Buffer)。通道表示打開到 IO 設備 (例如：文件、套接字) 的連接。若需要使用 NIO 系統，需要獲取用於連接 IO 設備的通道 以及用於容納數據的緩衝區。然後操作緩 ...
  • C++11：非受限聯合體（union）
    在 C/C++ 中，聯合體（Union）是一種構造數據類型。在一個聯合體內，我們可以定義多個不同類型的成員，這些成員將會共用同一塊記憶體空間。老版本的 C++ 為了和C語言保持相容，對聯合體的數據成員的類型進行了很大程度的限制，這些限制在今天看來並沒有必要，因此 C++11 取消了這些限制。 C++1 ...
  • Java HashMap原理
    HashMap是Java中用於實現映射關係的一種數據結構。它允許將一個對象（稱為鍵）映射到另一個對象（稱為值）。當需要訪問值時，可以使用鍵來查找值。 HashMap的實現原理是使用散列函數將鍵映射到表中的桶（也稱為桶位置）。每個桶都包含了一些鍵值對，這些鍵值對按照鍵的散列值存儲在桶中。 當向Hash ...
  • 面試官問：為啥不建議使用 Select *？請你大聲地回答他！！
    作者：小目標青年 來源：https://blog.csdn.net/qq_35387940/article/details/125921218 前言 不建議使用 select * 這幾個字眼，做開發的都不陌生吧。 阿裡的開發手冊上面也是有提到： 這個完整版可以關註公眾號Java核心技術，然後在公眾號 ...
  • Python爬蟲實戰，requests+openpyxl模塊，爬取小說數據並保存txt文檔（附源碼）
    前言 今天給大家介紹的是Python爬取小說數據並保存txt文檔，在這裡給需要的小伙伴們代碼，並且給出一點小心得。 首先是爬取之前應該儘可能偽裝成瀏覽器而不被識別出來是爬蟲，基本的是加請求頭，但是這樣的純文本數據爬取的人會很多，所以我們需要考慮更換代理IP和隨機更換請求頭的方式來對小說數據進行爬取。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類