strimzi實戰之二:部署和消息功能初體驗

来源:https://www.cnblogs.com/bolingcavalry/archive/2023/09/25/17724677.html
-Advertisement-
Play Games

歡迎訪問我的GitHub 這裡分類和彙總了欣宸的全部原創(含配套源碼):https://github.com/zq2599/blog_demos 本篇概覽 本篇是《strimzi實戰》系列的第二篇,前文完成了介紹和準備工作,是時候體驗strimzi的核心功能了:發送和接受kafka消息,為了完成這個 ...


歡迎訪問我的GitHub

這裡分類和彙總了欣宸的全部原創(含配套源碼):https://github.com/zq2599/blog_demos

本篇概覽

  • 本篇是《strimzi實戰》系列的第二篇,前文完成了介紹和準備工作,是時候體驗strimzi的核心功能了:發送和接受kafka消息,為了完成這個目標,本篇會按照如下步驟開始實戰:
  1. 在kubernetes環境部署strimzi,這裡麵包含兩個步驟:首先是將各類資源創建好,然後再啟動strmzi
  2. 驗證基本功能:發送和接受kafka消息,這裡面有兩種操作(註意,是兩種裡面二選一,不是兩步):如果您的kubernetes環境有pv,就可以選擇使用pv的操作步驟,如果您沒有pv,就選擇不用pv的操作步驟
  3. 刪除操作
  • 接下來開始實戰

部署

  • 創建namespace
kubectl create namespace kafka
  • 部署角色、許可權、CRD等資源
kubectl create -f 'https://strimzi.io/install/latest?namespace=kafka' -n kafka

啟動

  • 接下來的啟動操作,根據您的實際情況,有兩種可選
  1. 第一種:如果您的k8s環境已經準備好了pv,請執行以下命令完成部署,strimzi會通過pvc去申請使用pv,這樣就算pod有問題被刪除重建了,kafka消息的數據也不會丟失
kubectl apply -f https://strimzi.io/examples/latest/kafka/kafka-persistent-single.yaml -n kafka
  1. 第二種,如果您的k8s環境還沒有準備好pv,請執行以下命令完成部署,這樣創建的kafka服務也能正常使用,只不過所有數據都存在pod中,一旦pod被刪除,數據就找不回來了
kubectl apply -f https://strimzi.io/examples/latest/kafka/kafka-ephemeral-single.yaml -n kafka
  • 以上兩種方式只要選擇一種去執行即可,執行完命令後,需要等待鏡像下載和服務創建,尤其是鏡像下載,實測真的慢啊,我用騰訊雲伺服器大約等了七八分鐘
[root@VM-12-12-centos ~]# kubectl get pod -n kafka
NAME                                        READY   STATUS              RESTARTS   AGE
strimzi-cluster-operator-566948f58c-h2t6g   0/1     ContainerCreating   0          16m
  • 等到operator的pod運行起來後,就該創建zookeeper的pod了,繼續等鏡像下載...
[root@VM-12-12-centos ~]# kubectl get pods -n kafka
NAME                                        READY   STATUS              RESTARTS   AGE
my-cluster-zookeeper-0                      0/1     ContainerCreating   0          7m59s
my-cluster-zookeeper-1                      0/1     ContainerCreating   0          7m59s
my-cluster-zookeeper-2                      0/1     ContainerCreating   0          7m59s
strimzi-cluster-operator-566948f58c-h2t6g   1/1     Running             0          24m
  • 如下圖紅色箭頭所指,顯示正在拉取zookeeper鏡像
    在這裡插入圖片描述
  • 等到zookeeper的pod創建完成後,終於輪到主角登場了:開始kafka的pod創建,最後,來個全家福,如下所示,一套具備基本功能的kafka環境
[root@VM-12-12-centos ~]# kubectl get pods -n kafka
NAME                                          READY   STATUS    RESTARTS   AGE
my-cluster-entity-operator-66598599fc-sskcx   3/3     Running   0          73s
my-cluster-kafka-0                            1/1     Running   0          96s
my-cluster-zookeeper-0                        1/1     Running   0          14m
my-cluster-zookeeper-1                        1/1     Running   0          14m
my-cluster-zookeeper-2                        1/1     Running   0          14m
strimzi-cluster-operator-566948f58c-h2t6g     1/1     Running   0          30m

基本操作:收發消息

  • strimzi部署已經OK,現在收發消息試試,看kafka基本功能是否正常
  • 接下來的操作需要兩個控制台視窗,一個用於發消息,一個用於收消息
  • 在發消息的視窗輸入以下命令,就會創建名為my-topic的topic,並且進入發送消息的模式
kubectl -n kafka \
run kafka-producer \
-ti \
--image=quay.io/strimzi/kafka:0.32.0-kafka-3.3.1 \
--rm=true \
--restart=Never \
-- bin/kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9092 --topic my-topic
  • 在收消息的視窗輸入以下命令,就會進入消費消息的模式,topic是my-topic
kubectl -n kafka \
run kafka-consumer \
-ti \
--image=quay.io/strimzi/kafka:0.32.0-kafka-3.3.1 \
--rm=true \
--restart=Never \
-- bin/kafka-console-consumer.sh --bootstrap-server my-cluster-kafka-bootstrap:9092 --topic my-topic --from-beginning
  • 然後,在發送消息的視窗輸入一些文字後再回車,消息就會發送出去,如下圖,左側紅框顯示一共發送了四次消息,最後一次是空字元串,右側黃框顯示成功收到四條消息
    在這裡插入圖片描述

  • 如果您的kubernetes環境是按照《快速搭建雲原生開發環境(k8s+pv+prometheus+grafana)》的方法來部署的,現在就能通過grafana看到命名空間kafka下麵的資源了,如下圖
    在這裡插入圖片描述

  • 另外,如果您使用了pv,還可以關註一下pv的使用情況,如下圖,kafka的zookeeper的數據都改為外部存儲了,數據不會因為pod問題而丟失
    在這裡插入圖片描述

  • 不過由於我們還沒有將strimzi的監控配置好,現在還看不到kafka業務相關的指標情況,只能從k8s維度去查看pod的基本指標,這些會在後面的章節補齊

刪除操作

  • 如果需要把strimzi從kubernetes環境刪除,執行以下操作即可:
  • 如果您使用了pv,就執行以下命令完成刪除
kubectl delete -f https://strimzi.io/examples/latest/kafka/kafka-persistent-single.yaml -n kafka \
&& kubectl delete -f 'https://strimzi.io/install/latest?namespace=kafka' -n kafka \
&& kubectl delete namespace kafka
  • 如果您沒有使用pv,就執行以下命令完成刪除
kubectl delete -f https://strimzi.io/examples/latest/kafka/kafka-ephemeral-single.yaml -n kafka \
&& kubectl delete -f 'https://strimzi.io/install/latest?namespace=kafka' -n kafka \
&& kubectl delete namespace kafka
  • 再去檢查所有pod,已看不到strimzi的痕跡
[root@VM-12-12-centos ~]# kubectl get pod -A
NAMESPACE            NAME                                          READY   STATUS    RESTARTS   AGE
calico-apiserver     calico-apiserver-67b7856948-bg2wh             1/1     Running   0          6d2h
calico-apiserver     calico-apiserver-67b7856948-fz64n             1/1     Running   0          6d2h
calico-system        calico-kube-controllers-78687bb75f-z2r7m      1/1     Running   0          6d2h
calico-system        calico-node-l6nmw                             1/1     Running   0          6d2h
calico-system        calico-typha-b46ff96f6-qqzxb                  1/1     Running   0          6d2h
calico-system        csi-node-driver-lv2g2                         2/2     Running   0          6d2h
kafka                my-cluster-entity-operator-66598599fc-fz7wx   3/3     Running   0          4m57s
kafka                my-cluster-kafka-0                            1/1     Running   0          5m22s
kafka                my-cluster-zookeeper-0                        1/1     Running   0          5m48s
kafka                strimzi-cluster-operator-566948f58c-pj45s     1/1     Running   0          6m15s
kube-system          coredns-78fcd69978-57r7x                      1/1     Running   0          6d2h
kube-system          coredns-78fcd69978-psjcs                      1/1     Running   0          6d2h
kube-system          etcd-vm-12-12-centos                          1/1     Running   0          6d2h
kube-system          kube-apiserver-vm-12-12-centos                1/1     Running   0          6d2h
kube-system          kube-controller-manager-vm-12-12-centos       1/1     Running   0          6d2h
kube-system          kube-proxy-x8nhg                              1/1     Running   0          6d2h
kube-system          kube-scheduler-vm-12-12-centos                1/1     Running   0          6d2h
local-path-storage   local-path-provisioner-55d894cf7f-mpd2n       1/1     Running   0          3d21h
monitoring           alertmanager-main-0                           2/2     Running   0          24h
monitoring           alertmanager-main-1                           2/2     Running   0          24h
monitoring           alertmanager-main-2                           2/2     Running   0          24h
monitoring           blackbox-exporter-6798fb5bb4-4hmf7            3/3     Running   0          24h
monitoring           grafana-d9c6954b-qts2s                        1/1     Running   0          24h
monitoring           kube-state-metrics-5fcb7d6fcb-szmh9           3/3     Running   0          24h
monitoring           node-exporter-4fhb6                           2/2     Running   0          24h
monitoring           prometheus-adapter-7dc46dd46d-245d7           1/1     Running   0          24h
monitoring           prometheus-adapter-7dc46dd46d-sxcn2           1/1     Running   0          24h
monitoring           prometheus-k8s-0                              2/2     Running   0          24h
monitoring           prometheus-k8s-1                              2/2     Running   0          24h
monitoring           prometheus-operator-7ddc6877d5-d76wk          2/2     Running   0          24h
tigera-operator      tigera-operator-6f669b6c4f-t8t9h              1/1     Running   0          6d2h
  • 不過,對於pv來說,由於使用的策略是Retain,因此還會繼續存在
    在這裡插入圖片描述
  • 至此,strimzi基本功能實戰已經完成,咱們知道瞭如何快速部署strimzi和收發消息,感受到operator給我們帶來的便利,接下來的文章,還會有更多簡單的操作,更多精彩的功能等著咱們去嘗試,歡迎您繼續關註欣宸原創,咱們一起學習共同進步

歡迎關註博客園:程式員欣宸

學習路上,你不孤單,欣宸原創一路相伴...


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 今天不知為何開始報錯 Entry WEB-INF/classes/classpath.index is a duplicate but no duplicate handling strategy has been set.,大約是由於 我把 Gradle 遷移到了 Kotlin 導致的 經過一番搜 ...
  • 大家好,我是TJ君! 如今在國內運營的各種互聯網應用都有接入IP來源顯示的要求,現在相關API的供應商也很多。今天TJ剛好看到一個不錯的,所以馬上給大家推薦一下。 這款不錯的產品名稱為:IPInfo 產品特性 該IP查詢工具除了傳統的提供地址位置之外,還有很多其他能力,具體的這裡TJ君給大家整理了一 ...
  • 前兩天一個小伙伴突然找我求助,說準備換個坑,最近在系統複習多線程知識,但遇到了一個刷新認知的問題…… ...
  • 大家好,我是mep。今天一起來探討一下Redis緩存的問題,SpringBoot如何集成Redis網上文章很多,基本都是介紹如何配置redisTemplate,如何調用,本文就不過多介紹了。這次我們研究的是:Redis的事務。 首先拋出一個問題,Redis支持事務嗎? 答案肯定是支持,不然也不需要我 ...
  • 如果分析的數據與地域相關,那麼,把分析結果結合地圖一起展示的話,會讓可視化的效果得到極大的提升。 比如,分析各省GDP數據,人口數據,用柱狀圖,餅圖之類的雖然都可以展示分析結果,不過,如果能在全國的地圖上展示各省的分析結果的話,會讓人留下更加深刻的印象。 將數據的分析結果展示在地圖上,難點在於: 如 ...
  • AbstractQueuedSynchronizer抽象同步隊列簡稱AQS,它是實現同步器的基礎組件,併發包中鎖的底層就是使用AQS實現的。大多數開發者可能永遠不會直接使用AQS,但是知道其原理對於架構設計還是很有幫助的。 ...
  • 在開發Go應用程式時,處理配置是一個常見的需求。配置可能來自於配置文件、環境變數、命令行參數等等。Viper是一個強大的庫,可以幫助我們處理這些配置。 什麼是Viper? Viper是一個應用程式配置解決方案,用於Go應用程式。它支持JSON、TOML、YAML、HCL、envfile和Java p ...
  • 記憶體進程讀寫可以讓我們訪問其他進程的記憶體空間並讀取或修改其中的數據。這種技術通常用於各種調試工具、進程監控工具和反作弊系統等場景。在`Windows`系統中,記憶體進程讀寫可以通過一些`API`函數來實現,如`OpenProcess`、`ReadProcessMemory`和`WriteProcess... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...