歡迎訪問我的GitHub 這裡分類和彙總了欣宸的全部原創(含配套源碼):https://github.com/zq2599/blog_demos 關於《Strimzi Kafka Bridge(橋接)實戰》 在strimzi技術體系中,橋接(bridge)是很要的功能,內容也很豐富,因此將橋接相關的 ...
歡迎訪問我的GitHub
這裡分類和彙總了欣宸的全部原創(含配套源碼):https://github.com/zq2599/blog_demos
關於《Strimzi Kafka Bridge(橋接)實戰》
- 在strimzi技術體系中,橋接(bridge)是很要的功能,內容也很豐富,因此將橋接相關的內容從《strimzi實戰》系列中獨立出來,成立橋接相關的系列文章,便於分類和專項深入
本篇概覽
- 本文是《Strimzi Kafka Bridge(橋接)實戰》系列的第一篇,按照慣例,先做好介紹和部署工作,以便後續深入學習
- 什麼是橋接?來看官方說明,如下圖,最上面的Brokers就是核心的kafka服務,底部的Client是業務應用,分為消息生產者(Producers)和消費者(Consumers)兩類,正中心藍色背景的Strimzi Kafka Bridge就是今天的主角:strimzi橋接服務,從下圖很容易看出它的作用:通過http介面來生產和消費kafka消息
- 在整個strimzi技術體系中,bridge可謂舉足輕重,如下圖紅框,官方為bridge準備了專門文檔鏈接,這是其他擴展組件都沒有的待遇
安裝方式的選擇
- bridge支持在兩種環境下安裝:
- kubernetes環境:使用strimzi的kafka-operator安裝
- 非kubernetes環境:使用bridge的安裝包,解壓後修改配置文件,然後用內置的shell文件啟動即可
- 整個《strimzi實戰》系列都是在kubernetes環境中操作的,所以本篇只考慮上述第一種安裝方式:kafka-operator
- 整個部署過程非常簡單,首先確認kubernetes和strimzi的operator都已經部署完成,kafka服務也已經部署好了(部署細節請參考《strimzi實戰之二:部署和消息功能初體驗》)
- 第二步:新增名為kafka-bridge.yaml的文件,內容如下
apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaBridge
metadata:
name: my-bridge
spec:
replicas: 1
bootstrapServers: my-cluster-kafka-bootstrap:9092
http:
port: 8080
- 執行以下命令開始部署bridge,我這裡kafka服務的namespace是aabbcc,請您改為自己實際的namespace
kubectl apply -f kafka-bridge.yaml -n aabbcc
- 查看deployment、service、pod,發現均有新增,如下圖
- 從上圖可見,bridge的service是ClusterIP類型,其值是10.96.0.222,於是迫不及待的試試bridge,執行以下命令,向bridge發出第一個請求,功能是獲取所有topic
curl -X GET http://10.96.0.222:8080/topics
- 成功收到bridge的響應,如下圖,現有全部topic都返回了
增加一個service,使得可以從外部訪問
- bridge的服務是ClusterIP類型,外部無法訪問,那就新增一個NodePort類型的服務吧,新建文件bridge-service-nodeport.yaml,內容如下,31331是我在宿主機上隨便找了個未占用的埠,您隨意
apiVersion: v1
kind: Service
metadata:
name: bridge-nodeport
spec:
type: NodePort
ports:
- port: 8080
nodePort: 31331
selector:
strimzi.io/cluster: my-bridge
strimzi.io/kind: KafkaBridge
strimzi.io/name: my-bridge-bridge
- 執行以下命令讓上述service生效,我這裡kafka服務的namespace是aabbcc,請您改為自己實際的namespace
kubectl apply -f bridge-service-nodeport.yaml -n aabbcc
- 從宿主機暴露埠後,就可以用客戶端工具(例如apipost)遠程訪問了,如下圖
安全問題(需要自己處理)
- 從前面的架構圖可以看出,業務服務與bridge之間是http協議,那麼存在安全問題嗎(畢竟是遠程調用)?如果真的存在安全問題,strimzi都應對之策嗎?
- 安全問題確實存在,而且strimzi的應對之策也真夠敷衍...不多說了,來圍觀吧
- 調侃歸調侃,但是真正使用bridge的時候,尤其是應用與bridge不在同一個內網環境時,一定要自己做好安全工作
- 至此,Strimzi Kafka Bridge的介紹和部署已經完成,接下來的文章會有更多實戰等著咱們,通過實際操作熟練掌握橋接特性