【趙強老師】Kafka的體系架構

来源:https://www.cnblogs.com/collen7788/archive/2020/05/25/12955374.html
-Advertisement-
Play Games

一、什麼是Kafka? 數據工程中最具挑戰性的部分之一是如何從不同點收集和傳輸大量數據到分散式系統進行處理和分析。需要通過消息隊列正確地分離大量數據,因為如果一部分數據無法傳送,則可以在系統恢復時傳輸和分析其他數據。有兩種消息排隊,對於上述目的,它們都是可靠的和非同步的。點對點(Point to po ...


一、什麼是Kafka?

數據工程中最具挑戰性的部分之一是如何從不同點收集和傳輸大量數據到分散式系統進行處理和分析。需要通過消息隊列正確地分離大量數據,因為如果一部分數據無法傳送,則可以在系統恢復時傳輸和分析其他數據。有兩種消息排隊,對於上述目的,它們都是可靠的和非同步的。點對點(Point to point)和發佈者——訂閱者(publisher-subscriber)。下圖展示了一個典型的消息系統,其中:消息的生產者負責產生消息;消息的消費者負責處理消息。

Kafka是一個分散式發佈——訂閱消息傳遞系統。Kafka快速、可擴展且耐用。它保留主題中的消息源。生產者將數據寫入主題,消費者從主題中讀取數據。
Zookeeper需要覆蓋Kafka生態系統,因此有必要下載它,更改其屬性並最終設置環境。在運行Zookeeper之後,應該下載Kafka,然後開發人員可以藉助一些指令創建代理,集群和主題。

二、消息隊列的分類

  • 點對點(Queue)

在點對點或一對一中,有一個發件人和正在監聽發件人的多個消費者。當一個消費者從隊列收到消息時,該特定消息將從隊列中消失,而其他消費者無法獲得該消息。

  • 發佈和訂閱系統(Topic)

在發佈者——訂閱者中,發佈者向同時收聽發佈者的多個消費者或訂閱者發送消息,並且每個訂閱者可以獲得相同的消息。數據應通過數據管道傳輸,數據管道負責整合來自數據源的數據。

三、Kafka的體系架構

  • 主題和發佈者

有一個發佈者發送消息。消息根據主題進行分類,每個主題都有一個或多個分區,並有自己的偏移地址。例如,如果我們為一個主題分配複製因數= 2,那麼Kafka將為每個分區創建兩個相同的副本併在群集中找到它。

  • 集群和Brokers

Kafka集群包括代理——伺服器或節點,每個代理可以位於不同的機器中,並允許訂戶選擇消息。因此,複製就像備份分區一樣,這意味著Kafka是持久的,這有助於容錯。

  • Zookeeper

Kafka集群不保留其自身生態系統的元數據,因為它是無狀態的。因此,Kafka依賴於Zookeeper來跟蹤元數據。Zookeeper應該首先啟動。實際上,Zookeeper是brokers和consumers之間的介面,它的存在是容錯的必要條件。Kafka代理負責負載平衡,假設該主題有一個主題和多個分區,每個分區都有一個領導者,定期確認其與Zookeeper的偏移量。因此,如果一個節點或代理失敗,Kafka可以從Zookeeper請求的最後一個偏移地址繼續操作,因此Zookeeper在崩潰情況下在Kafka恢復中起著至關重要的作用。

四、Kafka單機單Broker的部署

  • 部署ZooKeeper
配置/root/training/zookeeper-3.4.6/conf/zoo.cfg文件
dataDir=/root/training/zookeeper-3.4.6/tmp
server.1=hadoop112:2888:3888/root/training/zookeeper-3.4.6/tmp目錄下創建一個myid的空文件
echo 1 > /root/training/zookeeper-3.4.6/tmp/myid

啟動ZooKeeper
zkServer.sh  start

查看ZooKeeper的狀態
zkServer.sh  status

 

由於我們部署的是單節點的ZooKeeper,所以ZooKeeper的狀態將是Standalone。

  • 部署Kafka
修改server.conf文件
broker.id=0
port=9092
log.dirs=/root/training/kafka_2.11-2.4.0/logs/broker0
zookeeper.connect=localhost:2181

啟動Kafka
bin/kafka-server-start.sh config/server.properties &
  • 使用JPS查看後臺進程

五、測試Kafka

創建Topic
bin/kafka-topics.sh --create --zookeeper bigdata111:2181 --replication-factor 1 --partitions 3 --topic mytopic1

發送消息
bin/kafka-console-producer.sh --broker-list bigdata111:9092 --topic mytopic1

接收消息
消息消費
bin/kafka-console-consumer.sh --bootstrap-server bigdata111:9092 --topic mytopic1

從開始位置消費
bin/kafka-console-consumer.sh --bootstrap-server bigdata111:9092 --from-beginning --topic topicName

顯示key消費
bin/kafka-console-consumer.sh --bootstrap-server bigdata111:9092 --property print.key=true --topic mytopic1

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • nodejs安裝 官網獲得安裝包(二進位文件) 下載Nodejs預編譯包 Linux下安裝Nodejs 解壓文件的 bin 目錄底下包含了 node、npm 等命令,我們可以修改linux系統的環境變數(profile)來設置直接運行命令: 先將重要文件備份: 然後修改/etc/profile 在p ...
  • [root@node01 apache-hive-2.1.1-bin]# bin/hiveSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/export/servers/apac ...
  • 題目一 MyISAM和InnoDB的區別,什麼時候選擇MyISAM 參考回答 InnoDB是目前MySQL主流版本(5.6、5.7、8.0)預設的存儲引擎,支持事務、外鍵、行級鎖,對於併發條件下要求數據的一致性,適用於對數據準確性要求高的場景。 MyISAM只支持表級鎖、數據排列是按照插入順序,沒有 ...
  • 本教程適用於centos7.X,redis版本為6.0.3,採用線上安裝方式,安裝好centos後首先確保網路可用 1.安裝下載工具wget yum install wget 1.1.若出現類似以下問題,則可能是預設的yum源不可用 1.2 yum 換源參考: #備份初始源配置 mv /etc/yu ...
  • 1 準備工作 1.1 修改主機名 vim /etc/hosts # 添加對應主機 192.168.28.128 mha1 192.168.28.131 mha2 192.168.28.132 mha3 1.2 關閉防火牆及修改selinux # 關閉防火牆 systemctl stop firewa ...
  • 事務 資料庫併發控制的對象 事務是資料庫的邏輯工作單位 序列中的操作要麼全做,要麼全不做 特性; 原子性 一個事務中的所有操作是不可分割的,要麼全部執行,要麼 全部不執行,這就是事務的原子性。 一致性 一個被成功執行的事務,必須能使DB從一個一致性 狀態變為另一個一致性狀態。 隔離性 是指資料庫中一 ...
  • 操作異常 修改異常、插入異常、刪除異常 數據依賴 數據間的聯繫 函數依賴FD 屬性撿的聯繫,最基本的數據依賴 若確定X,則可以唯一的確定Y,則稱Y依賴於X記X->Y 若X->Y,且Y是X的子集則稱為平凡的函數依賴:平凡的FD 若X->Y且對於任何並且對於X的任何一 個真子集X′,都有X′ Y,則稱Y ...
  • 前提:建立了一個employee表,同時建立了一個組合索引lastName,gender 。 1.最常說的like匹配 例1 explain select * from employee where lastName like '%lucy'; 例2 explain select * from em ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...