【RocketMQ】NameServer總結

来源:https://www.cnblogs.com/shanml/archive/2023/05/25/17433314.html
-Advertisement-
Play Games

NameServer是一個註冊中心,提供服務註冊和服務發現的功能。NameServer可以集群部署,集群中每個節點都是對等的關係(沒有像ZooKeeper那樣在集群中選舉出一個Master節點),節點之間互不通信。 **服務註冊** Broker啟動的時候會向所有的NameServer節點進行註冊, ...


NameServer是一個註冊中心,提供服務註冊和服務發現的功能。NameServer可以集群部署,集群中每個節點都是對等的關係(沒有像ZooKeeper那樣在集群中選舉出一個Master節點),節點之間互不通信。
服務註冊
Broker啟動的時候會向所有的NameServer節點進行註冊,註意這裡是向集群中所有的NameServer節點註冊,而不是只向其中的某些節點註冊,因為NameServer每個節點都是對等的,所以Broker需要向每一個節點進行註冊,這樣每一個節點都會有一份Broker的註冊信息。

服務發現
Broker向NameServer註冊以後,生產者Producer和消費者Consumer就可以從NameServer中獲取所有註冊的Broker信息,並從中選取Broker進行消息的發送和消費。

以生產者為例,在NameServer集群部署模式下,生產者會從多個NameServer中隨機選取一個進行通信,從中拉取所有Broker的註冊信息,並將拉取到的信息進行緩存,生產者知道了Broker的信息後,就可以得知Topic的分佈情況,然後選取一個消息隊列,與其所在的Broker通信進行消息的發送。如果通信的Nameservre宕機,消費者會輪詢選擇下一個NameServer。

為什麼需要NameServer?

在使用RocketMQ的時候,為了提升性能以及應對高併發的情況,一般都會使用多個Broker進行集群部署,假設沒有註冊中心,對於Broker來說,如果想獲取到集群中所有的Broker信息(生產者和消費者需要通過某個Broker獲取整個集群的信息,從而得到Topic的分佈情況),每個Broker都需要與其他Broker通信來交換信息,以此來得到集群內所有Broker的信息,在Broker數量比較大的情況下,會造成非常大的通信壓力。

為什麼不使用zookeeper這樣的分散式協調組件?
首先zookeeper的實現複雜,引入zookeeper會增加系統的複雜度,並且zookeeper在CAP中選擇了CP,也就是一致性和分區容錯性,從而犧牲了可用性,為了保持數據的一致性會在一段時間內會不可用。

而NameServer在實現上簡單,RocketMQ的設計者也許認為對於一個消息隊列的註冊中心來說,一致性與可用性相比,可用性更重要一些,至於一致性可以通過其他方式來解決。

假如選擇了CP的ZooKeeper,先不考慮其他原因,在ZooKeeper不可用的時候,如果有消費者或生產者剛好需要從NameServer拉取信息,由於服務不可用,導致生產者和消費者無法進行消息的生產和發送,在高併發或者數據量比較大的情況下,大量的消息無法發送/無法消費影響是極大的,而如果選擇AP,即便數據暫時處於不一致的狀態,在心跳機制的作用下也可以保證數據的最終一致性,所以RocketMQ選擇了自己實現註冊中心,簡單並且輕量

舉個例子,假如集群中有三個Broker(分別為 A、B、C),向三台NameServer進行了註冊(也分別為A、B、C),消費者從NameServer中獲取到了三個Broker的信息,如果此時BrokerA需要停止服務,分別通知三台NameServer需要下線,從NameServer中剔除該Broker的信息,由於網路或者其他原因,NameServer A和B收到了下線的請求,NameServer C並未收到,此時就處於數據不一致的狀態,如果某個消費者是與NameServer C進行通信,會認為Broker還處於可用的狀態:

對於這種情況,首先NameServer與Broker之間會有一個心跳機制,NameServer定時檢測在某個時間範圍內是否收到了Broker發送的心跳請求,如果未收到,會認為該Broker不可用,將其剔除(在下麵會講到),所以對於NameServer來說,儘管數據會暫時處於不一致的狀態,但是可以保證過一段時間之後恢複數據的一致性,也就是最終一致性。

對於消費者來說,既然可以從NameServer C中獲取到Broker A的信息,那麼消費者就認為Broker A可用,如果發送的消息所在的消息隊列在Broker A中,就會與Broker A通信進行發送,但實際上Broker A實際上是不可用的,消息會發送失敗,所以RocketMQ設計了消息重試機制以及故障延遲機制。

Broker註冊

Broker啟動後會開啟定時向NameServer進行註冊(發送心跳包)的任務,發送心跳包的時間間隔可以在配置文件中進行設置,但是最長不能超過10s,也就是說Broker最長10秒鐘會向Nameserver發送一次心跳包。

NameServer收到Broker的註冊請求(心跳包)後,會判斷Broker之前是否已經註冊過,如果未註冊過將其加入到註冊的Broker集合brokerAddrTable中,同時也會記錄收到註冊請求的時間,將其加入到brokerLiveTable中,裡面記錄了NameServer收到每個Broker發送心跳包的時間,在進行心跳檢測的時候根據這個時間戳來判斷是否在規定時間內未收到該Broker發送的心跳包。

讀寫鎖
由於NameServer可能同時收到多個Broker的註冊以及生產者或者消費者的拉取請求,為了保證數據的一致性(因為有讀寫請求同時發生或者寫與寫請求同時發生),在處理相關請求的時候需要加鎖,為了提高性能,使用了ReadWriteLock讀寫鎖,處理註冊請求時會先添加寫鎖,處理拉取請求時添加讀鎖,這樣如果某一時刻都是讀的請求可以同時進行,互不影響,如果有寫請求,其他請求就需要等鎖釋放才可以進行往下進行。如果不使用讀寫鎖,直接對所有的請求加鎖,會影響性能,實際上讀與讀之間並不需要加鎖。

心跳檢測

Nameserver在啟動的時候會開啟一個用於心跳檢測的定時任務(每10s執行一次),定時掃描處於不活躍狀態的Broker,如果在規定時間內未收到某個Broker的心跳包,會認為此Broker不可用,需要將其進行剔除。

上面說到brokerLiveTable保存了當前NameServer收到的心跳數據,裡面記錄了每一個Broker最近進行註冊/發送心跳的時間戳,所以只需遍歷brokerLiveTable,獲取每一個Broker最近一次發送心跳的時間進行判斷,如果上一次發送心跳的時間 + 過期時間(120s) 小於 當前時間,也就是超過120s沒有收到某個Broker的心跳包,則認為此Broker已下線,將Broker移除

Broker下線

正常下線
當Broker下線的時候會向NameServer發起取消註冊的請求,NameServer收到請求後會將Broker剔除。

異常下線

如果Broker異常宕機,或者發送給NameServer的取消註冊請求由於某些原因並未發送成功,NameServer可能並未感知到Broker的下線,由於心跳機制定時檢測的功能,會在一段時間後發現未收到Broker的心跳請求,主動將Broker剔除。

生產者和消費者

生產者和消費者都會定時從NameServer中更新Broker的註冊信息,預設是30s進行一次更新:

public class MQClientInstance {
    private void startScheduledTask() {
         this.scheduledExecutorService.scheduleAtFixedRate(new Runnable() {

            @Override
            public void run() {
                try {
                   // 更新路由信息 MQClientInstance.this.updateTopicRouteInfoFromNameServer();
                } catch (Exception e) {
                    log.error("ScheduledTask updateTopicRouteInfoFromNameServer exception", e);
                }
            }
        }, 10, this.clientConfig.getPollNameServerInterval(), TimeUnit.MILLISECONDS);
    }
}

對應的相關源碼可參考:

【RocketMQ】【源碼】NameServer的啟動
【RocketMQ】【源碼】Broker服務註冊


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.轉換 轉換(transform)是CSS3中具有顛覆性的特征之一,可以實現元素的位移、旋轉、縮放等效果。 轉換(transform)可以簡單理解為變形。 移動:translate 旋轉:rotate 縮放:scale 1.1 二維坐標系 2D轉換是改變在二維平面上的位置和形狀的一種技術。 1.2 ...
  • > 隨著人工智慧技術的不斷發展,阿裡體育等IT大廠,推出的“樂動力”、“天天跳繩”AI運動APP,讓**雲上運動會、線上運動會、健身打卡、AI體育指導**等概念空前火熱。那麼,能否將這些在APP成功應用的場景搬上小程式,分享這些概念的紅利呢?本系列文章就帶您一步一步從零開始開發一個AI運動小程式,本 ...
  • 相信很多公司的前端開發人員都會選擇使用vue+element-ui的形式來開發公司的管理後臺系統,基於element-ui很豐富的組件生態,我們可以很快速的開發管理後臺系統的頁面(管理後臺系統的頁面也不複雜,大多都是分頁查詢類需求和增刪改查)。但一個前端框架有優點,就必然會有一些缺點或bug存在,e... ...
  • 寫這篇的目的是,今天在重新學習javascript時發現了HttpOnly這個標簽,所以專門的mark了下。 誰在什麼時候發明瞭HttpOnly 2002年微軟為ie6的sp1創造了HttpOnly 什麼是HttpOnly HttpOnly是包含在http返回頭Set-Cookie裡面的一個附加的f ...
  • 本文將學習如何使用滾動控制 ScrollControls 來控制模型的的動畫播放和相機動畫,通過滾動滑鼠滾輪或者上下移動觸摸板,來控制模型的動畫播放進度或者相機的方位視角,從而呈現出驚艷的視覺效果。通過本文的閱讀和案例頁面的實現,你將學習到的知識包括:R3F 生態中的 ScrollControls、... ...
  • 如果你有 *n* 個緩存伺服器,一個常見的負載均衡方式是使用以下的哈希方法: *伺服器索引 = 哈希(鍵) % N*,其中 *N* 是伺服器池的大小。 讓我們通過一個例子來說明這是如何工作的。如表5-1所示,我們有4台伺服器和8個字元串鍵及其哈希值。 ![image-2023052022160981 ...
  • ### GC 優化 #### 1.防止大對象Buffer到記憶體中 **現象**:當大包請求時,YGC 耗時嚴重 **原因**:預設情況下 Zuul2 並不會緩存請求體(DirectByteBuffer),也就意味著它會先發送接收到的請求 Headers 到後端服務,之後接收到請求體再繼續發送到後端服 ...
  • **我是 javapub,一名 `Markdown` 程式員從👨‍💻,八股文種子選手。** **面試官: 上個面試官對你的基礎有了一定瞭解,聽說你小子很不錯!下麵我們聊點有深度的。** **面試官: 簡單介紹下 CAS 你瞭解什麼?** **候選人:** CAS是Compare And Swap ...
一周排行
    -Advertisement-
    Play Games
  • 背景 在瀏覽器中訪問本地靜態資源html網頁時,可能會遇到跨域問題如圖。 是因為瀏覽器預設啟用了同源策略,即只允許載入與當前網頁具有相同源(協議、功能變數名稱和埠)的內容。 WebView2預設情況下啟用了瀏覽器的同源策略,即只允許載入與主機相同源的內容。所以如果我們把靜態資源發佈到iis或者通過node ...
  • 最近看幾個老項目的SQL條件中使用了1=1,想想自己也曾經這樣寫過,略有感觸,特別拿出來說道說道。編寫SQL語句就像炒菜,每一種調料的使用都會影響菜品的最終味道,每一個SQL條件的加入也會影響查詢的執行效率。那麼 1=1 存在什麼樣的問題呢?為什麼又會使用呢? ...
  • 好久不見,我又回來了。 給大家分享一個我最近使用c#代碼操作ftp伺服器的代碼示例: 1 public abstract class FtpOperation 2 { 3 /// <summary> 4 /// FTP伺服器地址 5 /// </summary> 6 private string f ...
  • 一:背景 1. 講故事 過年喝了不少酒,腦子不靈光了,停了將近一個月沒寫博客,今天就當新年開工寫一篇吧。 去年年初有位朋友找到我,說他們的系統會偶發性崩潰,在網上也發了不少帖子求助,沒找到自己滿意的答案,讓我看看有沒有什麼線索,看樣子這是一個牛皮蘚的問題,既然對方有了dump,那就分析起來吧。 二: ...
  • 自己製作的一個基於Entity Framework Core 的資料庫操作攔截器,可以列印資料庫執行sql,方便開發調試,代碼如下: /// <summary> /// EF Core 的資料庫操作攔截器,用於在資料庫操作過程中進行日誌記錄和監視。 /// </summary> /// <remar ...
  • 本文分享自華為雲社區《Go併發範式 流水線和優雅退出 Pipeline 與 Cancellation》,作者:張儉。 介紹 Go 的併發原語可以輕鬆構建流數據管道,從而高效利用 I/O 和多個 CPU。 本文展示了此類pipelines的示例,強調了操作失敗時出現的細微之處,並介紹了乾凈地處理失敗的 ...
  • 在上篇文章中,我們介紹到在多線程環境下,如果編程不當,可能會出現程式運行結果混亂的問題。出現這個原因主要是,JMM 中主記憶體和線程工作記憶體的數據不一致,以及多個線程執行時無序,共同導致的結果。 ...
  • 1、下載安裝包首先、進入官網下載安裝包網址:https://www.python.org/downloads/windows/下載步驟:進入下載地址,根據自己的電腦系統選擇相應的python版本 選擇適配64位操作系統的版本(查看自己的電腦操作系統版本), 點擊下載安裝包 也可以下載我百度雲分享的安 ...
  • 簡介 git-commit-id-maven-plugin 是一個maven 插件,用來在打包的時候將git-commit 信息打進jar中。 這樣做的好處是可以將發佈的某版本和對應的代碼關聯起來,方便查閱和線上項目的維護。至於它的作用,用官方說法,這個功能對於大型分散式項目來說是無價的。 功能 你 ...
  • 序言 在數字時代,圖像生成技術正日益成為人工智慧領域的熱點。 本討論將重點聚焦於兩個備受矚目的模型:DALL-E和其他主流AI繪圖方法。 我們將探討它們的優勢、局限性以及未來的發展方向。通過比較分析,我們期望能夠更全面地瞭解這些技術,為未來的研究和應用提供啟示。 Q: 介紹一下 dall-e Ope ...