Disruptor-簡單使用

来源:https://www.cnblogs.com/konghuanxi/archive/2023/04/10/17303118.html
-Advertisement-
Play Games

前言 Disruptor是一個高性能的無鎖併發框架,其主要應用場景是在高併發、低延遲的系統中,如金融領域的交易系統,游戲伺服器等。其優點就是非常快,號稱能支撐每秒600萬訂單。需要註意的是,Disruptor是單機框架,對標JDK中的Queue,而非可用於分散式系統的MQ 本文基於Disruptor ...


前言

Disruptor是一個高性能的無鎖併發框架,其主要應用場景是在高併發、低延遲的系統中,如金融領域的交易系統,游戲伺服器等。其優點就是非常快,號稱能支撐每秒600萬訂單。需要註意的是,Disruptor是單機框架,對標JDK中的Queue,而非可用於分散式系統的MQ

本文基於Disruptor v3.4.*版本

Demo

既然是簡單使用,這階段只需要關註:

  • 生產者
  • 消費者:EventHandler
  • 消息的傳遞:消息的載體Event

簡單例子

首先,我們定義消息的載體Event,生產者向消費者傳遞的消息通過Event承載

class LongEvent {
    private long value;

    public void set(long value) {
        this.value = value;
    }
    @Override
    public String toString() {
        return "LongEvent{" + "value=" + value + '}';
    }
}

然後定義Event生產工廠,這用於初始化Event

EventFactory<LongEvent> factory = new EventFactory<LongEvent>() {
    @Override
    public LongEvent newInstance() {
        return new LongEvent();
    }
};

接下來就可以構建Disruptor了,以下是完整代碼

// 消息載體(event)
static class LongEvent {
    private long value;

    public void set(long value) {
        this.value = value;
    }
    @Override
    public String toString() {
        return "LongEvent{" + "value=" + value + '}';
    }
}

// 發佈消息的轉換器
public static void translate(LongEvent event, long sequence, ByteBuffer buffer)
{
    event.set(buffer.getLong(0));
}

public static void main(String[] args) throws Exception {

    // event生產工廠,初始化RingBuffer的時候使用
    EventFactory<LongEvent> factory = new EventFactory<LongEvent>() {
        @Override
        public LongEvent newInstance() {
            return new LongEvent();
        }
    };

    // 指定RingBuffer的大小(必須是2的n次方)
    int bufferSize = 1024;

    // 構造Disruptor(預設使用多生產者模式、BlockingWaitStrategy阻塞策略)
    Disruptor<LongEvent> disruptor = new Disruptor<>(LongEvent::new, bufferSize, DaemonThreadFactory.INSTANCE);
    //  Disruptor<LongEvent> disruptor = new Disruptor<>(factory, bufferSize, DaemonThreadFactory.INSTANCE, ProducerType.MULTI, new BlockingWaitStrategy());
    // 設置消費者
    EventHandler<LongEvent> handler = (event, sequence, endOfBatch) -> {
        System.out.println("Event: " + event);
    };
    disruptor.handleEventsWith(handler);

    // 啟動disruptor,啟動所有需要運行的線程
    disruptor.start();

    RingBuffer<LongEvent> ringBuffer = disruptor.getRingBuffer();
    ByteBuffer bb = ByteBuffer.allocate(8);
    for (long i = 0; i < 100; i++) {
        bb.putLong(i);
        // 發佈事件
        ringBuffer.publishEvent(LongEventMain::translate, bb);
    }
}

消費者組合(多使用場景)

Disruptor不僅可以當高性能的隊列使用,還支持消費者的串列、並行消費等

以下只展示關鍵代碼(設置消費者),其餘部分參考上一節的簡單demo

  1. 單鏈串列

    Untitled

    disruptor.handleEventsWith(handlerA).then(handlerB);
    
  2. 並行

    Untitled

    disruptor.handleEventsWith(handlerA, handlerB);
    
  3. 鏈內串列,多鏈並行

    Untitled

    disruptor.handleEventsWith(handlerA).then(handlerC);
    disruptor.handleEventsWith(handlerB).then(handlerD);
    
  4. 菱形(C、D都執行完才到E)

    Untitled

    disruptor.handleEventsWith(handlerA).then(handlerC);
    disruptor.handleEventsWith(handlerB).then(handlerD);
    disruptor.after(handlerC, handlerD).then(handlerE);
    
    
  5. 分組(AB都執行完才到CD)

    Untitled

    disruptor.handleEventsWith(handlerA, handlerB).then(handlerC, handlerD);
    
  6. 分組不重覆消費

    組內競爭,組外串列:每個消息在每個分組中只有一個消費者能消費成功,如果就是分組A中只有HandlerA2能得到數據,分組B中只有HandlerB1獲得

    Untitled

    // 註意:此處的handler實現的是WorkHandler介面
    disruptor.handleEventsWithWorkerPool(handlerA1, handlerA2, handlerA3)
                    .then(handlerB1, handlerB2, handlerB3);
    
  7. 分組不重覆消費(菱形)

    Untitled

    // handlerA、handlerB實現WorkHandler介面
    // handlerC 實現EventHandler或WorkHandler介面均可
    disruptor.handleEventsWithWorkerPool(handlerA1, handlerA2, handlerA3)
                    .then(handlerB1, handlerB2, handlerB3)
                    .then(handlerC);
    

    等待策略

    消費者速度比生產者快時,需要等待。因此就有了不同的等待策略以適應不同場景

    • BlockingWaitStrategy

      預設策略。使用鎖和 Condition 的等待、喚醒機制。速度慢,但節省CPU資源並且在不同部署環境中能提供更加一致的性能表現。

    • YieldingWaitStrategy

      二段式,一階段自旋100次,二階段執行Thread.yield,需要低延遲的場景可使用此策略

    • SleepingWaitStrategy

      三段式,一階段自旋,二階段執行Thread.yield,三階段睡眠

    • BusySpinWaitStrategy

      性能最高的策略,與 YieldingWaitStrategy 一樣在低延遲場景使用,但是此策略要求消費者數量低於 CPU 邏輯內核總數

    其他小技巧

    1. 清除消息載體 Event 中的數據

      如果 Event 中存在大對象,應該在消費者鏈的末尾,添加一個清除數據的消費者,以幫助jvm垃圾回收。demo中的 LongEvent 是 private long value; 所以沒必要添加。

總結

本文介紹了 Disruptor 的簡單使用,以及複雜場景下消費者的配置。下篇開坑 Disruptor 源碼解析。


參考資料

Disruptor官方文檔


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1、原視頻地址 https://www.bilibili.com/video/BV1ME411A73k/?spm_id_from=333.1007.top_right_bar_window_custom_collection.content.click&vd_source=33b50a4dd201d ...
  • P1 Collection介面和常用方法 一、Collection介面實現類的特點 public interface Collection extends Iterable Collection實現子類可以存放多個元素,每個元素可以是Object。 有些Collection的實現類,可以存放重覆的元 ...
  • SpringCloud Ribbon 1.Ribbon介紹 1.1Ribbon是什麼? 官網地址:Netflix/ribbon: Ribbon(github.com) SpringCloud Ribbon 是基於 Netflix Ribbon 實現的一套客戶端負載均衡的工具 Ribbon 主要功能是 ...
  • 前言 在上一篇文章中,我們介紹了&運算符的基礎用法,本篇文章,我們將介紹& 運算符的一些高級用法。 一、人物簡介 第一位閃亮登場,有請今後會一直教我們C語言的老師 —— 自在。 第二位上場的是和我們一起學習的小白程式猿 —— 逍遙。 二、位掩碼 位掩碼是一種用於按位操作的技術 它通過使用一個二進位數 ...
  • Excelize 是 Go 語言編寫的用於操作 Office Excel 文檔基礎庫,2023年4月10日,社區正式發佈了 2.7.1 版本,該版本包含了多項新增功能、錯誤修複和相容性提升優化。 ...
  • JavaWeb 中 “轉發”與 “重定向”的區別 每博一文案 人生的常態,就是有聚有散,有得有失,就像山峰一樣,總有高低,起伏不斷。 曾經,我們是鮮衣怒馬的少年,一日看盡長安花。 走著走著,漸漸明白生活並不都是盡心盡情的,萬事萬物都有力所不能及之處。此時我們能做的,就是看透,看清,看淡。 走著走著, ...
  • 在 Go 語言中,讀取 Excel 數據可以使用第三方庫 github.com/tealeg/xlsx,該庫提供了豐富的 API,可以方便地讀取和操作 Excel 文件。 以下是一個簡單的示例代碼,演示瞭如何使用 github.com/tealeg/xlsx 庫讀取 Excel 文件: import ...
  • 多態 編譯時的多態:方法重載 運行時的多態:動態綁定 多態的三大前提 類之間要有繼承關係 要出現方法重寫 父類的引用指向了子類的對象 測試樣例 // 定義Person類 public class Person { public String name; public String sex; publ ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...