Disruptor-簡單使用

来源:https://www.cnblogs.com/konghuanxi/archive/2023/04/10/17303118.html
-Advertisement-
Play Games

前言 Disruptor是一個高性能的無鎖併發框架,其主要應用場景是在高併發、低延遲的系統中,如金融領域的交易系統,游戲伺服器等。其優點就是非常快,號稱能支撐每秒600萬訂單。需要註意的是,Disruptor是單機框架,對標JDK中的Queue,而非可用於分散式系統的MQ 本文基於Disruptor ...


前言

Disruptor是一個高性能的無鎖併發框架,其主要應用場景是在高併發、低延遲的系統中,如金融領域的交易系統,游戲伺服器等。其優點就是非常快,號稱能支撐每秒600萬訂單。需要註意的是,Disruptor是單機框架,對標JDK中的Queue,而非可用於分散式系統的MQ

本文基於Disruptor v3.4.*版本

Demo

既然是簡單使用,這階段只需要關註:

  • 生產者
  • 消費者:EventHandler
  • 消息的傳遞:消息的載體Event

簡單例子

首先,我們定義消息的載體Event,生產者向消費者傳遞的消息通過Event承載

class LongEvent {
    private long value;

    public void set(long value) {
        this.value = value;
    }
    @Override
    public String toString() {
        return "LongEvent{" + "value=" + value + '}';
    }
}

然後定義Event生產工廠,這用於初始化Event

EventFactory<LongEvent> factory = new EventFactory<LongEvent>() {
    @Override
    public LongEvent newInstance() {
        return new LongEvent();
    }
};

接下來就可以構建Disruptor了,以下是完整代碼

// 消息載體(event)
static class LongEvent {
    private long value;

    public void set(long value) {
        this.value = value;
    }
    @Override
    public String toString() {
        return "LongEvent{" + "value=" + value + '}';
    }
}

// 發佈消息的轉換器
public static void translate(LongEvent event, long sequence, ByteBuffer buffer)
{
    event.set(buffer.getLong(0));
}

public static void main(String[] args) throws Exception {

    // event生產工廠,初始化RingBuffer的時候使用
    EventFactory<LongEvent> factory = new EventFactory<LongEvent>() {
        @Override
        public LongEvent newInstance() {
            return new LongEvent();
        }
    };

    // 指定RingBuffer的大小(必須是2的n次方)
    int bufferSize = 1024;

    // 構造Disruptor(預設使用多生產者模式、BlockingWaitStrategy阻塞策略)
    Disruptor<LongEvent> disruptor = new Disruptor<>(LongEvent::new, bufferSize, DaemonThreadFactory.INSTANCE);
    //  Disruptor<LongEvent> disruptor = new Disruptor<>(factory, bufferSize, DaemonThreadFactory.INSTANCE, ProducerType.MULTI, new BlockingWaitStrategy());
    // 設置消費者
    EventHandler<LongEvent> handler = (event, sequence, endOfBatch) -> {
        System.out.println("Event: " + event);
    };
    disruptor.handleEventsWith(handler);

    // 啟動disruptor,啟動所有需要運行的線程
    disruptor.start();

    RingBuffer<LongEvent> ringBuffer = disruptor.getRingBuffer();
    ByteBuffer bb = ByteBuffer.allocate(8);
    for (long i = 0; i < 100; i++) {
        bb.putLong(i);
        // 發佈事件
        ringBuffer.publishEvent(LongEventMain::translate, bb);
    }
}

消費者組合(多使用場景)

Disruptor不僅可以當高性能的隊列使用,還支持消費者的串列、並行消費等

以下只展示關鍵代碼(設置消費者),其餘部分參考上一節的簡單demo

  1. 單鏈串列

    Untitled

    disruptor.handleEventsWith(handlerA).then(handlerB);
    
  2. 並行

    Untitled

    disruptor.handleEventsWith(handlerA, handlerB);
    
  3. 鏈內串列,多鏈並行

    Untitled

    disruptor.handleEventsWith(handlerA).then(handlerC);
    disruptor.handleEventsWith(handlerB).then(handlerD);
    
  4. 菱形(C、D都執行完才到E)

    Untitled

    disruptor.handleEventsWith(handlerA).then(handlerC);
    disruptor.handleEventsWith(handlerB).then(handlerD);
    disruptor.after(handlerC, handlerD).then(handlerE);
    
    
  5. 分組(AB都執行完才到CD)

    Untitled

    disruptor.handleEventsWith(handlerA, handlerB).then(handlerC, handlerD);
    
  6. 分組不重覆消費

    組內競爭,組外串列:每個消息在每個分組中只有一個消費者能消費成功,如果就是分組A中只有HandlerA2能得到數據,分組B中只有HandlerB1獲得

    Untitled

    // 註意:此處的handler實現的是WorkHandler介面
    disruptor.handleEventsWithWorkerPool(handlerA1, handlerA2, handlerA3)
                    .then(handlerB1, handlerB2, handlerB3);
    
  7. 分組不重覆消費(菱形)

    Untitled

    // handlerA、handlerB實現WorkHandler介面
    // handlerC 實現EventHandler或WorkHandler介面均可
    disruptor.handleEventsWithWorkerPool(handlerA1, handlerA2, handlerA3)
                    .then(handlerB1, handlerB2, handlerB3)
                    .then(handlerC);
    

    等待策略

    消費者速度比生產者快時,需要等待。因此就有了不同的等待策略以適應不同場景

    • BlockingWaitStrategy

      預設策略。使用鎖和 Condition 的等待、喚醒機制。速度慢,但節省CPU資源並且在不同部署環境中能提供更加一致的性能表現。

    • YieldingWaitStrategy

      二段式,一階段自旋100次,二階段執行Thread.yield,需要低延遲的場景可使用此策略

    • SleepingWaitStrategy

      三段式,一階段自旋,二階段執行Thread.yield,三階段睡眠

    • BusySpinWaitStrategy

      性能最高的策略,與 YieldingWaitStrategy 一樣在低延遲場景使用,但是此策略要求消費者數量低於 CPU 邏輯內核總數

    其他小技巧

    1. 清除消息載體 Event 中的數據

      如果 Event 中存在大對象,應該在消費者鏈的末尾,添加一個清除數據的消費者,以幫助jvm垃圾回收。demo中的 LongEvent 是 private long value; 所以沒必要添加。

總結

本文介紹了 Disruptor 的簡單使用,以及複雜場景下消費者的配置。下篇開坑 Disruptor 源碼解析。


參考資料

Disruptor官方文檔


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1、原視頻地址 https://www.bilibili.com/video/BV1ME411A73k/?spm_id_from=333.1007.top_right_bar_window_custom_collection.content.click&vd_source=33b50a4dd201d ...
  • P1 Collection介面和常用方法 一、Collection介面實現類的特點 public interface Collection extends Iterable Collection實現子類可以存放多個元素,每個元素可以是Object。 有些Collection的實現類,可以存放重覆的元 ...
  • SpringCloud Ribbon 1.Ribbon介紹 1.1Ribbon是什麼? 官網地址:Netflix/ribbon: Ribbon(github.com) SpringCloud Ribbon 是基於 Netflix Ribbon 實現的一套客戶端負載均衡的工具 Ribbon 主要功能是 ...
  • 前言 在上一篇文章中,我們介紹了&運算符的基礎用法,本篇文章,我們將介紹& 運算符的一些高級用法。 一、人物簡介 第一位閃亮登場,有請今後會一直教我們C語言的老師 —— 自在。 第二位上場的是和我們一起學習的小白程式猿 —— 逍遙。 二、位掩碼 位掩碼是一種用於按位操作的技術 它通過使用一個二進位數 ...
  • Excelize 是 Go 語言編寫的用於操作 Office Excel 文檔基礎庫,2023年4月10日,社區正式發佈了 2.7.1 版本,該版本包含了多項新增功能、錯誤修複和相容性提升優化。 ...
  • JavaWeb 中 “轉發”與 “重定向”的區別 每博一文案 人生的常態,就是有聚有散,有得有失,就像山峰一樣,總有高低,起伏不斷。 曾經,我們是鮮衣怒馬的少年,一日看盡長安花。 走著走著,漸漸明白生活並不都是盡心盡情的,萬事萬物都有力所不能及之處。此時我們能做的,就是看透,看清,看淡。 走著走著, ...
  • 在 Go 語言中,讀取 Excel 數據可以使用第三方庫 github.com/tealeg/xlsx,該庫提供了豐富的 API,可以方便地讀取和操作 Excel 文件。 以下是一個簡單的示例代碼,演示瞭如何使用 github.com/tealeg/xlsx 庫讀取 Excel 文件: import ...
  • 多態 編譯時的多態:方法重載 運行時的多態:動態綁定 多態的三大前提 類之間要有繼承關係 要出現方法重寫 父類的引用指向了子類的對象 測試樣例 // 定義Person類 public class Person { public String name; public String sex; publ ...
一周排行
    -Advertisement-
    Play Games
  • 前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器,其界面簡潔大方,操作體驗流暢。該播放器支持多種音頻格式(如 MP4、WMA、OGG、FLAC 等),並具備標記、實時歌詞顯示等功能。 另外,還支持換膚及多語言(中英文)切換。核心音頻處理採用 FFmpeg 組件,獲得了廣泛認可,目前 Git ...
  • OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統,完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面,查看已創建應用的Client ID和Clien ...
  • 解決了這個問題:《winForm下,fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自:https://www.fcnsoft.com/Home/Sho ...
  • 國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面,接收裸 Win 32 的 WM_Pointer 消息,從消息裡面獲取觸摸點信息,使用觸摸點 ...
  • 前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能,還集成了高性能的輕量級 POS 解決方案,確保頁面載入速度極快,提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI: ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的,因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 問題 問題是這樣的:第三方的webapi,需要先調用登陸介面獲取Cookie,訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面,返回的Headers中沒有找到Cookie信息。 分析 首先,使用Postman測試該登陸介面,正常返回Cookie信息,說明是HttpCli ...
  • 國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低,主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上,.NET曾因微軟的閉源策略發展受限,儘管後來推出了跨平臺的.NET ...
  • 在WPF開發應用中,動畫不僅可以引起用戶的註意與興趣,而且還使軟體更加便於使用。前面幾篇文章講解了畫筆(Brush),形狀(Shape),幾何圖形(Geometry),變換(Transform)等相關內容,今天繼續講解動畫相關內容和知識點,僅供學習分享使用,如有不足之處,還請指正。 ...
  • 什麼是委托? 委托可以說是把一個方法代入另一個方法執行,相當於指向函數的指針;事件就相當於保存委托的數組; 1.實例化委托的方式: 方式1:通過new創建實例: public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...