Storm框架:如何根據業務條件選擇不同的bolt進行下發消息

来源:https://www.cnblogs.com/gouyg/archive/2018/11/01/java_storm_stream.html
-Advertisement-
Play Games

Strom框架基本概念就不提了,這裡主要講的是`Stream`自定義ID的消息流。預設spout、bolt都需實現介面方法`declareOutputFields`,這種情況下發的消息會被所有定義的bolts接收。我們如果需要根據得到的消息類型來選擇不同的bolt,就需要用到Stream Group... ...


Strom框架基本概念就不提了,這裡主要講的是Stream自定義ID的消息流。預設spout、bolt都需實現介面方法declareOutputFields,代碼如下:

@Override
public void declareOutputFields(OutputFieldsDeclarer outputFieldsDeclarer) {
    outputFieldsDeclarer.declare(new Fields("body"));
}

這種情況下發的消息會被所有定義的bolts接收。我們如果需要根據得到的消息類型來選擇不同的bolt,就需要用到Stream Grouping。

  • 首先通過消息源的OutputFieldsDeclarer來定義發射多條消息流stream

以下定義了兩種stream消息流:email郵件、sms簡訊

@Override
public void declareOutputFields(OutputFieldsDeclarer outputFieldsDeclarer) {
    outputFieldsDeclarer.declareStream("email", new Fields("body"));
    outputFieldsDeclarer.declareStream("sms", new Fields("body"));
}
  • 然後我們通過對消息內容進行分析判斷來決定發射指定的stream類型
@Override
public void execute(Tuple tuple) {
    String streamType;
    String value = tuple.getStringByField("body");
    # 邏輯判斷stub code
    if (value.startsWith("email:")) {
        streamType = "email";
    } else {
        streamType = "sms";
    }
    
    outputCollector.emit(streamType, new Values(value));
}
  • topology設置bolt的消息源時通過localOrShuffleGrouping來設置只接收指定stream的消息

FilterBolt通過對消息進行加工處理,下發給bolts時會指定不同的stream,EmailNotifyBolt只接收email類型的stream消息,SmsNotifyBolt只接收sms類型的stream消息。

TopologyBuilder topologyBuilder = new TopologyBuilder();
topologyBuilder.setSpout("RabbitmqSpout", new RabbitmqSpout());
topologyBuilder.setBolt("FilterBolt", new FilterBolt()).shuffleGrouping("RabbitmqSpout");

topologyBuilder.setBolt("EmailNotifyBolt", new EmailNotifyBolt()).localOrShuffleGrouping("FilterBolt", "email");

topologyBuilder.setBolt("SmsNotifyBolt", new SmsNotifyBolt()).localOrShuffleGrouping("FilterBolt", "sms");

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一個項目,規定10天投產,預估5天開發5天測試(這裡估計的是手工測試),那麼接下來因為各種環境或者開發技術原因導致開發時間延長至8天,測試時間只剩2天,作為本項目的測試你只有2天的時間進行測試。此項目為緊急項目,必須保證到期投產。請問如何處理? ...
  • 題意 "題目鏈接" Sol 看不懂splay。。,看不懂樹狀數組。。。 只會暴力動態開節點線段樹 觀察之後不難發現,我們對於行和列需要支持的操作都是相同的:找到第$k$大的元素並刪除,在末尾插入一個元素 這樣我們可以維護$n+1$棵線段樹(對列單獨建一棵) 每次操作的時候,如果$y_i = m$,那 ...
  • tesserocr 是 python 的一個 OCR 庫,windows 下安裝 tesserocr 直接用 pip 安裝是不可以的,會報錯,只能用 .whl 的方式安裝。安裝 .whl 時,可能遇到 failed to create process 報錯,pip 版本等級過低,中文路徑無法識別等問... ...
  • 最近因項目需要,在使用任務隊列Celery的時候,出現如題錯誤,最終在github上里找到解決辦法,記錄一下。 運行環境環境:win10 + python3 + redis 2.10.6 + celery 4.2.1 win10上運行celery4.x會出現這個問題,開啟任務隊列一切正常(顯示rea ...
  • 創建項目,也就是網站 1、cmd,輸入:pip3 install Django==2.1.2 2、>>>import django 3、cmd進入需要建項目的文件夾,django-admin startproject 項目名mysite 4、cmd進入mysite目錄,python manage.p ...
  • [TOC] 1. 迭代器 什麼是生成器呢,其實生成器的本質就是迭代器;在python中有3中方式來獲取生成器(這裡主要介紹前面2種) 通過生成器函數獲取 通過各種推導式來實現生成器 生成器函數 我們來看一個普通的函數: 那麼生成器函數跟普通函數有什麼不同呢,我們只要把其中的 換成 關鍵字參數就是生成 ...
  • # 生成器:# 生成器實質就是迭代器(省記憶體 惰性機制 只往前)# 1. 通過生成器函數# 2. 通過各種推導式來實現生成器 # def func():# yield# # g = func() - 得到生成 1 # 生成器函數 就是把return 換成yield 2 # return 換成 yie... ...
  • 介面類型探測:類型斷言 介面實例中存儲了實現介面的類型實例,類型的實例有兩種:值類型實例和指針類型實例。在程式運行過程中,介面實例存儲的實例類型可能會動態改變。例如: 所以,需要一種探測介面實例所存儲的是值類型還是指針類型。 探測的方法是: 和`ins.( Type)`。它們有兩個返回值,第二個返回 ...
一周排行
    -Advertisement-
    Play Games
  • 前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器,其界面簡潔大方,操作體驗流暢。該播放器支持多種音頻格式(如 MP4、WMA、OGG、FLAC 等),並具備標記、實時歌詞顯示等功能。 另外,還支持換膚及多語言(中英文)切換。核心音頻處理採用 FFmpeg 組件,獲得了廣泛認可,目前 Git ...
  • OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統,完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面,查看已創建應用的Client ID和Clien ...
  • 解決了這個問題:《winForm下,fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自:https://www.fcnsoft.com/Home/Sho ...
  • 國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面,接收裸 Win 32 的 WM_Pointer 消息,從消息裡面獲取觸摸點信息,使用觸摸點 ...
  • 前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能,還集成了高性能的輕量級 POS 解決方案,確保頁面載入速度極快,提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI: ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的,因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 問題 問題是這樣的:第三方的webapi,需要先調用登陸介面獲取Cookie,訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面,返回的Headers中沒有找到Cookie信息。 分析 首先,使用Postman測試該登陸介面,正常返回Cookie信息,說明是HttpCli ...
  • 國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低,主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上,.NET曾因微軟的閉源策略發展受限,儘管後來推出了跨平臺的.NET ...
  • 在WPF開發應用中,動畫不僅可以引起用戶的註意與興趣,而且還使軟體更加便於使用。前面幾篇文章講解了畫筆(Brush),形狀(Shape),幾何圖形(Geometry),變換(Transform)等相關內容,今天繼續講解動畫相關內容和知識點,僅供學習分享使用,如有不足之處,還請指正。 ...
  • 什麼是委托? 委托可以說是把一個方法代入另一個方法執行,相當於指向函數的指針;事件就相當於保存委托的數組; 1.實例化委托的方式: 方式1:通過new創建實例: public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...