ENode框架單台機器在處理Command時的設計思路

来源:http://www.cnblogs.com/netfocus/archive/2016/02/03/5180378.html
-Advertisement-
Play Games

設計目標 儘量快的處理命令和事件,保證吞吐量; 處理完一個命令後不需要等待命令產生的事件持久化完成就能處理下一個命令,從而保證領域內的業務邏輯處理不依賴於持久化IO,實現真正的in-memory; 保證命令、事件處理的順序性,先來的先處理,先產生的先處理; 保證一個聚合根的事件只有一個線程在持久化,


設計目標

  1. 儘量快的處理命令和事件,保證吞吐量;
  2. 處理完一個命令後不需要等待命令產生的事件持久化完成就能處理下一個命令,從而保證領域內的業務邏輯處理不依賴於持久化IO,實現真正的in-memory;
  3. 保證命令、事件處理的順序性,先來的先處理,先產生的先處理;
  4. 保證一個聚合根的事件只有一個線程在持久化,並按事件產生的順序持久化;
  5. 持久化事件時如果遇到併發衝突時(聚合根ID+事件版本號出現重覆)的處理代價要輕;
  6. 要能利用多核的優勢;

總體設計思路

  1. 先將命令根據聚合根ID路由到CommandMailBox里;
  2. 單線程處理CommandMailBox中的命令,由於聚合根在in-memory本地記憶體,所以處理非常快;
  3. 處理成功後更新聚合根的in-memory記憶體;
  4. 記憶體更新後將聚合根產生的事件同樣原理路由到EventMailBox里;
  5. 單線程批量處理EventMailBox中的事件;由於是批量,所以持久化的吞吐量也可以保證;
  6. 處理完成一批事件後,把這一批事件對應的命令從CommandMailBox中移除;

詳細設計思路

  1. 設計N個存放命令的CommandMailBox,命令首先按聚合根ID的hashcode取摸路由到對應的CommandMailBox;
  2. 每個CommandMailBox都有一個maxOffset, consumeOffset,以及一個CommandProcessor(單線程)在不停的處理;maxOffset表示最後一個命令的位置;consumeOffset表示當前正在處理的命令的位置;
  3. CommandProcessor的處理邏輯;
    • 創建、修改聚合根;
    • 更新聚合根的in-memory緩存;
    • 將聚合根產生的事件按聚合根ID的hashcode取摸路由到對應的EventMailBox;EventMailBox的個數也是程式啟動時配置;
  4. 每個EventMailBox都有一個maxOffset, consumeOffset,以及一個EventProcessor(單線程)在不停的處理;maxOffset表示最後一個事件的位置;consumeOffset表示當前正在處理的事件的位置;
  5. EventProcessor的處理邏輯:
    • 按次序批量獲取一批要處理的事件;
    • 批量持久化事件到EventStore,採用SqlBulkCopy;
    • 如果持久化一切順利,則publish這一批事件(publish如果遇到網路IO異常,則重試,直到成功為止),然後繼續持久化下一批,並同時將當前這一批事件對應的命令從CommandMailBox中刪除;.
    • 如果持久化遇到併發衝突(事件的aggregateRootId+Version重覆),則對當前這一批事件一個個按順序持久化。如果當前事件持久化成功,則同樣publish該事件,當然遇到IO異常時也要不斷重試,直到成功為止;成功後通知CommandMailBox移除當前事件對應的命令;如果當前事件持久化出現併發衝突,就做如下處理:
      1. 先通知當前事件對應聚合根暫停處理後續的命令;
      2. 用Event Sourcing技術將in-memory中的聚合根的狀態還原到最新狀態,確保下次執行command時基於的聚合根的狀態是最新的;
      3. 把這一批里該聚合根的所有事件移除,把EventMailBox中的該聚合根的所有事件移除;
      4. 將CommandMailBox的處理位置重置為當前事件對應的命令的offset;從而可以確保產生併發衝突的事件對應的命令以及後續的命令能再重新被處理一遍;
      5. 通知當前事件對應聚合根繼續處理後續的命令(從哪個位置開始處理,在上面第4步已經重置過了);
      6. 這一批的所有事件都一個個處理完之後,按同樣的邏輯繼續處理下一批事件;

其他說明

  1. 上面的設計基於一個前提,就是一個聚合根幾乎不會同時在兩台伺服器上同時存在並處理命令,否則就會出現併發衝突,而併發衝突的處理的代價還是比較複雜的,應該儘量避免;這點可以通過EQueue保證;
  2. 當聚合根處理了命令,嘗試更新in-memory記憶體時,可能有一種情況會失敗。就是如果這個命令是創建聚合根的,而有可能併發的時候這個聚合根可能在記憶體中已經有了,則創建完聚合根添加到記憶體時,應該能檢測出來並記錄錯誤日誌,然後該命令產生的事件也不必放入EventMailBox,然後認為該命令處理成功即可。
  3. 上面的設計中沒有談到當遇到命令重覆執行時的設計思路,大家可以自己想想:)

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 上代碼 $arr = array( 'a'=> 'a11', 'b'=> 'b22', 'c'=> 'c33', ); foreach ($arr as $k=>&$v){ // Do somethind } foreach ($arr as $k=>$v){ var_dump($v); } 這樣的
  • 開關問題 題意:給n(0 < n < 29)開關的初始和最終狀態(01表示),以及開關之間的關聯關係(關聯關係是單向的輸入a b表示a->b),問有幾種方式得到最終的狀態。否則輸出字元字面值。 1.與poj 1222的區別:關聯為單向,需要預處理出每個開關對自己的關聯(開始在輸入關聯關係中處理自身的
  • Timer & TimerTask @(Base)[JDK, Timer, TimerTask] Timer schedule(動詞) task在後臺執行。這個Task可能是只執行一次的task,也可能是按照一定規律執行的task。這也是JDK1.3提供的一個非常老的工具類 對於每一個維持sched
  • 身處大天朝,必須學會的一項技能就是解決中文顯示問題。這個字元問題還搞了我一天,以下是個人解決亂碼問題的實踐結果,希望可以給其他人一些幫助 讀取xml文件代碼: 1 CCDictionary* message = CCDictionary::createWithContentsOfFile("chin
  • 官方文檔:http://zetcode.com/gui/pyqt4/ 中文文檔:http://www.qaulau.com/books/PyQt4_Tutorial/index.html 先記錄簡單的,以下代碼可顯示一個基本的window: #!/usr/bin/python # -*- codin
  • 有了以上的基本基礎,已經上面寫的幾個小練習,大家肯定有很多的不滿,比如查詢為什麼查詢一次就退出了呢?下麵我們來學習條件語句 一、萬惡的加號 以前我們在print的時候如果要加上變數都有是使用+來作為連接,但是這樣做是不好的 因為在使用加號的時候,會在記憶體中開闢新的記憶體地址來存放新的內容這樣做的壞處就
  • 獲取【下載地址】 QQ: 313596790 【免費支持更新】支持三大資料庫 mysql oracle sqlsever 更專業、更強悍、適合不同用戶群體A 代碼生成器(開發利器); 增刪改查的處理類,service層,mybatis的xml,SQL( mysql 和oracle)腳本, jsp頁面
  • 觀察者模式 定義了對象之間的一對多依賴,這樣一來,當一個對象改變狀態時,它的所有依賴者都會收到通知並自動更新。 觀察者模式需要實現兩個介面。observable(可觀察者)和observer(觀察者)。 observable定義了三個方法:register、remove、notify observe
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...