翻車了,被讀者找出 BUG

来源:https://www.cnblogs.com/zhuochongdashi/archive/2023/06/12/17475691.html
-Advertisement-
Play Games

大家好呀,我是小樓。 本文是上篇文章[《使用增強版 singleflight 合併事件推送,效果炸裂!》](https://mp.weixin.qq.com/s/PFojA2DWJF7ry9Rdu8znyA)的續集,沒看過前文必須要先看完才能看本文,實在不想看,拉到文章末尾,給我點個贊再退出吧~Do ...


大家好呀,我是小樓。

本文是上篇文章《使用增強版 singleflight 合併事件推送,效果炸裂!》的續集,沒看過前文必須要先看完才能看本文,實在不想看,拉到文章末尾,給我點個贊再退出吧~Doge

上篇文章發出後,有一位讀者朋友給我發私信,寫了一大段話:

image

一開始,沒太看懂,於是就細問了一下

image

在看瞭解釋之後,感覺好像有點懂了,再三思考後,確認了,這裡面有 BUG。

理想狀態

為了描述簡單,這裡我用字母本身表示事件發生,如 A,用字母加一撇表示事件開始執行,如 A',用字母加兩撇表示事件執行結束後的狀態,如 D''

如下表示我們之前思考的理想狀態:A 事件到來便執行,在執行結束前又先後來了 B、C、D 三個事件,先 Hold 住,待 A 執行完成後,B、C、D 同時進入 sigleflight group 中搶執行,最終結果是 D'',感覺非常完美。

image

對應到代碼上是這樣:

image

case 1

但這位讀者提出了一個疑問,如果在 B、C、D 執行的時候又來一個 E 事件,那這個 E 事件將會重走 A 事件的路,如果這個 E 事件執行的比較快,先於 B、C、D 事件完成,那不就有問題了?

image

E 事件最後到,我們期望的結果應該是 E'',但按這個推理,最終結果是 D'',顯然不符合預期。

case 2

同理,如果在 E 事件執行期間累積了 F、G 事件,且 F、G 也比較爭氣,在 B、C、D 完成之前完成了:

image

期望的是 G'',但最終結果是 D''。

線上有問題嗎?

這兩個場景確實很難測試到,如果不幸遇到,還是有風險的。我們復盤了自己的系統,發現我們的系統是可以解這個問題的。

我們的系統會針對推送下去不一致的數據會定期補償,具體怎麼做的呢?

在推送之前,針對同一種推送,也就是相同的 key 生成(存在則更新)同一條記錄,該記錄包含兩個時間 t1、t2,推送的開始時間 tn(精確到納秒)記錄到 t1,推送完成後將 tn 記錄到 t2,這兩次記錄在一個方法中,偽代碼是這樣:

tn := time.Now().UnixNano()
markT1(key, tn)
push(key)
markT2(key, tn)

如果 t1 = t2 則說明推送沒有問題,如果 t1 != t2 則說明這條推送需要補償,每 10s 掃描一次需要補償的事件進行重新下發推送

我們以 case 1 為例,按照時間順序

  • A 執行完成時,t1= ta,t2 = ta
  • D 開始執行,t1 = td
  • E 開始執行,t1 = te,E 執行結束 t2 = te
  • D 執行結束,t1 = te,t2 = td
  • 10s 後發現 t1 != t2,於是觸發重新下發邏輯,重新推送最新數據為 E''

image

最後

還好我們線上系統有一層保護機制,否則可能要出事。如果在 singleflight 層面去解決這個問題,暫時我還沒有想到很好的辦法,如果讀者朋友們有好的方法,歡迎私信我。

不得不說讀者朋友們當中還是有不少讀了我的文章,而且認真思考了的,在此表示感謝,也歡迎大家指出文章中的錯誤。

最後感謝能抽空看到這裡,如果你能點贊在看分享,我會更加感激不盡~


  • 搜索關註微信公眾號"捉蟲大師",後端技術分享,架構設計、性能優化、源碼閱讀、問題排查、踩坑實踐

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 概述 生命周期的每個階段總是伴隨著一些方法的調用,這些方法就是生命周期的鉤子函數 鉤子函數的作用:為開發人員在不同操作階段提供了十幾 只有 類組件 才有生命周期 生命周期的圖片: 同時有: 1.1 創建時 的生命周期執行順序 編寫以下代碼,從而驗證constructor,render,compone ...
  • 生活中我們經常談及 “架構”,那麼到底什麼是 “架構”,Robert C.Martin《架構整潔之道》中的定義:軟體架構是指設計軟體的人為軟體賦予的形狀,這個形狀是指系統如何被劃分為組件 (Components),各個組件如何排列(Arrangement),組件之間如何溝通(Communicatio... ...
  • ## 什麼是downlink數據 downlink指的是相機傳輸到host採集卡的高速鏈路,其中包含瞭如下類型的數據: 1、Stream Data 2、Trigger Ack, Trigger; 3、Ack (reply data); 4、Event, Heartbeat ![](https://i ...
  • 學習課程: 【這可能是B站講的最好的Servlet教程,5小時打通Servlet全套教程丨2022最新版,輕鬆掌握servlet基礎+案例實操】 https://www.bilibili.com/video/BV1Kr4y1V7ZE/?share_source=copy_web&vd_source= ...
  • 某日二師兄參加XXX科技公司的C++工程師開發崗位第12面: > 面試官:瞭解位運算嗎? > > 二師兄:瞭解一些。(我很熟悉) > > 面試官:請列舉以下有哪些位運算? > > 二師兄:按位與(`&`)、按位或(`|`)、按位異或(`^`),按位取反(`~`)、左移(`>`)。 > > 面試官:好 ...
  • # Object源碼閱讀 > native:本地棧方法,使用C語言中實現的方法。 ```java package java.lang; public class Object { //註冊本地方法 private static native void registerNatives(); stati ...
  • ArrayList 實現了 List 介面。它可以存儲包括 null 的任何類型的對象,允許重覆元素。ArrayList 在內部使用一個數組來存儲元素,當元素數量超過數組容量時,ArrayList 會自動重新分配更大的內部數組,並且將現有元素複製到新數組中。ArrayList 基本等同於 Vecto... ...
  • 緩存雪崩是指在緩存中的大量數據在同一個時刻全部過期,導致原本這些可以由緩存中間件處理的高併發請求,一下子全部打到資料庫,導致資料庫伺服器崩潰的一種現象。那麼出現緩存雪崩的原因可以有①:緩存中間件宕機。②:緩存中大部分key都設置了相同的時間,導致這些key在同一時間內全部失效。解決的方法: ①:可以 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...