冪等設計詳解

来源:https://www.cnblogs.com/Jcloud/archive/2022/09/26/16730064.html
-Advertisement-
Play Games

本文主要從研發人員的角度,結合研發人員日常常見的各類業務場景,從經典系統框架的每一層入手分析冪等處理的時機。希望通過這篇文章的分析,讓開發者在日常開發中對冪等的處理不再陌生。抓住導致請求、介面不冪等的本質,在工作中避免再陷入這個陷阱中。 ...


導讀

本文主要從研發人員的角度,結合研發人員日常常見的各類業務場景,從經典系統框架的每一層入手分析冪等處理的時機。希望通過這篇文章的分析,讓開發者在日常開發中對冪等的處理不再陌生。抓住導致請求、介面不冪等的本質,在工作中避免再陷入這個陷阱中。

冪等、冪等性這詞,作為一個研發人員是再熟悉不過的,那是否有深入思考過冪等產生的背景、為什麼需要冪等,如何做才是冪等的?今天將結合業務場景及請求的過程來分析解決冪等(性)的方法。

1 概念

冪等這個概念,是一個數學上的概念,即:f……(f(f(x))) = f(x)。用在電腦領域,指的是系統里的介面或方法對外的一種承諾,使用相同參數對同一資源重覆調用某個介面或方法的結果與調用一次的結果相同。

2 業務場景

從業務場景上來說,如:現在互聯網電商的下單服務,同一個用戶在短時間內調用某一個下單服務,只能下單成功一次;銀行賬戶之間的轉賬,A賬戶給B賬戶轉賬,無論系統出現什麼問題或故障,也只能轉賬成功一次;前端頁面對相同表單的內容多次向後端發起提交請求,後端只能給出一個相同的結果等都屬於冪等的範疇。

試想一下,如果提供的這些服務不是冪等的,客戶在下單時由於網路不穩定或是連續點了幾次下單按鈕,實際客戶只下了一單,結果系統里給客戶生成了多單,那平臺/商家將是無法承受的,如果被“羊毛黨”盯上,損失是無可估量的;銀行之間的轉賬,A賬戶本來實際給B賬戶只轉了一百萬,結果B賬戶收到了幾百萬,這在業務上是不可接受的。分析這些業務場景,開發者發現,無論是下單服務、轉賬服務還是表單提交都是一個個業務請求,提供這些業務服務的介面或方法都應該保證無論服務是超時、重試或有故障等異常情況,都要滿足業務上的處理結果是正確的。業務上的一次或多次請求,最終的處理結果是一致的,即:在一定時間內,服務的冪等其實就是請求的冪等。

3 架構分析

從系統架構上進行分析,冪等該在哪一層去做,怎麼做?

圖1 經典系統框架圖

上圖為一個最常見的經典系統框架圖,Web端發起一個請求到後端,冪等該在哪一層來處理呢?不妨一層一層地分析。

Nginx是否需要做冪等,Nginx的主要功能是做Web伺服器、反向代理、負載均衡等,把請求轉發到後端的伺服器上,本身不參與具體的業務,所以Nginx是不需要做冪等處理的;Gateway是負責許可權校驗、安全防禦、認證鑒權、流量控制、協議轉換、日誌審計、監控等,本身也不含對任何業務的處理,所以其也不需要做冪等處理;Service層通常是對業務邏輯進行處理、編排,可能會改變數據,但對於數據的改變結果,最終也還是需要通過數據訪問層,寫入到資料庫,所以Service層也不需要做數據冪等;DAO層主要是和資料庫交互,把Service層的結果寫入資料庫,對Service層提供讀取、寫入資料庫的功能。

在寫入資料庫的時候,針對每一次的寫入,可能返回不同的結果,此時就需要按場景進行具體的分析對待;DataBase層,主要提供數據的存儲,並不參與具體的業務邏輯計算。所以,通過對該架構的每一層的功能分析,得出對於請求的冪等處理,需要在DAO層做處理,以便保證多次請求和一次請求的結果是一致的。

4 資料庫操作分析

通過上面的分析,得出冪等需要在DAO層來處理,再進一步分析,得出DAO層的操作主要就是CRUD。下麵逐一對每一種操作分析是否需要做冪等,以及怎麼做。

R(read):對應的操作SQL語句為select。只要查詢條件不變,在一定的時間內,執行一次和執行多次返回的結果肯定是相同的,所以其本身是冪等的,不需要再做處理。

select * from user where id = 1;

查詢一次或多次結果是一致的,所以是冪等的。

C(create):對應的操作SQL語句為insert。此時,需要分情況,如果用到的資料庫主鍵為資料庫自增,不考慮業務主鍵防重的情況下,每一次寫入資料庫就不是冪等的,所以為了保證冪等,需要在數據insert前做業務防重或是在資料庫表上對業務主鍵加唯一索引。如果資料庫主鍵不是自增,是由業務系統寫入的,需要在業務系統里把資料庫主鍵和業務主鍵做一對一映射,或是由獨立服務提供資料庫主鍵和業務主鍵的映射關係,保證多次請求獲取到的資料庫主鍵和業務主鍵是一致的,確保寫入資料庫操作是冪等的。綜合來說,就是相同的數據多次寫入資料庫後,能否保證只有一條數據。

insert into user (id,age,sex,ts) values(1,10,‘male’,2021-07-20 10:22:23);

U(update):對應的操作SQL語句為update。更新操作時,一定是要用絕對值進行更新操作,而不要用相對值進行更新,相對值更新可能導致更新操作不冪等。

冪等:

update user set age = 10 where id = 1;

非冪等:

update user set age++ where id = 1;

D(delete):對應的操作SQL語句為delete。刪除操作時,如果刪除的是一個範圍,生產上最好是禁止該類操作;比較推薦的做法是把按範圍操作刪除轉換為先按範圍查詢,再按查詢的主鍵進行刪除。而且按範圍刪除的操作不是冪等的。

冪等:

delete from user where id = 1;

非冪等:該類操作要禁止。

delete from user where id in (select id from user order by id desc limit 10);

5 常見業務場景

保證冪等的實現方式有多種,此處例舉幾類常見的業務場景,在實際應用中,根據業務場景進行選用。

圖2 頁面token機制處理流程

  1. 前端頁面提交時,頁面token機制。進入頁面時,從伺服器獲取token,在伺服器端把token進行存儲,提交時把token帶到伺服器端進行驗證;常見的處理流程如下:
  2. 樂觀鎖機制,使用資料庫的版本號實現樂觀鎖,資料庫更新時,判斷版本號是否與查詢時保持一致,一致更新成功,否則更新失敗;
  3. select+insert,數據寫入前,先查詢數據是否存在,存在直接返回,不存在則寫入數據,保證寫入資料庫的數據正確性;常用於併發不高的一些後臺系統或是防止任務的重覆執行;
  4. 悲觀鎖機制,一般id為主鍵或唯一索引,僅鎖定當前記錄;
  5. select * from table where id = '1234' for update;
  6. 去重表,每一次寫入或更新業務表時,先查詢去重表是否已經存在記錄,再操作業務表。
  7. 資料庫唯一索引,為業務表建立唯一索引,避免業務數據多次寫入;
  8. 狀態機,業務狀態在變更之前是有條件的,必須按設定的狀態條件進行更新;

在實際開發中,保證提供的介面或服務的冪等(性),是一個最基本的技術要求,希望通過該分析,能對還未理解冪等(性)的研發人員有所幫助。

 

作者:廖宗雄


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • #概述 webpack的使用中我們會遇到各種各樣的插件、loader。 webpack的功力主要體現在能理解各個插件、loader的數量上。理解的越多功力越深 loader是什麼呢? #背景 瞭解loader前,我們在來看個問題,有了前面的基礎我們還是用個簡單的樣例來說明 由於一切都是模塊,我們想用 ...
  • Vue 響應式數據 什麼是響應式數據:數據變了,視圖能更新,反之視圖更新,數據要不要更新,不歸響應式數據管。 Vue 在內部實現了一個最核心的defineReactive方法,藉助了Object.defineProperty,核心就是劫持屬性(只會劫持已經存在的屬性),把所有的屬性,重新的添加了 g ...
  • ###1. 後端配置 新建一個CrosConfig.java文件(配置類),允許任意請求發送 import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Confi ...
  • 摘要:本文將全面的,詳細解析call方法的實現原理 本文分享自華為雲社區《關於 JavaScript 中 call 方法的實現,附帶詳細解析!》,作者:CoderBin。 本文將全面的,詳細解析call方法的實現原理,並手寫出自己的call方法,相信看完本文的小伙伴都能從中有所收穫。 call 方法 ...
  • 本章內容將從各個角度來對動畫整個體系進行分類,並且介紹各種前端動畫的實現方法,最後我們將總結在實際開發中的各個場景的動畫選擇方案 ...
  • ==面試題 ##1.vue2中的響應式原理簡述 響應式原理主要就是通過數據劫持,依賴收集,派發更新的方式來實現的 1.數據劫持,vue2是通過Object.defineProperty方法的get、set來將對對象進行遞歸劫持。 其中修改對象的屬性時 就會觸發set, 使用對象的屬性時就會觸發get ...
  • 原型模式 介紹 定義:用一個已經創建的實例作為原型,通過複製該原型對象來創建一個和原型對象相同的新對象。 簡單理解,就是當需要創建一個指定的對象時,我們剛好有一個這樣的對象,但是又不能直接使用,我會clone一個一模一樣的新對象來使用,這就是原型模式。關鍵字:Clone。 原型模式分為“深拷貝”和“ ...
  • 定義 **責任鏈模式(Chain of Responsibility Pattern)**中,有一條由請求處理者對象組成的鏈條,每個對象(除最後一個對象外)都持有下一個對象的引用,請求發送者將請求發送給第一個對象,請求就會順著鏈條走下去,直到有對象能夠處理請求。該模式將多個處理者對象解耦,使得請求發 ...
一周排行
    -Advertisement-
    Play Games
  • 基於.NET Framework 4.8 開發的深度學習模型部署測試平臺,提供了YOLO框架的主流系列模型,包括YOLOv8~v9,以及其系列下的Det、Seg、Pose、Obb、Cls等應用場景,同時支持圖像與視頻檢測。模型部署引擎使用的是OpenVINO™、TensorRT、ONNX runti... ...
  • 十年沉澱,重啟開發之路 十年前,我沉浸在開發的海洋中,每日與代碼為伍,與演算法共舞。那時的我,滿懷激情,對技術的追求近乎狂熱。然而,隨著歲月的流逝,生活的忙碌逐漸占據了我的大部分時間,讓我無暇顧及技術的沉澱與積累。 十年間,我經歷了職業生涯的起伏和變遷。從初出茅廬的菜鳥到逐漸嶄露頭角的開發者,我見證了 ...
  • C# 是一種簡單、現代、面向對象和類型安全的編程語言。.NET 是由 Microsoft 創建的開發平臺,平臺包含了語言規範、工具、運行,支持開發各種應用,如Web、移動、桌面等。.NET框架有多個實現,如.NET Framework、.NET Core(及後續的.NET 5+版本),以及社區版本M... ...
  • 前言 本文介紹瞭如何使用三菱提供的MX Component插件實現對三菱PLC軟元件數據的讀寫,記錄了使用電腦模擬,模擬PLC,直至完成測試的詳細流程,並重點介紹了在這個過程中的易錯點,供參考。 用到的軟體: 1. PLC開發編程環境GX Works2,GX Works2下載鏈接 https:// ...
  • 前言 整理這個官方翻譯的系列,原因是網上大部分的 tomcat 版本比較舊,此版本為 v11 最新的版本。 開源項目 從零手寫實現 tomcat minicat 別稱【嗅虎】心有猛虎,輕嗅薔薇。 系列文章 web server apache tomcat11-01-官方文檔入門介紹 web serv ...
  • 1、jQuery介紹 jQuery是什麼 jQuery是一個快速、簡潔的JavaScript框架,是繼Prototype之後又一個優秀的JavaScript代碼庫(或JavaScript框架)。jQuery設計的宗旨是“write Less,Do More”,即倡導寫更少的代碼,做更多的事情。它封裝 ...
  • 前言 之前的文章把js引擎(aardio封裝庫) 微軟開源的js引擎(ChakraCore))寫好了,這篇文章整點js代碼來測一下bug。測試網站:https://fanyi.youdao.com/index.html#/ 逆向思路 逆向思路可以看有道翻譯js逆向(MD5加密,AES加密)附完整源碼 ...
  • 引言 現代的操作系統(Windows,Linux,Mac OS)等都可以同時打開多個軟體(任務),這些軟體在我們的感知上是同時運行的,例如我們可以一邊瀏覽網頁,一邊聽音樂。而CPU執行代碼同一時間只能執行一條,但即使我們的電腦是單核CPU也可以同時運行多個任務,如下圖所示,這是因為我們的 CPU 的 ...
  • 掌握使用Python進行文本英文統計的基本方法,並瞭解如何進一步優化和擴展這些方法,以應對更複雜的文本分析任務。 ...
  • 背景 Redis多數據源常見的場景: 分區數據處理:當數據量增長時,單個Redis實例可能無法處理所有的數據。通過使用多個Redis數據源,可以將數據分區存儲在不同的實例中,使得數據處理更加高效。 多租戶應用程式:對於多租戶應用程式,每個租戶可以擁有自己的Redis數據源,以確保數據隔離和安全性。 ...