庫存預占架構升級方案設計-交易庫存中心

来源:https://www.cnblogs.com/jingdongkeji/archive/2023/08/23/17650503.html
-Advertisement-
Play Games

伴隨物流行業的迅猛發展，一體化供應鏈模式的落地，對系統吞吐、系統穩定發出巨大挑戰，庫存作為供應鏈的重中之重表現更為明顯。 ...


背景介紹

伴隨物流行業的迅猛發展，一體化供應鏈模式的落地，對系統吞吐、系統穩定發出巨大挑戰，庫存作為供應鏈的重中之重表現更為明顯。近三年數據可以看出：

接入商家同比增長37.64%、貨品種類同比增長53.66%

貨品數量同比增長46.43%、倉庫數量同比增長18.87%

通過分析過往大促流量，分鐘級流量增長率為75%，大促倉內反饋三方訂單下傳不及時，庫存預占吞吐量和性能是導致訂單積壓因素之一。目前庫存使用mysql資料庫作為接單預占的扛量手段，隨著一體化供應鏈建設以及重點KA商家不斷接入，現有庫存架構在業務支撐上存在風險和缺陷。

此外未來3到5年業務增長、流量增長預計增長5-10倍。為避免系統性能和技術架構缺陷導致業務損失，輕量級庫存架構勢在必行。

// 名詞解釋：

庫存預占：是指消費者拍下商品訂單後，庫存先為該訂單短暫預留，預留的庫存即為預占庫存。

架構原則

架構：是⾯向問題，解決問題的手段。 庫存系統的問題: 非功能性：1.高併發 2.系統穩定性(容災) 3.數據一致性 功能性: 1.業務複雜 2.數據一致性

系統設計

設計思路

  1. 當前庫存系統瓶頸在哪裡？：抗寫流量，資料庫成為瓶頸點。
  2. 如何解決系統瓶頸？：由高併發組件Redis替代資料庫。
  3. 利用Redis需要解決哪些問題？：防超賣，非同步寫資料庫保證最終一致性。

總體設計

  • 扛量部分：庫存性能瓶頸在預占，傳統架構主要依靠資料庫事務保持數據一致以及數據讀寫；新版架構設計將數據扛量部分移植到Redis，利用Redis高性能吞吐解決高併發場景下數據讀寫。
  • 數據回寫：Redis進行扛量削峰，後續數據僅用於記賬，最終犧牲數據的短暫一致性達到削峰的目的。
  • 差異部分：老版本庫存預占設計僅依靠數據進行數據處理，新版設計依靠切量配置建數據切換到Redis，利用Redis高讀寫進行削峰操作。

詳細設計

  • 主流程：

  • 庫存初始化：競態條件利用Redis watch命令來實現鎖等待，解決併發場景數據不一致問題。
  • LUA執行器：將原子操作指令/復用指令封裝到LUA腳本中以減少網路開銷。
  • 補償機制：i> 執行流程中所有業務異常發生時會同步發起反向操作請求；ii> 反向操作執行異常後會提交非同步反向操作任務；**iii>**非同步任務執行異常後，依賴監q控系統掃描異常單據或異常庫存並修改異常庫存量

  • 回溯回寫：任務落庫後發出mq組裝參數調用數據回寫服務，數據回寫服務操作庫存數量；同時回寫redis數據，釋放預占量庫存數據；更新任務庫數據狀態

數據結構

  • 庫存記錄索引：{deptNo|goodsNo|warehouseNo}|stockStatus|stockType|goodsLevel
  • hashTag：{deptNo|goodsNo|warehouseNo}|stockStatus|stockType|goodsLevel
  • 可售庫存數量：usableKey：
  • 扣減庫存量：usableSubtractKey：{庫存記錄索引} ，記錄Redis到DB執行期間減庫存量
  • 預占防重key：operateKey：{庫存記錄索引：單號} 防重key防併發重覆請求
  • 回滾防重：rollbackOperateKey：
  • 缺量預占庫存量：ullageOperateKey：
  • 扣減庫存單據記錄：hSetrecord:
key 預占 缺量預占 回滾 回寫
可售庫存數量 - - + 不變
扣減庫存量 + + - -
預占防重key + + - 不變
回滾防重 不變 不變 + 不變
缺量預占庫存量 不變 + 反向 不變
扣減庫存單據記錄 + + - -

Redis&DB

  • 首先進行redis&從庫數據比對，若存在差異則對主庫進行校驗
  • 比對過程中，DB中sku明細行進行鎖定(for update)，比對邏輯為DB可用庫存量==(Redis可用庫存量+Redis預占量)
  • 有差異，報警且觸發SDK可用量過期，同時矯正預占量

容災方案

// 對系統容錯/降級、監控機制(空間換穩定性，兩份redis，故障3次丟數)，流量分佈材料，618流量大、峰值數據切量。數據不一致，多個商家，不能超過5分。

預占任務持久化：mysql需要將核心屬性欄位數據持久化：事業部，商品編碼，倉編碼，等級，庫存類型，庫存狀態，預占庫存量，任務狀態;調度執行完成後需要更新stockTask狀態為完成

初始化：

(1) lock db

(2) sum stockTask

(3)使用DB可用庫存初始化Redis可用庫存，stockTask預占量初始化Redis預占量

(4)Redis庫存回滾，如果預占量key不存在，該key不需要回滾

性能結果

23年618大促

切量細則

切量細則

冷熱數據

OMS庫存冷熱裝置

預占架構升級切量重點key監控

庫存預占架構升級切量商家

架構升級切量商家明細2

已切量商家

反向切量

原有設計中存在以下名單

禁止切量商家：優先順序較高，一旦在名單中，禁止切量

批次庫存商家：批次庫存管理商家，目前該部分能力尚未建設

動態質押商家：物流金融業務，目前該部分能力尚未建設 切量名單商家：該部分為切量商家

原有切量流程：！禁止切量->！批次庫存->！動態質押->切量名單中，通過以上校驗為切量商家。

原有流程在增量商家中需要手動將商家配置到切量名單中才可進行切量操作，對於新增商家場景操作不變，且原有流程中邏輯庫存名單為痛點：邏輯庫存的啟用配置在事業部主數據中，不在庫存側。

新版切量流程中對切量名單進行優化，將原來切量名單商家拆分成非邏輯庫存名單、邏輯庫存兩個名單，其中：

非邏輯庫存名單：包含可切量商家

邏輯庫存名單：邏輯庫存商家，該部分不可切量

原流程新流程對切量商家名單進行優化，拆分成非邏輯庫存名單、邏輯庫存兩個名單

構建模型(批次庫存&記憶體模型待續)

Redis存儲數據結構

  • MD生成規則工具集

◦邏輯庫存MD5工具

     StringBuffer md5Key = new StringBuffer();
     md5Key.append(logicWarehouseStock.getGoodsNo()+"_"+logicWarehouseStock.getWarehouseNo()+"_"+logicWarehouseStock.getOwnerNo()+
             "_"+logicWarehouseStock.getDeptNo()+"_"+logicWarehouseStock.getStockType()+"_"+logicWarehouseStock.getGoodsLevel());
     if(StringUtils.isBlank(logicWarehouseStock.getFactor1())){
         md5Key.append("_0");
     }else {
         md5Key.append("_"+logicWarehouseStock.getFactor1());
     }
     if(StringUtils.isBlank(logicWarehouseStock.getFactor2())){
         md5Key.append("_0");
     }else {
         md5Key.append("_"+logicWarehouseStock.getFactor2());
     }
     if(StringUtils.isBlank(logicWarehouseStock.getFactor3())){
         md5Key.append("_0");
     }else {
         md5Key.append("_"+logicWarehouseStock.getFactor3());
     }
     if(StringUtils.isBlank(logicWarehouseStock.getFactor4())){
         md5Key.append("_0");
     }else {
         md5Key.append("_"+logicWarehouseStock.getFactor4());
     }
     if(logicWarehouseStock.getYn()== null){
      md5Key.append("_1");
     }else {
         md5Key.append("_"+logicWarehouseStock.getYn());
     }
     md5Key.toString().hashCode()
  • 批次庫存MD5工具
public void fillMd5Value(){
        StringBuffer md5Key = new StringBuffer();
        md5Key.append(warehouseNo);
        md5Key.append("_");
        md5Key.append(goodsNo);
        md5Key.append("_");
        md5Key.append(goodsLevel);
        md5Key.append("_");
        md5Key.append(stockType);
        //遍歷類欄位不遍歷map是為了控制MD5的組成順序
        Class clazz = BatchAttrStock.class;
        Field[] fields = clazz.getDeclaredFields();
        try {
            int batchFieldCount = 0 ;
            for (Field field : fields){
                BatchAttrEnum attrEnum = BatchAttrEnum.batchFieldEnumMap.get(field.getName());
                //不是批屬性的欄位不進入MD5的組成
                if (attrEnum == null){
                    continue;
                }
                batchFieldCount ++;
                field.setAccessible(true);
                Object value = field.get(this);
                if (value == null ){
                    md5Key.append("0");
                    continue;
                }
                if(field.getType().toString().contains("String")){
                    md5Key.append(value);
                    continue;
                }
                if(field.getType().toString().contains("Date")){
                    Date timeField = (Date) value;
                    md5Key.append(timeField.getTime());
                    continue;
                }
                throw new RuntimeException(attrEnum.getField()+"填充MD5異常");
            }
            //預設50個批屬性長度,長度不夠0補齊
            int remainLength = 50 - batchFieldCount;
            String str = String.format("%0"+remainLength+"d", 0);
            md5Key.append(str);

        }catch (Exception e){
            throw new RuntimeException("填充MD5異常.");
        }

        md5Key.append(yn);
        String md5Value =  MD5Util.md5(md5Key.toString());
        setMd5Value(md5Value);
    }
  • MD&ID&屬性保存工具

本文篇幅有限，餘下二期進行分享。

作者：京東物流 金鵬

來源：京東雲開發者社區 自猿其說Tech 轉載請註明來源


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 探索GreatADM：圖形化部署MGR的全新體驗
    **摘要：** 在DBA的日常工作中，快速部署資料庫高可用架構，且標準化地入網部署資料庫是一項重要的基礎任務。本文將介紹常見的部署MGR的方式，並重點介紹萬里資料庫的GreatADM資料庫管理平臺進行圖形化、可視化、標準化的部署過程，以提高交付效率和質量，給DBA提供一種全新的體驗。（本文閱讀大約需 ...
  • vue 腳手架文件結構及載入過程淺談
    1. 初始化腳手架 1.1 全局安裝 @vue/cli npm install -g @vue/cli 1.2 切換到創建項目的目錄，執行 vue create projectname 1.3 選擇符合自己要求的項進行Y/N，最終生成項目文件 2. 腳手架文件結構 |-- node_modules: ...
  • Fabric.js 元素選中狀態的事件與樣式
    # 本文簡介 帶尬猴！ 你是否在使用 `Fabric.js` 時希望能在選中元素後自定義元素樣式或選框（控制角和輔助線）的樣式？ ![file](https://img2023.cnblogs.com/other/2700980/202308/2700980-20230823211856528-21 ...
  • vue3+vite2動態綁定圖片優雅解決方案
    > 優雅解決方案在最下麵，小伙伴們兒可以直接前往 😊 > # 背景 在vue3+vite2項目中，我們有時候想要動態綁定資源，比如像下麵的代碼這樣： ```html ``` 實際效果是這樣： ![](https://img2023.cnblogs.com/blog/3153981/202308/3 ...
  • 記錄--為什麼要使用 package-lock.json?
    這裡給大家分享我在網上總結出來的一些知識，希望對大家有所幫助 前言 隨著JavaScript在現代軟體開發中的日益重要地位，Node.js生態系統中的npm成為了不可或缺的工具。在npm管理依賴的過程中，package-lock.json文件的作用日益凸顯。本文將深入探討為什麼要使用package- ...
  • 解決Vue中el-select第二次選擇選項時才會顯示上一個選項的響應結果
    今天在寫一個選擇器的時候出現一個問題 這個功能需求是：通過選擇器選擇不同的選項，點擊查詢按鈕發送請求，並將響應結果放到一個div中用v-if控制是否顯示。 看似簡單的一個功能，卻出現一個很搞笑的bug。在我選擇一個選項點擊查詢，本應該顯示結果的div沒有顯示出來，而在選擇一個其他選項，不需要點擊查詢 ...
  • 13 CSS 的position屬性
    ##### 13 CSS 的position屬性 就像photoshop中的圖層功能會把一整張圖片分層一個個圖層一樣，網頁佈局中的每一個元素也可以看成是一個個類似圖層的層模型。層佈局模型就是把網頁中的每一個元素看成是一層一層的，然後通過定位屬性position對元素進行定位擺放，最終實現網頁的佈局。 ...
  • 【演算法】在vue3的ts代碼中分組group聚合源數據列表
    ##### 12 CSS 的float屬性 - 流動佈局 流動模型（Flow），即文檔流，瀏覽器打開HTML網頁時，從上往下，從左往右，逐一載入。 在正常情況下，HTML元素都會根據文檔流來分佈網頁內容的。 文檔流有2大特征： ① 塊狀元素會隨著瀏覽器讀取文檔的順序，自上而下垂直分佈，一行一個的形式 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類