庫存預占架構升級方案設計-交易庫存中心

伴隨物流行業的迅猛發展，一體化供應鏈模式的落地，對系統吞吐、系統穩定發出巨大挑戰，庫存作為供應鏈的重中之重表現更為明顯。 ...

背景介紹

伴隨物流行業的迅猛發展，一體化供應鏈模式的落地，對系統吞吐、系統穩定發出巨大挑戰，庫存作為供應鏈的重中之重表現更為明顯。近三年數據可以看出：

接入商家同比增長37.64%、貨品種類同比增長53.66%

貨品數量同比增長46.43%、倉庫數量同比增長18.87%

通過分析過往大促流量，分鐘級流量增長率為75%，大促倉內反饋三方訂單下傳不及時，庫存預占吞吐量和性能是導致訂單積壓因素之一。目前庫存使用mysql資料庫作為接單預占的扛量手段，隨著一體化供應鏈建設以及重點KA商家不斷接入，現有庫存架構在業務支撐上存在風險和缺陷。

此外未來3到5年業務增長、流量增長預計增長5-10倍。為避免系統性能和技術架構缺陷導致業務損失，輕量級庫存架構勢在必行。

// 名詞解釋：

庫存預占：是指消費者拍下商品訂單後，庫存先為該訂單短暫預留，預留的庫存即為預占庫存。

架構原則

架構：是⾯向問題，解決問題的手段。庫存系統的問題: 非功能性：1.高併發 2.系統穩定性(容災) 3.數據一致性功能性: 1.業務複雜 2.數據一致性

系統設計

設計思路

當前庫存系統瓶頸在哪裡？：抗寫流量，資料庫成為瓶頸點。
如何解決系統瓶頸？：由高併發組件Redis替代資料庫。
利用Redis需要解決哪些問題？：防超賣，非同步寫資料庫保證最終一致性。

總體設計

扛量部分：庫存性能瓶頸在預占，傳統架構主要依靠資料庫事務保持數據一致以及數據讀寫；新版架構設計將數據扛量部分移植到Redis，利用Redis高性能吞吐解決高併發場景下數據讀寫。
數據回寫：Redis進行扛量削峰，後續數據僅用於記賬，最終犧牲數據的短暫一致性達到削峰的目的。
差異部分：老版本庫存預占設計僅依靠數據進行數據處理，新版設計依靠切量配置建數據切換到Redis，利用Redis高讀寫進行削峰操作。

詳細設計

主流程：

庫存初始化：競態條件利用Redis watch命令來實現鎖等待，解決併發場景數據不一致問題。
LUA執行器：將原子操作指令/復用指令封裝到LUA腳本中以減少網路開銷。
補償機制：i> 執行流程中所有業務異常發生時會同步發起反向操作請求；ii> 反向操作執行異常後會提交非同步反向操作任務；**iii>**非同步任務執行異常後，依賴監q控系統掃描異常單據或異常庫存並修改異常庫存量

回溯回寫：任務落庫後發出mq組裝參數調用數據回寫服務，數據回寫服務操作庫存數量；同時回寫redis數據，釋放預占量庫存數據；更新任務庫數據狀態

數據結構

庫存記錄索引：{deptNo|goodsNo|warehouseNo}|stockStatus|stockType|goodsLevel
hashTag：{deptNo|goodsNo|warehouseNo}|stockStatus|stockType|goodsLevel
可售庫存數量：usableKey：
扣減庫存量：usableSubtractKey：{庫存記錄索引} ，記錄Redis到DB執行期間減庫存量
預占防重key：operateKey：{庫存記錄索引：單號} 防重key防併發重覆請求
回滾防重：rollbackOperateKey：
缺量預占庫存量：ullageOperateKey：
扣減庫存單據記錄：hSetrecord:

key	預占	缺量預占	回滾	回寫
可售庫存數量	-	-	+	不變
扣減庫存量	+	+	-	-
預占防重key	+	+	-	不變
回滾防重	不變	不變	+	不變
缺量預占庫存量	不變	+	反向	不變
扣減庫存單據記錄	+	+	-	-

Redis&DB

首先進行redis&從庫數據比對，若存在差異則對主庫進行校驗
比對過程中，DB中sku明細行進行鎖定(for update)，比對邏輯為DB可用庫存量==(Redis可用庫存量+Redis預占量)
有差異，報警且觸發SDK可用量過期，同時矯正預占量

容災方案

// 對系統容錯/降級、監控機制(空間換穩定性，兩份redis，故障3次丟數)，流量分佈材料，618流量大、峰值數據切量。數據不一致，多個商家，不能超過5分。

預占任務持久化：mysql需要將核心屬性欄位數據持久化：事業部，商品編碼，倉編碼，等級，庫存類型，庫存狀態，預占庫存量，任務狀態;調度執行完成後需要更新stockTask狀態為完成

初始化：

(1) lock db

(2) sum stockTask

(3)使用DB可用庫存初始化Redis可用庫存，stockTask預占量初始化Redis預占量

(4)Redis庫存回滾，如果預占量key不存在，該key不需要回滾

性能結果

23年618大促

切量細則

冷熱數據

OMS庫存冷熱裝置

預占架構升級切量重點key監控

庫存預占架構升級切量商家

架構升級切量商家明細2

已切量商家

反向切量

原有設計中存在以下名單

禁止切量商家：優先順序較高，一旦在名單中，禁止切量

批次庫存商家：批次庫存管理商家，目前該部分能力尚未建設

動態質押商家：物流金融業務，目前該部分能力尚未建設切量名單商家：該部分為切量商家

原有切量流程：！禁止切量->！批次庫存->！動態質押->切量名單中，通過以上校驗為切量商家。

原有流程在增量商家中需要手動將商家配置到切量名單中才可進行切量操作，對於新增商家場景操作不變，且原有流程中邏輯庫存名單為痛點：邏輯庫存的啟用配置在事業部主數據中，不在庫存側。

新版切量流程中對切量名單進行優化，將原來切量名單商家拆分成非邏輯庫存名單、邏輯庫存兩個名單，其中：

非邏輯庫存名單：包含可切量商家

邏輯庫存名單：邏輯庫存商家，該部分不可切量

原流程新流程對切量商家名單進行優化，拆分成非邏輯庫存名單、邏輯庫存兩個名單

構建模型(批次庫存&記憶體模型待續)

Redis存儲數據結構

MD生成規則工具集

◦邏輯庫存MD5工具

     StringBuffer md5Key = new StringBuffer();
     md5Key.append(logicWarehouseStock.getGoodsNo()+"_"+logicWarehouseStock.getWarehouseNo()+"_"+logicWarehouseStock.getOwnerNo()+
             "_"+logicWarehouseStock.getDeptNo()+"_"+logicWarehouseStock.getStockType()+"_"+logicWarehouseStock.getGoodsLevel());
     if(StringUtils.isBlank(logicWarehouseStock.getFactor1())){
         md5Key.append("_0");
     }else {
         md5Key.append("_"+logicWarehouseStock.getFactor1());
     }
     if(StringUtils.isBlank(logicWarehouseStock.getFactor2())){
         md5Key.append("_0");
     }else {
         md5Key.append("_"+logicWarehouseStock.getFactor2());
     }
     if(StringUtils.isBlank(logicWarehouseStock.getFactor3())){
         md5Key.append("_0");
     }else {
         md5Key.append("_"+logicWarehouseStock.getFactor3());
     }
     if(StringUtils.isBlank(logicWarehouseStock.getFactor4())){
         md5Key.append("_0");
     }else {
         md5Key.append("_"+logicWarehouseStock.getFactor4());
     }
     if(logicWarehouseStock.getYn()== null){
      md5Key.append("_1");
     }else {
         md5Key.append("_"+logicWarehouseStock.getYn());
     }
     md5Key.toString().hashCode()

批次庫存MD5工具

public void fillMd5Value(){
        StringBuffer md5Key = new StringBuffer();
        md5Key.append(warehouseNo);
        md5Key.append("_");
        md5Key.append(goodsNo);
        md5Key.append("_");
        md5Key.append(goodsLevel);
        md5Key.append("_");
        md5Key.append(stockType);
        //遍歷類欄位不遍歷map是為了控制MD5的組成順序
        Class clazz = BatchAttrStock.class;
        Field[] fields = clazz.getDeclaredFields();
        try {
            int batchFieldCount = 0 ;
            for (Field field : fields){
                BatchAttrEnum attrEnum = BatchAttrEnum.batchFieldEnumMap.get(field.getName());
                //不是批屬性的欄位不進入MD5的組成
                if (attrEnum == null){
                    continue;
                }
                batchFieldCount ++;
                field.setAccessible(true);
                Object value = field.get(this);
                if (value == null ){
                    md5Key.append("0");
                    continue;
                }
                if(field.getType().toString().contains("String")){
                    md5Key.append(value);
                    continue;
                }
                if(field.getType().toString().contains("Date")){
                    Date timeField = (Date) value;
                    md5Key.append(timeField.getTime());
                    continue;
                }
                throw new RuntimeException(attrEnum.getField()+"填充MD5異常");
            }
            //預設50個批屬性長度,長度不夠0補齊
            int remainLength = 50 - batchFieldCount;
            String str = String.format("%0"+remainLength+"d", 0);
            md5Key.append(str);

        }catch (Exception e){
            throw new RuntimeException("填充MD5異常.");
        }

        md5Key.append(yn);
        String md5Value =  MD5Util.md5(md5Key.toString());
        setMd5Value(md5Value);
    }

MD&ID&屬性保存工具

本文篇幅有限，餘下二期進行分享。

作者：京東物流金鵬

來源：京東雲開發者社區自猿其說Tech 轉載請註明來源