物聯網海量設備心跳註冊，脫網清除——多線程高併發互斥鎖落地

来源:https://www.cnblogs.com/JerryMouseLi/archive/2020/04/15/12709048.html
-Advertisement-
Play Games

物聯網海量設備心跳註冊，脫網清除——多線程高併發互斥鎖落地 [toc] 1.應用背景 在物聯網應用場景中，需要維護很多個設備的連接，比如基於TCP socket通信的長連接，目的是為了獲取設備採集的信息，反向控制設備的數字開關或者模擬量。我們把這些TCP長連接都放入了基於線程安全的Concurren ...


物聯網海量設備心跳註冊，脫網清除——多線程高併發互斥鎖落地

目錄

1.應用背景

在物聯網應用場景中，需要維護很多個設備的連接，比如基於TCP socket通信的長連接，目的是為了獲取設備採集的信息，反向控制設備的數字開關或者模擬量。我們把這些TCP長連接都放入了基於線程安全的ConcurrentDictionary激活字典表中，IP地址作為key，設備箱領域模型作為value。我們需要把激活設備箱的字典表維護好，需要將超時沒有心跳的設備，我們可以稱之為脫網設備，給清理出激活字典表，寫入到脫網告警字典表中去。當脫網設備下次再有心跳時，可以再次移入到激活字典表中，從而再產生恢復告警，進行一系列其他動作。

2.整體框架

2.1.心跳註冊框架

2.1.1.海量設備

因為要模擬海量設備的TCP場景，我們利用模擬器生成了12000台模擬設備。8台真實設備。

2.1.2.心跳上報Handler流程

詳細心跳上報流程詳見上述框架圖

突然發現我可以寫一個物聯網的採集系統的系列了，組織一個目錄。希望自己堅持下去吧。

2.2.脫網清理框架

2.2.1.激活字典表清理脫網設備方法

原理很簡單，遍歷字典表中超過設置的檢測周期，篩選到一個字典的IEnumerable中去，然後在激活字典表中刪除對應超時key（這裡就是指IP地址）即可。當然這裡的_internal周期可以*N，多個周期，自行在配置文件中設置即可，配置文件如下：

 "ipboxNumStaticInternal": 12

    public static void DeleteDeadBoxFromActiveBox(in _internal)
    {
        {
            var outTime = DateTime.Now.AddSeconds(-_internal);
            var iboxTimeOutList = iboxActiveDictionary.Where(q => (outTime > q.Value.UpdateTime));//.Select(x=> iboxActiveDictionary[x.Key]) ;
            foreach (var item in iboxTimeOutList)
            {
                iboxActiveDictionary.Remove(item.Key);
            }               
        }
    }

2.2.2.脫網清理流程圖

這裡主要開啟了一個系統定時器，主動會去調用清理脫網設備方法，調用時間間隔即ipboxNumStaticInternal。代碼如下：

    public void systemTimerStart()
    {
        var interval = ReadTheInternalFromSetting();
        _systemTimer = new Timer(state =>
        {               
            IBoxActiveDicManager.DeleteDeadBoxFromActiveBo(_internal);
            Console.WriteLine("{1},激活設備數量：{0}\n",IBoxActiveDicManager.iboxActiveDictionary.Count,DateTime.Now);
        }, null, interval, interval);
        Console.WriteLine("PemsCom採集系統時鐘已經開啟");
        LoggerHelper.Info("PemsCom採集系統時鐘已經開啟");
    }

    /// <summary>
    /// 配置文件讀入時間間隔方法
    /// </summary>
    /// <returns></returns>
    private int ReadTheInternalFromSetting()
    {
        _internal = int.Parse(Appsettings.app(new string[] {"ipboxNumStaticInternal" }));
        Console.WriteLine("PemsCom採集系統時鐘配置參數已經讀");
        LoggerHelper.Info("PemsCom採集系統時鐘配置參數已經讀");
        return Convert.ToInt32(TimeSpan.FromSecond(_internal).TotalMilliseconds);
    }

3.多線程與高併發說明

3.1.多線程說明

這裡會有很多的線程讓CPU來輪片執行，比如：

  • 12008個Receive事件觸發線程；
  • 定時清除脫網設備線程；
  • 主線程，監控命令行輸入，並執行對應的命令；

舉個實際的例子，以圖為證

12008台設備，每秒處理接受網路包的峰峰值是9218個包，就是在某一秒，CPU共輪片執行了9218個線程。比如是雙核4線程的，則9218/4=2304.5。即CPU在1秒輪片執行了2305次。即0.43毫秒就輪片執行一次。

3.2.高併發說明

其實3.1已經解釋了高併發。在某一秒，需要處理的接收事件有接近1萬件。而這一時刻的執行順序是無序的，9218里的這麼多線程，我們不知道哪個先執行，哪個後執行。如果不認為地加一些邏輯控制，比如我們今天要介紹的互斥鎖，就會出現一些異常現象。

4.多線程高併發造成的異常現象

這裡只描述現象，原因會在下麵5.分析異常原因 做具體描述。

4.1.空引用

異常所在的位置：心跳處理類如下。

    public class HeartHandler
    {
        static string _deviceIndex = Appsettings.app(new string[] { "DeviceIndex" });
        private static IBoxActive iboxActive;
        public static void Register(TcpHeartPacket heartPacket,int sessId)
        {
            UInt32 IP;
            UInt64 mac;
            if (_deviceIndex == "IP")
            {
         
                IP =(UInt32)BitConverter.ToUInt32(heartPacket.IP, 0);
                if (IBoxActiveDicManager.GetBoxActive(IP, out iboxActive) != true)
                {       
                    IBoxActiveDicManager.iboxActiveDictionary.TryAdd(IP, iboxActive);
                    iboxActive.SessID = sessId;
                }
               
            }
            else
            {
                 mac = (UInt64)BitConverter.ToUInt64(heartPacket.Mac, 0);
                if (IBoxActiveDicManager.GetBoxActive(mac, out iboxActive) != true)
                {
                    IBoxActiveDicManager.iboxActiveDictionary.TryAdd(mac, iboxActive);
                    iboxActive.SessID = sessId;
                }
            }

            //引用類型，智能指針，使用方便
            iboxActive.UpdateTime = DateTime.Now;

           
        }
    }

4.2.字典表裡元素賦值不成功

        /// <summary>
        /// 查詢激活設備箱字典中是否有存在上報的設備箱,
        /// 存在返回true，不存在返回false，並且新建好設備箱模型
        /// </summary>
        /// <param name="mac"></param>
        /// <param name="iboxActive"></param>
        /// <returns></returns>
        public static bool GetBoxActive(UInt32 IP, out IBoxActive iboxActive)
        {
 
            if (iboxActiveDictionary.TryGetValue(IP, outiboxActive))
            {
                return true;
            }
            
            iboxActive = new IBoxActive();
           
            iboxActive.IP = IP;

            if (iboxActive.IP != IP)
            {
                LoggerHelper.Error(string.Format("實例化賦值不成功.iboxActive.IP:{0};IP{1}", iboxActive.IP, IP));
            }

            return false;
        }

有沒有感覺很奇怪，上一句都賦值了，下一句對比就不相等。但是在多線程大併發里就是有這種可能，下麵會詳細分析。

4.3.統計設備總數不正確

因為12008臺大併發時很容易出錯，所以改成了1000台。如下統計數據會有出錯情況，這同樣也是因為多線程高併發引起的錯誤。

5.分析異常原因

5.1.造成空引用的原因

其實第4的三點原因都是同一個原因造成，所以在5.1會詳細闡述，5.2，,5.3只做簡單闡述。這裡敲下黑板，分析多線程高併發的異常問題，程式運行的特點就是見縫就插，就像個老司機一樣，概括起來就是線程與線程之間的無序性。比如我們設備心跳線程正在更新設備心跳時間的時候。脫網清理線程就把該設備給清理掉了。如此一來，時間沒法賦值給空對象（已被脫網線程給清理）。因此只能報空引用異常，對沒錯，就是這麼簡單，耗費了我很長時間去debug跟思考這個異常。

5.2.設備IP賦值不成功原因

同樣，在創建了設備實例之後，IP賦值完成，剛好脫網清除設備線程運行清除了設備，當對比的時候，引用原來的地址，字典的原來地址已經存了其他設備箱的IP，所以IP地址不相等。

5.3.統計設備總數不正確原因

原因其實是5.2造成的，沒法成功註冊，當然數量就不對啦。

6.解決思路

就是當我在創建激活設備實例（第一次心跳註冊）或者更新心跳時間的時候（非第一次註冊），不要讓無序的脫網清除線程運行。敲黑板:就是保證心跳處理註冊過程的原子性。對，其實這裡很像關係型資料庫的事務，原子性。原子性就是對抗程式無序造成異常的有力武器。我們可以在註冊心跳處理方法上加個互斥鎖，讓編譯器跟運行時去安排更加合理的執行順序。

7.代碼實現

代碼很簡單。

    //定義一把鎖
    public static Mutex activeIpboxDicMutex = new Mutex();
    //設備箱註冊加鎖。異常全部消除
    IBoxActiveDicManager.activeIpboxDicMWaitOne();
    HeartHandler.Register(tcpHeartPacsessionId);
    IBoxActiveDicManager.activeIpboxDicMReleaseMutex();

這裡插入一下事務的使用，也是很類似的，把我們的主業務加中中間，類比方便大家理解記憶。就像夾心餅干（瞎扯）。

            unitOfWork.BeginTransaction();

            // Adds new device
            unitOfWork.DeviceRepository.Add(device);

            // Commit transaction
            unitOfWork.Commit();

當然也可以給設備箱脫網清除線程加鎖。

     IBoxActiveDicManager.activeIpboxDicMutex.WaitOne();
     IBoxActiveDicManager.DeleteDeadBoxFromActiveBox(_internal);
     IBoxActiveDicManager.activeIpboxDicMutex.ReleaseMutex();

考慮到脫網清除線程會損耗部分性能，我也測試了去掉該鎖的情況，也不會有第4的3個異常，至此問題全部解決。

8.小結

  • 模擬設備數量小測不出這個問題，如此看出海量設備的重要性，因為現實情況肯定會出現以上三個問題，而且都是很嚴重很致命的問題。好的測試方法可以把問題扼殺在搖籃中；

  • 多線程高併發時容易出現這樣那樣的異常，要懷著敬畏之心去思考，去解決問題；

版權聲明：本文為博主原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接和本聲明。

本文鏈接：https://www.cnblogs.com/JerryMouseLi/p/12709048.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • React新聞網站--Header組件拆分及樣式佈局
    先放圖，一個頭部組件 index.js import React,{Component} from 'react'; import ReactDom from 'react-dom'; import { Layout } from 'antd'; import 'antd/dist/antd.css ...
  • React 中的前端路由 react-router-dom
    安裝react路由 npm install react-router-dom --save 準備好兩個組件頁面 Counter.js和myBtn.js，作為演示使用 修改index.js import React from 'react'; import ReactDOM from 'react-d ...
  • js判斷字元是否在數組中【轉】
    ~~~javascript //檢測某個字元是否在此數組中 function isInArray(arr, str) { var testStr = ',' + arr.join(",") + ","; return testStr.indexOf("," + str + ",") != 1 ; } ...
  • checkbox中checked屬性總結【轉】
    [TOC] 一、checked屬性定義和用法 1.checked屬性是一個布爾屬性 2.checked屬性規定在頁面載入時應該被預先選定的``元素 3.checked屬性適用於 ` 4.checked屬性也可以在頁面加在後，通過JavaScript代碼進行設置 attr()/prop()方法設置或返 ...
  • ES6---Promise應用: async, await
    ES6 Promise應用: async, await 1. k2 var k1 = new Promise((resolve, reject) => { resolve('ok'); }) console.log(k1); async function k2() { } console.log(k ...
  • meta標簽及Keywords
    關鍵字 meta（標簽）及 Keywords（關鍵詞），曾經在網頁中很重要的，但現在已經被很多搜索引擎完全忽略。但是，如果加上這個標簽也對網頁的綜合表現沒有壞處，不過，如果使用不恰當的話，對網頁非但沒有好處，還有欺詐的嫌疑。 <meta name="keywords" content="若夢,ech ...
  • 前端新手怎麼才能做好性能優化？
    影響用戶訪問的最大部分是前端的頁面。網站的劃分一般為二：前端和後臺。我們可以理解成後臺是用來實現網站的功能的，比如：實現用戶註冊，用戶能夠為文章發表評論等等。而前端呢？其實應該是屬於功能的表現。 而我們建設網站的目的是什麼呢？不就是為了讓目標人群來訪問嗎？所以我們可以理解成前端才是真正和用戶接觸的。 ...
  • 二維矢量數據轉火星坐標
    本文基於Supermap平臺實現二維矢量數據的84轉火星。 步驟： 在iDesktop中把數據轉換成wgs84的地理坐標系 在iDesktop中，把數據轉成geojson。 註意格式要選擇utf-8，不然中文欄位會亂碼。 在nodejs下，使用projzh包把wgs84坐標轉成火星坐標。 //ind ...
一周排行
    -Advertisement-
    Play Games
  • C# + WPF 音頻播放器 界面優雅，體驗良好
    前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器，其界面簡潔大方，操作體驗流暢。該播放器支持多種音頻格式（如 MP4、WMA、OGG、FLAC 等），並具備標記、實時歌詞顯示等功能。 另外，還支持換膚及多語言（中英文）切換。核心音頻處理採用 FFmpeg 組件，獲得了廣泛認可，目前 Git ...
  • OAuth2.0授權-gitee授權碼模式
    OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統，完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面，查看已創建應用的Client ID和Clien ...
  • FastReport.OpenSource .Net下開源免費報表列印組件
    解決了這個問題：《winForm下，fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自：https://www.fcnsoft.com/Home/Sho ...
  • 如何在 ASP.NET Core Web API 方法執行前後 “偷偷“ 作一些 “壞“ 事？初識 ActionFilterAttribute
    國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面，接收裸 Win 32 的 WM_Pointer 消息，從消息裡面獲取觸摸點信息，使用觸摸點 ...
  • 在 ASP.NET Core Web API 中使用異常篩選器捕獲和統一處理異常
    前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能，還集成了高性能的輕量級 POS 解決方案，確保頁面載入速度極快，提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • AbpHelper CLI積累與實戰分享
    ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI： ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的，因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 記一次HttpClient使用問題分析
    問題 問題是這樣的：第三方的webapi，需要先調用登陸介面獲取Cookie，訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面，返回的Headers中沒有找到Cookie信息。 分析 首先，使用Postman測試該登陸介面，正常返回Cookie信息，說明是HttpCli ...
  • .NET周刊【9月第3期 2024-09-15】
    國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低，主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上，.NET曾因微軟的閉源策略發展受限，儘管後來推出了跨平臺的.NET ...
  • 我的網站集成ElasticSearch初體驗
    在WPF開發應用中，動畫不僅可以引起用戶的註意與興趣，而且還使軟體更加便於使用。前面幾篇文章講解了畫筆（Brush），形狀（Shape），幾何圖形（Geometry），變換（Transform）等相關內容，今天繼續講解動畫相關內容和知識點，僅供學習分享使用，如有不足之處，還請指正。 ...
  • 第23篇 委托的概述
    什麼是委托？ 委托可以說是把一個方法代入另一個方法執行，相當於指向函數的指針；事件就相當於保存委托的數組； 1.實例化委托的方式： 方式1：通過new創建實例： public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...
所有分類