《連載 | 物聯網框架ServerSuperIO教程》- 10.持續傳輸大塊數據流的兩種方式(如:文件)

来源:http://www.cnblogs.com/lsjwq/archive/2016/11/21/6087544.html
-Advertisement-
Play Games

以現在物聯網的現狀或是對物聯網的認知,特別是工業物聯網,必須具備集成多種數據源的能力。數據源大體分兩類:硬體產生和軟體產生。 基於現實情況,作為物聯網框架必須具備各類數據的集成能力,以及各種應用場景。以數據大小為例,小到一次接收緩存承載能力範圍內的數據,大到超出一次接收緩存承載能力範圍的數據... ...


1.C#跨平臺物聯網通訊框架ServerSuperIO(SSIO)介紹

《連載 | 物聯網框架ServerSuperIO教程》1.4種通訊模式機制。

《連載 | 物聯網框架ServerSuperIO教程》2.服務實例的配置參數說明

《連載 | 物聯網框架ServerSuperIO教程》- 3.設備驅動介紹

《連載 | 物聯網框架ServerSuperIO教程》-4.如開發一套設備驅動,同時支持串口和網路通訊。

《連載 | 物聯網框架ServerSuperIO教程》- 5.輪詢通訊模式開發及註意事項。

《連載 | 物聯網框架ServerSuperIO教程》- 6.併發通訊模式開發及註意事項

《連載 | 物聯網框架ServerSuperIO教程》- 7.自控通訊模式開發及註意事項

《連載 | 物聯網框架ServerSuperIO教程》- 8.單例通訊模式開發及註意事項

《連載 | 物聯網框架ServerSuperIO教程》- 9. 協議過濾器,解決一包多發、粘包、冗餘數據


 

目       錄

10.持續傳輸大塊數據流的兩種方式(如:文件)... 2

10.1        概述... 2

10.2        大塊數據流的兩種傳輸方式... 2

10.2.1       協議數據包的方式... 2

10.2.2       請求長度、確認的方式... 3

10.3        實現持續傳輸大塊數據... 4

10.3.1       設計請求發送數據協議... 4

10.3.2       客戶端代碼實現... 4

10.3.3       ServerSuperIO框架的實現及註意事項... 7

10.4        運行效果... 11

10.持續傳輸大塊數據流的兩種方式(如:文件)

10.1     概述

    以現在物聯網的現狀或是對物聯網的認知,特別是工業物聯網,必須具備集成多種數據源的能力。數據源大體分兩類:硬體產生和軟體產生。如下圖:

 

    基於現實情況,作為物聯網框架必須具備各類數據的集成能力,以及各種應用場景。以數據大小為例,小到一次接收緩存承載能力範圍內的數據,大到超出一次接收緩存承載能力範圍的數據,只要網路允許,都有可能。以前的連載文章都是以小的數據包為基礎介紹的,這篇文章介紹大塊數據流的傳輸方式。

10.2     大塊數據流的兩種傳輸方式

10.2.1 協議數據包的方式

    這種方式是規定好數據包協議的開頭和結尾,把大塊數據分解成一定長度的小數據包,以協議頭+小數據包+協議尾的組合方式分批次進行數據傳輸。接收到每個批次的數據後,再進行數據校驗,拼裝數據,還原出完整的數據。示意圖如下:

 

     這種方式存在以下幾個問題:

       (1) 每個包的數據出現問題後,要進行數據補發。要設計好協議,完成補發機制。

       (2)數據源是多種多樣的,例如:壓縮文件、序列化的文件、加密的文件等等,那麼就存在每個小數據包的數據有可能會和協議頭或協議尾一致,甚至和CRC校驗一致的情況,從而導致數據無法正常校驗和解析,這時進行補發數據,可能出現同類情況是大概率事件。

     選擇這種傳輸大塊數據流的方式,要根據現場的實際情況進行選擇,規避可能出現的風險,提高項目、產品整體的穩定性。

     如果選擇這種方式,那麼根據前面介紹的文章,就可以實現,網友可以自己動手實現。這篇文章主要介紹下麵這種方式。

10.2.2 請求長度、確認的方式

   客戶端先發送請求發送數據的命令,並且在命令標識本次要發送數據的長度。如果服務端接收到該請求命令後,根據判斷請求數據長度是否在允許範圍內,然後返回相同命令數據或其他確認數據給客戶端,標識是否允許發送該長度的數據信息。如果可以發送,那麼客戶端則持續發送數據流,服務端也進行持續接收階段。示意圖如下:

 

     針對這種數據傳輸的方式,ServerSuperIO專門提供了介面。下麵進行詳細的介紹。

10.3     實現持續傳輸大塊數據

10.3.1 設計請求發送數據協議

    請求發送0x62指令,共10個位元組,校驗和為從“從機地址”開始的累加和,不包括“數據報頭”、“校驗和”和“協議結束”。

    請求指令數據幀如下:

    服務端接收到該請求命令後,返回同樣的命令信息給客戶端,客戶端則進入持續發送數據的狀態。

10.3.2 客戶端代碼實現

    先發送請求數據命令,代碼如下:

private void btSendFile_Click(object sender, EventArgs e)
{
            try
            {
                if (this._tcpClient == null)
                {
                    return;
                }

                if (!File.Exists(this.txtFilePath.Text))
                {
                    WriteLog("請選擇文件");
                    return;
                }

                byte[] backData = new byte[10];
                backData[0] = 0x55;
                backData[1] = 0xaa;//協議頭
                backData[2] = byte.Parse(this.numericUpDown1.Value.ToString());//從機地址
                backData[3] = 0x62;//命令
                int count=(int)(new FileInfo(this.txtFilePath.Text)).Length;
                byte[] countBytes = BitConverter.GetBytes(count);

                backData[4] = countBytes[0];
                backData[5] = countBytes[1];
                backData[6] = countBytes[2];
                backData[7] = countBytes[3];
                byte[] checkSum = new byte[6];
                Buffer.BlockCopy(backData, 2, checkSum, 0, checkSum.Length);
                backData[8] = (byte)checkSum.Sum(b => b);//計算校驗和
                backData[9] = 0x0d;

                this._tcpClient.Client.Send(backData, 0, backData.Length, SocketFlags.None);
            }
            catch (SocketException ex)
            {
                Disconnect();
                WriteLog(ex.Message);
            }
}

     接收到服務端的確認信息後,持久發送數據的代碼如下:

private void SendFile()
        {
            FileStream fs = null;
            try
            {
                if (this._tcpClient == null)
                {
                    return;
                }
                string fileName = this.txtFilePath.Text;
                if (!File.Exists(fileName))
                {
                    WriteLog("請選擇文件");
                    return;
                }
                WriteLog("開始傳輸>>");
                byte[] sendBuffer = new byte[1024];
                fs = new FileStream(fileName, FileMode.Open, FileAccess.Read, FileShare.Read);
                long length = fs.Length;
                int count = 0;
                Stopwatch watch = new Stopwatch();
                watch.Start();
                while (length > 0)
                {
                    int sendNum = fs.Read(sendBuffer, 0, sendBuffer.Length);
                    sendNum = _tcpClient.Client.Send(sendBuffer, 0, sendNum, SocketFlags.None);
                    length -= sendNum;
                    count += sendNum;

                    float percent = ((fs.Length - length) / (float)fs.Length) * 100.0f;
                    WriteLog("已傳:" + percent.ToString("0.00") + "%");
                }
                watch.Stop();

                WriteLog("傳輸完畢!總數:" + count.ToString() + ",耗時:" + watch.Elapsed.TotalSeconds.ToString(CultureInfo.InvariantCulture));
            }
            catch (SocketException ex)
            {
                this.Disconnect();
                WriteLog(ex.Message);
            }
            catch (Exception ex)
            {
                WriteLog(ex.Message);
            }
            finally
            {
                if (fs != null)
                {
                    fs.Close();
                    fs.Dispose();
                }
            }
        }

10.3.3 ServerSuperIO框架的實現及註意事項

     客戶端的代碼實現基本上沒有什麼好講的,主要是介紹基於ServerSuperIO框架,以設備驅動的方式是怎麼實現的。註:以下自控模式實現。

  1. 1.      協議介面的實現

      DeviceProtocol:ProtocolDriver介面有一個GetPackageLength(byte[] data, IChannel channel, ref int readTimeout)函數介面,data參數是請求發送數據的命令,channel參數是當前IO通道的實例,readTimeout是自定義返回接收數據長度所要使用的時間,如果返回值為0的話,則認為不進入持續接收數據任務。可以通過channel參數直接返回確認信息,具體代碼如下:

public override int GetPackageLength(byte[] data, IChannel channel, ref int readTimeout)
        {
            if (data == null || data.Length <= 0)
                return 0;
            readTimeout = 2000;
            if (CheckData(data))
            {
                try
                {
                    if (data[3] == 0x62) //發送文件請求
                    {
                        int length = BitConverter.ToInt32(new byte[] {data[4], data[5], data[6], data[7]}, 0);
                        if (length <= 1024*1024) //限制
                        {
                            int num = channel.Write(data);
                            if (num > 0)
                            {
                                Console.WriteLine("返迴文件請求確認數據");
                                return length;
                            }
                            else
                            {
                                return 0;
                            }
                        }
                        else
                        {
                            return 0;
                        }
                    }
                    else
                    {
                        return 0;
                    }
                }
                catch (Exception)
                {
                    return 0;
                }
            }
            else
            {
                Console.WriteLine("校驗錯誤");
                return 0;
            }
        }

 2.      協議命令的實現

   為了實現對大塊數據的處理,專門增加一個協議命令,用於解析、保存數據。代碼如下:

internal class DeviceFileCommand:ProtocolCommand
    {
        public override string Name

        {
            get { return CommandArray.FileData.ToString(); }
        }

        public override dynamic Analysis<T>(byte[] data, T t)
        {
            if (t != null)
            {
                string path = AppDomain.CurrentDomain.BaseDirectory + DateTime.Now.ToString("yyyyMMddHHmmss") + ".txt";
                File.WriteAllBytes(path, t as byte[]);
                return path;
            }
            else
            {
                return null;
            }
        }
}
  1. 3.      設備驅動調用協議,並驅動協議命令

     在接收大塊數據流的時候,會把所有數據信息返回到設備驅動的Communicate介面,其中info參數的Data是當前請求數據的命令,BigData就是持續接收數據的信息,通過調用this.Protocol.DriverAnalysis協議介面驅動協議命令DeviceFileCommand。具體代碼如下:

public override void Communicate(ServerSuperIO.Communicate.IRequestInfo info)
        {
            string hexs = BinaryUtil.ByteToHex(info.Data);
            OnDeviceRuningLog("接收>>" + hexs);
            byte[] cmds = this.Protocol.GetCommand(info.Data);
            CommandArray cr = (CommandArray)cmds[0];
            dynamic obj = this.Protocol.DriverAnalysis<byte[]>(cr.ToString(), info.Data, info.BigData);
            if (obj != null)
            {
                if (cr == CommandArray.RealTimeData)
                {
                    _deviceDyn.Dyn = (Dyn)obj;
                }
                else if (cr == CommandArray.FileData)
                {
                    OnDeviceRuningLog("文件存儲路徑:" + obj.ToString());
                }
            }
            OnDeviceRuningLog("通訊正常");
        }
  1. 4.      宿主程式服務實例配置註意事項

     主要在配置參數中配置StartCheckPackageLength = true,在接數據的過程中會檢測相應設備驅動的協議介面GetPackageLength。

static void Main(string[] args)
        {
            DeviceSelfDriver dev2 = new DeviceSelfDriver();
            dev2.DeviceParameter.DeviceName = "網路設備";
            dev2.DeviceParameter.DeviceAddr = 1;
            dev2.DeviceParameter.DeviceID = "1";
            dev2.DeviceDynamic.DeviceID = "1";
            dev2.DeviceParameter.DeviceCode = "1";
            dev2.DeviceParameter.NET.RemoteIP = "127.0.0.1";
            dev2.DeviceParameter.NET.RemotePort = 9600;
            dev2.CommunicateType = CommunicateType.NET;
            dev2.Initialize("1");

            IServer server = new ServerManager().CreateServer(new ServerConfig()
            {
                ServerName = "服務1",
                ComReadTimeout = 1000,
                ComWriteTimeout = 1000,
                NetReceiveTimeout = 1000,
                NetSendTimeout = 1000,
                ControlMode = ControlMode.Self,
                SocketMode = SocketMode.Tcp,
                StartReceiveDataFliter = true,
                ClearSocketSession = false,
                StartCheckPackageLength = true,
                CheckSameSocketSession = false,
                DeliveryMode = DeliveryMode.DeviceIP,
            });

            server.AddDeviceCompleted += server_AddDeviceCompleted;
            server.DeleteDeviceCompleted+=server_DeleteDeviceCompleted;
            server.Start();
            server.AddDevice(dev2);
            while ("exit" == Console.ReadLine())
            {
                server.Stop();
            }
        }

10.4     運行效果

圖片

視頻


 

1.[連載]《C#通訊(串口和網路)框架的設計與實現》

2.[開源]C#跨平臺物聯網通訊框架ServerSuperIO(SSIO)介紹

2.應用SuperIO(SIO)和開源跨平臺物聯網框架ServerSuperIO(SSIO)構建系統的整體方案

3.C#工業物聯網和集成系統解決方案的技術路線(數據源、數據採集、數據上傳與接收、ActiveMQ、Mongodb、WebApi、手機App)

5.ServerSuperIO開源地址:https://github.com/wxzz/ServerSuperIO

物聯網&集成技術(.NET) QQ群54256083 


 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 情況描述: 當安裝某些軟體後,磁碟根目錄中多出了msdia80.dll文件,該文件顯示為2006年12月1日,884KB。 原因: 當使用64位操作系統時,在電腦上安裝 Microsoft Visual C++ 2005 可再發行組件時, Msdia80.dll文件被安裝在啟動驅動器的根文件夾中。 ...
  • 【大型網站技術實踐】初級篇:藉助Nginx搭建反向代理伺服器(轉) 出處:http://edisonchou.cnblogs.com/ 一、反向代理:Web伺服器的“經紀人” 1.1 反向代理初印象 反向代理(Reverse Proxy)方式是指以代理伺服器來接受internet上的連接請求,然後將 ...
  • seL4之hello 2旅途 2016/11/19 13:15:38 If you like my blog, please buy me a cup of coffee. 回顧上周 seL4運行環境搭建. 完成 的運行. 補充上周 1.微內核與巨集內核有什麼不同? 微內核——用戶態提供OS服務,一般 ...
  • 在開發中,由於某些需求,我們可能需要做一些平移,縮放,旋轉甚至三維變換,所以我來講講在UWP中這些變換的實現方法。 一、 二維變換: 二維變換用到的是RenderTransform a、TranslateTransform,平移: 屬性:X,Y我相信大家都知道怎麼用,這裡就不講廢話了 b、Rotat ...
  • 項目相關的快捷鍵 Ctrl + Shift + B = 生成項目 Ctrl + Alt + L = 顯示Solution Explorer(解決方案資源管理器) Shift + Alt+ C = 添加新類 Shift + Alt + A = 添加新項目到項目 編輯相關的鍵盤快捷鍵 Ctrl + En... ...
  • 問題 Web API 怎麼支持通用的 OData 系統查詢項,例如 $select 或 $filter。 解決方案 為了在 Web API 中啟用查詢項,我們需要在 Action 上使用 EnableQueryAttribute。 如果 Action 沒有返回集合,而是返回單個對象的實例,調用端仍然 ...
  • 怎樣使用 async & await 一步步將同步代碼轉換為非同步編程 【博主】反骨仔 【出處】http://www.cnblogs.com/liqingwen/p/6079707.html 序 上次,博主通過《利用 async & await 的非同步編程》該篇點睛之作介紹了 async & awai ...
  • 中間件的註冊除了可以藉助Startup對象(DelegateStartup或者ConventionBasedStartup)來完成之外,也可以利用另一個叫做StartupFilter的對象來實現。所謂的StartupFilter是對所有實現了IStartupFilter介面的類型及其對象的統稱。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...