對於多任務多連接多線程實現限速的實現方法及思考

来源:https://www.cnblogs.com/alyjay/archive/2023/03/15/17220553.html
-Advertisement-
Play Games

釘釘單元化從2018年開始到今年已經是第五個年頭了,五年的時間,釘釘單元化迭代了三個版本,從最初的毛頭小子,到達今年已經小有成就。今天想借這個場來和大家分享我們單元化的心路歷程和一些最佳實踐。本文要分享的內容只涉及部分內容,無法做到面面俱到,主要是想在同路人中形成共鳴,進而能復用一些架構或者系統。在... ...


對於多任務多連接多線程實現限速的實現方法及思考

前言

最近在寫畢業設計,我的畢業設計就是用Rust語言實現一個Bittorrent客戶端協議及其拓展協議,順便寫個Web讓這個玩意能跑起來用。

總之就是要實現一個類似迅雷的下載器。下載器嘛,肯定要有限速功能的,不然吃滿帶寬導致其他應用餓死(BT下載尤其如此,因為是多連接多線程多任務下載,網路好的情況下真的很容易完全吃滿網速導致其需要網路的應用根本不能用,不僅下載帶寬會被吃滿,上傳帶寬也會被吃滿)。

通常實現下載限速的方式就是固定時間內傳輸固定位元組數量。對於單任務單連接單線程來說,很好實現,直接傳輸完了就開始sleep就完事了。但是對於多任務多連接多線程來說,如何做到讓所有正在傳輸的線程的總和加起來的速度不超過設定值是一個讓我頭疼的問題。

所以我需要設計一個限速的方法或者說架構,來實現多線程多任務多連接下載。思考之前也在往上搜索了相關的資料,沒有找到適合這個場景的方法。只能自己想一個嘍。

系統架構

低耦合高內聚。不同的模塊之間雖然是包含關係,大部分操作通過信息的傳遞來進行控制。
主進程可以設置全局限速,TASK可以設置TASK限速及TASK本身優先順序,connect也可以單獨設置限速及優先順序。(優先順序本質上是資源分配權重)

實現思路

什麼是速度?什麼是限速?速度本質上是資源,限速本質上是有限資源的分配!

在BT下載中,速度通常來說分別有下載速度以及上傳速度,這都是速度,只是方向不同,因此統一用速度來代替下載和上傳兩種速度,下載和上傳除了方向不作區分。

  • 物理中的定義,速度分為平均速度和瞬時速度。瞬時速度就是時間無限小之內的位移除以時間。那麼在下載中的速度一般指瞬時速度,但是一般來說,如果要得到瞬時速度,那麼基本上程式都用來算速度而不是邏輯執行以及網路傳輸了。所以這裡的速度一般指的就是固定時間內,位元組傳輸的平均速度。假設1s傳輸了100位元組,那就是100Byte Per Second (100bps)。因此軟體實現測速就是固定間隔時間,計算在這段時間內傳輸的總位元組數。很簡單的事情。

  • 再深入一些,什麼是限制速度?限制速度本質上就是限制一段時間內傳輸的位元組數量。也就是限制流量。想到這一刻的時候,我豁然開朗!對啊,速度也是一種資源,和記憶體一樣,是一種可以消耗的資源。

  • 因此在多線程多模型多連接的傳輸場景下,實現限速,就可以使用“速度是資源”這一思想。要做的就是資源的分配,而且這種資源的分配不會像記憶體分配那樣產生內部碎片和外部碎片。因為流量本身就是連續的,是一種流。根本不用實現類似buddy系統+slab系統這種較為複雜的資源分配器。也不存在資源的返還,用了就是用了,不用還的。

資源分配方式

在我的設想中,資源(速度)的分配主要就分為兩種方式。

  1. 主動分配被動接受
  2. 主動申請被動分配

主動分配,被動接受

  1. 實現思路
    在第一種方式中,主進程每隔一段時間掃描所有task,然後根據限速及優先順序綜合分配資源。TASK線程每隔一段時間掃一遍connect,將自己有的資源分配給connect。

    在這種方式中,我們首先要保證公平性,也就是如果兩個task優先順序一樣,並且連接性能理想化(也就是假設不給限速,帶寬就是無限大)。需要分配的資源是相同的,也就是在實際下載中,速度相同。如果優先順序不同,則根據優先順序分配資源。

    同樣的我們還需要保證高效率低浪費,對於同一個task下的所有connect,假設connect連接優先順序均等同,那麼這時候哪個連接的性能越好,其速度應該越高。因為如果均使用平均分配的方式,那麼連接性能好的connect會饑餓,但是連接差的connect會過飽。多勞多得,本質上也是一種公平。

    同時,還需要防止資源的“壟斷”。因為如果連接性能越好,獲得的資源越多,那麼資源越多的情況下有時候會反應更好的連接性能,這時候就造成了壟斷。

    因此,還需要一個方案來測算真實連接性能。

    在一段時間內,有傳輸時間,有等待資源獲取時間。那麼有效的時間就是傳輸時間,而不是資源獲取時間。因此實際連接性能應該根據 (流量/有效傳輸時間) 來測算,這樣可以保持公平性。

    資源的浪費會導致達不到設置的速度。

  2. 架構優點

    • 可以實現較複雜的優先順序設置及資源分配模式
    • 天然實現速度測量
  3. 架構缺點及問題

    • 測算的開銷可能較大,而且測算是有誤差的。
    • 反應慢,不能及時做出分配,線上路性能不穩定的時候,資源的等待時間可能會過長。
    • 實現複雜
    • 等待補充,讀者也可以在評論區提出呀

主動申請,被動分配

參考記憶體分配的方式,記憶體分配一般都是程式向操作系統提出申請,然後操作系統作出反應來分配記憶體。

  1. 實現思路
    固定每次分配的流量大小,每次申請均返回固定大小的資源。當connect用完資源後才去申請。task響應connect的申請,主進程響應task的申請。

    要保證一段時間內保證可以分配匹配限速的資源數量,不然會導致task的流量堆積。

  2. 架構優點

    • 響應速度快
    • 資源利用率高
    • 實現簡單
  3. 架構缺點

    • 複雜的分配邏輯難以實現
    • 需要額外實現速度測量
    • 等待補充,讀者也可以在評論區提出呀

代碼實現

主動分配,被動接受

todo

主動申請,被動分配

todo

如果錯誤之處,一定要指出來!
感謝你的閱讀。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 前言 在現在的時代發展中,從以前的手寫簽名,逐漸衍生出了電子簽名。電子簽名和紙質手寫簽名一樣具有法律效應。電子簽名目前主要還是在需要個人確認的產品環節和司法類相關的產品上較多。 舉個常用的例子,大家都用過釘釘,釘釘上面就有電子簽名,相信大 ...
  • vue生命周期一般為8個,特殊時期為10個 beforeCreate: //發生在頁面完成初始化,組件創建之前,數據尚未掛載 created://發生在組件創建完成時,數據已掛載,可以在此調用介面查數據,防止頁面抖動。 beforeMount://發生在組件掛載之前 mounted://發生在組件掛 ...
  • /* 處理文件路徑 */ export default { // 撥打電話 callPhone(phone) { uni.makePhoneCall({ phoneNumber: phone //僅為示例 }); }, // 判斷對象是否包含空值 /* ** @return flag ** @par ...
  • 今天在做項目的時候遇到了一個問題, 就是把項目部署到不同的伺服器上, 但不能每次修改IP的時候就打包一次, 這就增加了前端的工作量,經過百度, 發現有一些方法是可以的,親測可用。 具體操作是, 1,在static文件夾下麵建立一個config.js文件, (function () { window. ...
  • 眾所周知,var,let 是聲明變數的,const是聲明常量的 先簡單剖析一下,var,let的區別 var 在ES6之前使用,而到了ES6之後官方就不推薦使用了,究其原因還是因為它自身的原因,導致代碼令人感覺不太合理。 console.log(num); var num = 10; // 列印 u ...
  • 命令模式(Command Pattern):它允許你將操作封裝成對象。這些對象包括了被調用的方法及其參數。這些命令對象可以被存儲、傳遞和執行。 在前端開發中,命令模式可以被用於實現可撤銷和重做的操作。例如,在一個文本編輯器中,可以使用命令模式來實現撤銷和重做操作。對於每一個編輯操作,可以創建一個命令 ...
  • 在學習網路之前,瞭解它的歷史能夠幫助我們明白為何它會發展為如今這個樣子,引發探究網路的興趣。下麵的這張圖片就展示了“互聯網”誕生至今的發展歷程。 ...
  • 技術棧 開發工具:VSCode代碼管理:Git前端框架:Vue3構建工具:Vite路由:vue-router 4x狀態管理:vuex 4xAJAX:axiosUI庫:vant數據模擬:mockjscss預處理:sass 構建vue3項目 1,安裝 vite 以管理員身份打開cmd命令視窗,切換到要安 ...
一周排行
    -Advertisement-
    Play Games
  • 概述:在C#中,++i和i++都是自增運算符,其中++i先增加值再返回,而i++先返回值再增加。應用場景根據需求選擇,首碼適合先增後用,尾碼適合先用後增。詳細示例提供清晰的代碼演示這兩者的操作時機和實際應用。 在C#中,++i 和 i++ 都是自增運算符,但它們在操作上有細微的差異,主要體現在操作的 ...
  • 上次發佈了:Taurus.MVC 性能壓力測試(ap 壓測 和 linux 下wrk 壓測):.NET Core 版本,今天計劃準備壓測一下 .NET 版本,來測試並記錄一下 Taurus.MVC 框架在 .NET 版本的性能,以便後續持續優化改進。 為了方便對比,本文章的電腦環境和測試思路,儘量和... ...
  • .NET WebAPI作為一種構建RESTful服務的強大工具,為開發者提供了便捷的方式來定義、處理HTTP請求並返迴響應。在設計API介面時,正確地接收和解析客戶端發送的數據至關重要。.NET WebAPI提供了一系列特性,如[FromRoute]、[FromQuery]和[FromBody],用 ...
  • 原因:我之所以想做這個項目,是因為在之前查找關於C#/WPF相關資料時,我發現講解圖像濾鏡的資源非常稀缺。此外,我註意到許多現有的開源庫主要基於CPU進行圖像渲染。這種方式在處理大量圖像時,會導致CPU的渲染負擔過重。因此,我將在下文中介紹如何通過GPU渲染來有效實現圖像的各種濾鏡效果。 生成的效果 ...
  • 引言 上一章我們介紹了在xUnit單元測試中用xUnit.DependencyInject來使用依賴註入,上一章我們的Sample.Repository倉儲層有一個批量註入的介面沒有做單元測試,今天用這個示例來演示一下如何用Bogus創建模擬數據 ,和 EFCore 的種子數據生成 Bogus 的優 ...
  • 一、前言 在自己的項目中,涉及到實時心率曲線的繪製,項目上的曲線繪製,一般很難找到能直接用的第三方庫,而且有些還是定製化的功能,所以還是自己繪製比較方便。很多人一聽到自己畫就害怕,感覺很難,今天就分享一個完整的實時心率數據繪製心率曲線圖的例子;之前的博客也分享給DrawingVisual繪製曲線的方 ...
  • 如果你在自定義的 Main 方法中直接使用 App 類並啟動應用程式,但發現 App.xaml 中定義的資源沒有被正確載入,那麼問題可能在於如何正確配置 App.xaml 與你的 App 類的交互。 確保 App.xaml 文件中的 x:Class 屬性正確指向你的 App 類。這樣,當你創建 Ap ...
  • 一:背景 1. 講故事 上個月有個朋友在微信上找到我,說他們的軟體在客戶那邊隔幾天就要崩潰一次,一直都沒有找到原因,讓我幫忙看下怎麼回事,確實工控類的軟體環境複雜難搞,朋友手上有一個崩潰的dump,剛好丟給我來分析一下。 二:WinDbg分析 1. 程式為什麼會崩潰 windbg 有一個厲害之處在於 ...
  • 前言 .NET生態中有許多依賴註入容器。在大多數情況下,微軟提供的內置容器在易用性和性能方面都非常優秀。外加ASP.NET Core預設使用內置容器,使用很方便。 但是筆者在使用中一直有一個頭疼的問題:服務工廠無法提供請求的服務類型相關的信息。這在一般情況下並沒有影響,但是內置容器支持註冊開放泛型服 ...
  • 一、前言 在項目開發過程中,DataGrid是經常使用到的一個數據展示控制項,而通常表格的最後一列是作為操作列存在,比如會有編輯、刪除等功能按鈕。但WPF的原始DataGrid中,預設只支持固定左側列,這跟大家習慣性操作列放最後不符,今天就來介紹一種簡單的方式實現固定右側列。(這裡的實現方式參考的大佬 ...