對於多任務多連接多線程實現限速的實現方法及思考

来源:https://www.cnblogs.com/alyjay/archive/2023/03/15/17220553.html
-Advertisement-
Play Games

釘釘單元化從2018年開始到今年已經是第五個年頭了,五年的時間,釘釘單元化迭代了三個版本,從最初的毛頭小子,到達今年已經小有成就。今天想借這個場來和大家分享我們單元化的心路歷程和一些最佳實踐。本文要分享的內容只涉及部分內容,無法做到面面俱到,主要是想在同路人中形成共鳴,進而能復用一些架構或者系統。在... ...


對於多任務多連接多線程實現限速的實現方法及思考

前言

最近在寫畢業設計,我的畢業設計就是用Rust語言實現一個Bittorrent客戶端協議及其拓展協議,順便寫個Web讓這個玩意能跑起來用。

總之就是要實現一個類似迅雷的下載器。下載器嘛,肯定要有限速功能的,不然吃滿帶寬導致其他應用餓死(BT下載尤其如此,因為是多連接多線程多任務下載,網路好的情況下真的很容易完全吃滿網速導致其需要網路的應用根本不能用,不僅下載帶寬會被吃滿,上傳帶寬也會被吃滿)。

通常實現下載限速的方式就是固定時間內傳輸固定位元組數量。對於單任務單連接單線程來說,很好實現,直接傳輸完了就開始sleep就完事了。但是對於多任務多連接多線程來說,如何做到讓所有正在傳輸的線程的總和加起來的速度不超過設定值是一個讓我頭疼的問題。

所以我需要設計一個限速的方法或者說架構,來實現多線程多任務多連接下載。思考之前也在往上搜索了相關的資料,沒有找到適合這個場景的方法。只能自己想一個嘍。

系統架構

低耦合高內聚。不同的模塊之間雖然是包含關係,大部分操作通過信息的傳遞來進行控制。
主進程可以設置全局限速,TASK可以設置TASK限速及TASK本身優先順序,connect也可以單獨設置限速及優先順序。(優先順序本質上是資源分配權重)

實現思路

什麼是速度?什麼是限速?速度本質上是資源,限速本質上是有限資源的分配!

在BT下載中,速度通常來說分別有下載速度以及上傳速度,這都是速度,只是方向不同,因此統一用速度來代替下載和上傳兩種速度,下載和上傳除了方向不作區分。

  • 物理中的定義,速度分為平均速度和瞬時速度。瞬時速度就是時間無限小之內的位移除以時間。那麼在下載中的速度一般指瞬時速度,但是一般來說,如果要得到瞬時速度,那麼基本上程式都用來算速度而不是邏輯執行以及網路傳輸了。所以這裡的速度一般指的就是固定時間內,位元組傳輸的平均速度。假設1s傳輸了100位元組,那就是100Byte Per Second (100bps)。因此軟體實現測速就是固定間隔時間,計算在這段時間內傳輸的總位元組數。很簡單的事情。

  • 再深入一些,什麼是限制速度?限制速度本質上就是限制一段時間內傳輸的位元組數量。也就是限制流量。想到這一刻的時候,我豁然開朗!對啊,速度也是一種資源,和記憶體一樣,是一種可以消耗的資源。

  • 因此在多線程多模型多連接的傳輸場景下,實現限速,就可以使用“速度是資源”這一思想。要做的就是資源的分配,而且這種資源的分配不會像記憶體分配那樣產生內部碎片和外部碎片。因為流量本身就是連續的,是一種流。根本不用實現類似buddy系統+slab系統這種較為複雜的資源分配器。也不存在資源的返還,用了就是用了,不用還的。

資源分配方式

在我的設想中,資源(速度)的分配主要就分為兩種方式。

  1. 主動分配被動接受
  2. 主動申請被動分配

主動分配,被動接受

  1. 實現思路
    在第一種方式中,主進程每隔一段時間掃描所有task,然後根據限速及優先順序綜合分配資源。TASK線程每隔一段時間掃一遍connect,將自己有的資源分配給connect。

    在這種方式中,我們首先要保證公平性,也就是如果兩個task優先順序一樣,並且連接性能理想化(也就是假設不給限速,帶寬就是無限大)。需要分配的資源是相同的,也就是在實際下載中,速度相同。如果優先順序不同,則根據優先順序分配資源。

    同樣的我們還需要保證高效率低浪費,對於同一個task下的所有connect,假設connect連接優先順序均等同,那麼這時候哪個連接的性能越好,其速度應該越高。因為如果均使用平均分配的方式,那麼連接性能好的connect會饑餓,但是連接差的connect會過飽。多勞多得,本質上也是一種公平。

    同時,還需要防止資源的“壟斷”。因為如果連接性能越好,獲得的資源越多,那麼資源越多的情況下有時候會反應更好的連接性能,這時候就造成了壟斷。

    因此,還需要一個方案來測算真實連接性能。

    在一段時間內,有傳輸時間,有等待資源獲取時間。那麼有效的時間就是傳輸時間,而不是資源獲取時間。因此實際連接性能應該根據 (流量/有效傳輸時間) 來測算,這樣可以保持公平性。

    資源的浪費會導致達不到設置的速度。

  2. 架構優點

    • 可以實現較複雜的優先順序設置及資源分配模式
    • 天然實現速度測量
  3. 架構缺點及問題

    • 測算的開銷可能較大,而且測算是有誤差的。
    • 反應慢,不能及時做出分配,線上路性能不穩定的時候,資源的等待時間可能會過長。
    • 實現複雜
    • 等待補充,讀者也可以在評論區提出呀

主動申請,被動分配

參考記憶體分配的方式,記憶體分配一般都是程式向操作系統提出申請,然後操作系統作出反應來分配記憶體。

  1. 實現思路
    固定每次分配的流量大小,每次申請均返回固定大小的資源。當connect用完資源後才去申請。task響應connect的申請,主進程響應task的申請。

    要保證一段時間內保證可以分配匹配限速的資源數量,不然會導致task的流量堆積。

  2. 架構優點

    • 響應速度快
    • 資源利用率高
    • 實現簡單
  3. 架構缺點

    • 複雜的分配邏輯難以實現
    • 需要額外實現速度測量
    • 等待補充,讀者也可以在評論區提出呀

代碼實現

主動分配,被動接受

todo

主動申請,被動分配

todo

如果錯誤之處,一定要指出來!
感謝你的閱讀。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 前言 在現在的時代發展中,從以前的手寫簽名,逐漸衍生出了電子簽名。電子簽名和紙質手寫簽名一樣具有法律效應。電子簽名目前主要還是在需要個人確認的產品環節和司法類相關的產品上較多。 舉個常用的例子,大家都用過釘釘,釘釘上面就有電子簽名,相信大 ...
  • vue生命周期一般為8個,特殊時期為10個 beforeCreate: //發生在頁面完成初始化,組件創建之前,數據尚未掛載 created://發生在組件創建完成時,數據已掛載,可以在此調用介面查數據,防止頁面抖動。 beforeMount://發生在組件掛載之前 mounted://發生在組件掛 ...
  • /* 處理文件路徑 */ export default { // 撥打電話 callPhone(phone) { uni.makePhoneCall({ phoneNumber: phone //僅為示例 }); }, // 判斷對象是否包含空值 /* ** @return flag ** @par ...
  • 今天在做項目的時候遇到了一個問題, 就是把項目部署到不同的伺服器上, 但不能每次修改IP的時候就打包一次, 這就增加了前端的工作量,經過百度, 發現有一些方法是可以的,親測可用。 具體操作是, 1,在static文件夾下麵建立一個config.js文件, (function () { window. ...
  • 眾所周知,var,let 是聲明變數的,const是聲明常量的 先簡單剖析一下,var,let的區別 var 在ES6之前使用,而到了ES6之後官方就不推薦使用了,究其原因還是因為它自身的原因,導致代碼令人感覺不太合理。 console.log(num); var num = 10; // 列印 u ...
  • 命令模式(Command Pattern):它允許你將操作封裝成對象。這些對象包括了被調用的方法及其參數。這些命令對象可以被存儲、傳遞和執行。 在前端開發中,命令模式可以被用於實現可撤銷和重做的操作。例如,在一個文本編輯器中,可以使用命令模式來實現撤銷和重做操作。對於每一個編輯操作,可以創建一個命令 ...
  • 在學習網路之前,瞭解它的歷史能夠幫助我們明白為何它會發展為如今這個樣子,引發探究網路的興趣。下麵的這張圖片就展示了“互聯網”誕生至今的發展歷程。 ...
  • 技術棧 開發工具:VSCode代碼管理:Git前端框架:Vue3構建工具:Vite路由:vue-router 4x狀態管理:vuex 4xAJAX:axiosUI庫:vant數據模擬:mockjscss預處理:sass 構建vue3項目 1,安裝 vite 以管理員身份打開cmd命令視窗,切換到要安 ...
一周排行
    -Advertisement-
    Play Games
  • .NET Core 選項系統的主要實現在 Microsoft.Extensions.Options 和 Microsoft.Extensions.Options.ConfigurationExtensions 兩個 Nuget 包。對於一個框架的源碼進行解讀,我們可以從我們常用的框架中的類或方法入手 ...
  • 最近在工作中遇到一個問題,就是我有多個線程會調用bitmap對象,運行的時候報錯,對象當前正在其他地方使用。第一反應肯定是加鎖啊,於是我就在每個用到bitmap的地方都加了鎖,但是運行之後依然報這個錯 測試代碼如下 using System; using System.Drawing; using ...
  • 一:背景 1. 講故事 前段時間有位朋友微信找到我,說他的程式使用 hsl 庫之後,採集 plc 時記憶體溢出,讓我幫忙看一下怎麼回事,哈哈,貌似是分析之旅中的第二次和 hsl 打交道,既然找到我,那就上 windbg 說話吧。 二:WinDbg 分析 1. 為什麼會記憶體溢出 簡單觀察程式的提交記憶體之 ...
  • 在 IIS 上啟用 Websocket 在 Windows Server 2012 或更高版本上啟用對 WebSocket 協議的支持: 備註 使用 IIS Express 時無需執行這些步驟 通過“管理”菜單或“伺服器管理器”中的鏈接使用“添加角色和功能”嚮導。 選擇“基於角色或基於功能的安裝”。 ...
  • C#-垃圾回收機制(GC) 什麼是GC 官網中有這麼一句話: The garbage collector is a common language runtime component that controls the allocation and release of managed memory ...
  • 呆了2個大屏行業的公司,對大屏幕有一些瞭解,所以整理下所瞭解的觸摸屏相關概念。方便自己以及進入這個行業的小伙伴們,能有個系統、快速的認知。 觸摸屏詳細的知識點,網上其實都有。整理資料過程中,我也瞭解了更多的觸摸屏知識,像聲波屏、光學屏之類的之前就沒接觸。下麵分不同的模塊,給大家介紹 交互觸摸屏類型 ...
  • 近段時間忙於各種項目和對【易排平臺】的優化,沒顧得上分享APS相關的小技巧,回頭看看小公眾號的關註人數早已達1500+,在此爭取時間寫一下這段時間在項目上及平臺優化過程中遇到的一些小技巧,以感謝諸位的關註。過去數月的解決的問題中,涉及最多的是規劃模型中,實現各種時間維度的功能,目前在平臺上也稍有成果 ...
  • 針對大量log日誌快速定位錯誤地方 動態查看日誌 tail -f catalina.ou 從頭打開日誌文件 cat catalina.ou 可以使用 >nanjiangtest.txt 輸出某個新日誌去查看 [[email protected] logs]# cat -n catalina.out |grep 7 ...
  • 前言 RocketMQ是阿裡巴巴旗下一款開源的MQ框架,經歷過雙十一考驗、Java編程語言實現,有非常好完整生態系統。RocketMQ作為一款純java、分散式、隊列模型的開源消息中間件,支持事務消息、順序消息、批量消息、定時消息、消息回溯等 本篇文章第一部分屬於一些核心概念和工作流程的講解;第二部 ...
  • 在java,c#類的成員修飾符包括,公有、私有、程式集可用的、受保護的。 對於python來說,只有兩個成員修飾符:公有成員,私有成員 成員修飾符是來修飾誰呢?當然是修飾成員了。那麼python類的成員包括什麼呢? python成員: 欄位,方法,屬性 每個類成員的修飾符有兩種: 公有成員:內部外部 ...