HTTP文件斷點續傳的原理

来源:http://www.cnblogs.com/Creator/archive/2016/06/19/5490929.html
-Advertisement-
Play Games

前幾天一個同事跑過來找我說,我們在廣告素材視頻這塊想做斷點續傳,就是這次某個視頻緩存到一半,下次不用重頭開始,可以在原來停留得位置開始繼續下載.以提供更好的用戶體驗。 同時說需要我們支持吐素材地址的業務介面告訴終端最後修改時間/文件簽名(md5),用這個用來判斷我當前要下的文件有沒有變化,同時告訴終 ...


前幾天一個同事跑過來找我說,我們在廣告素材視頻這塊想做斷點續傳,就是這次某個視頻緩存到一半,下次不用重頭開始,可以在原來停留得位置開始繼續下載.以提供更好的用戶體驗。

同時說需要我們支持吐素材地址的業務介面告訴終端最後修改時間/文件簽名(md5),用這個用來判斷我當前要下的文件有沒有變化,同時告訴終端文件的Size大小.

我一細想,這個問題壓根不需要通過改變現有介面提供更多的數據來做.下麵從原理實現上簡單說下:

關鍵點:

對於斷點續傳,關鍵點是兩個:

1. 終端知道當前的文件和上一次載入的文件是不是內容發生了變化,如果有變化,需要重新從offset 0 的位置開始下載

2. 終端記錄好上次成功下載到的offset,告訴server端,server端支持從特定的offset 開始吐數據

 

文件變化感知:

前置業務介面方案:

對於關鍵點1,對於決定大部分產品的業務場景,可以通過前置業務介面解決;這裡簡單介紹一下:

對於非下載工具類的產品,如視頻APP(奇藝,優酷),視頻播放前會請求相關業務的信息,主要返回片子叫什麼名字,主要演員等等一些列信息,同時會返回一個對於播放最重要的信息——播放地址。 

播放地址就是我們可以做文章的地方,如果《太子妃第一集》這個片子更新了(被廣電要求減掉某個污的畫面),可以後端系統讓這個業務介面吐不同的播放地址/一個不同的url參數(?ver=1.1)/位置參數(#ver1.1)。這樣純天然的URL變化能純天然的讓終端認為不是同一個片子,而需要重新載入。

 

HTPP 標準ETAG方案:

沒有業務介面的下載工具類的如何解決呢?

下載工具類的沒有前置介面,可以使用HTTP 的ETAG來標識是否文件已經修改。

ETAG原理:如果URL上的資源內容改變,一個新的不一樣的ETag就會被分配。用這種方法使用ETag即類似於指紋,並且他們能夠被快速地被比較,以確定兩個版本的資源是否相同。ETag的比較只對同一個URL有意義——不同URL上的資源的ETag值可能相同也可能不同,從他們的ETag的比較中無從推斷。

ETAG是HTTP的一個可選欄位,且沒有規範他的實現;實際上業內用的比較多的就是使用MD5簽名的方式來生成(linux shell md5sum)

典型用法:

server端: Nginx >1.3.3 自帶有ETAG的module , 當然同時也可以在業務代碼里SetHeaders加一個ETAG欄位

client端:

第一次請求時:

String etag = httpURLConnection.getHeaderField("ETag");

ETag: "b428eab9654aa7c87091e"

第二次請求(斷點續傳時):

httpURLConnection.setRequestProperty(“If-None-Match”, "b428eab9654aa7c87091e"); 

If-None-Match: "b428eab9654aa7c87091e"

如果ETag值匹配,這就意味著資源沒有改變,伺服器便會發送回一個極短的響應,包含HTTP “304 未修改”的狀態。304狀態告訴客戶端,它的緩存版本是最新的,並應該使用它。

然而,如果ETag的值不匹配,這就意味著資源很可能發生了變化,那麼,一個完整的響應就會被返回,包括資源的內容,就好像ETag沒有被使用。這種情況下,客戶端可以用新返回的資源和新的ETag替代先前的緩存版本。

 

續傳支持:

對於一個C/C++程式員,第一時間會得出一個系統級實現方案:

1. 客戶端傳當前的offset

2. server端seek到文件特定的offset開始讀取往http connection吐數據

不過我們深處在一個開放方案和標準不斷完善的時代,不需要自己實現一個(這也是像我這樣的C/C++研發工程師越來越沒落的原因),來看看HTTP協議是怎麼解決這個問題的:

HTTP頭Range欄位:

Range : 用於客戶端到伺服器端的請求,可通過該欄位指定下載文件的某一段大小,及其單位。典型的格式如: 

Range: bytes=0-499 下載第0-499位元組範圍的內容
Range: bytes=500-999 下載第500-999位元組範圍的內容
Range: bytes=-500 下載最後500位元組的內容
Range: bytes=500- 下載從第500位元組開始到文件結束部分的內容

來個簡單粗暴的例子

curl --header "Range: bytes=0-20000" xxx.com/memcache.pdf -o part1
curl --header "Range: bytes=20001-223651" xxx.com/memcache.pdf -o part2
cat part1 part2 >> a.pdf

 

衍生閱讀:

 使用ETags減少Web應用帶寬和負載


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • declare @temp Table ( nf varchar(50), yf varchar(50), sm varchar(50))declare @nd varchar(50), @yd int,@i intset @nd = '2016'if(@nd = year(getdate())) ...
  • 今天是我第一天開通博客,也是我的第一篇博客。以後為大家帶來第一篇關於學習技術性文章,這段時間會為大家帶來是SQL入門學習。希望大家堅持讀下去,因為學歷有限。我也是初學者。語言表達能力不好和知識點不足,我寫的不好,希望大家多多包涵。主要分享給那些想學SQL一個入門教程。主要是T-SQL語言為主。學完這 ...
  • ...
  • 本實例代碼實現了WinForm截屏保存為圖片,親測可行。界面截圖:下載:http://hovertree.com/h/bjaf/scjyuanma.htm以下代碼可以實際運行,在項目HoverTreeCSJ中運行成功。 轉自:http://hovertree.com/h/bjaf/76q5yeli. ...
  • 繼承、Overriding重寫、動態綁定、Sealed密封類、Object類、重載==和!= ...
  • svcutil.exe http://localhost:9065/ServiceDemo.svc?wsdl這將生成一個配置文件和一個包含客戶端類的代碼文件。 下麵我們就用這個是怎麼生成的:1,打開Visual Studio命令提示(Visual Studio Tools下麵)2,在打開的界面裡面輸 ...
  • WebClient位於System.Net命名空間下,通過這個類可以方便的創建Http請求並獲取返回內容。 一、用法1 - DownloadData 二、用法2 - OpenRead 推薦:http://www.cnblogs.com/roucheng/p/3521864.html ...
  • 很久沒有寫博客了。 這是放暑假中的第一篇博客,以後會多多更新!!! 這就是我寫的一個字體選擇器,界面如下: 本程式用到的技術比較簡單,僅僅是用了Font類的幾個方法和數據綁定而已。 首先建一個四行兩列的Grid,添加一個ComboBox,命名為fonts。然後在添加若幹個TextBlock和一個Te ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...