大文件 MD5 SHA 校驗時間優化之路

来源:https://www.cnblogs.com/LiuZhen/archive/2023/09/08/17688291.html
-Advertisement-
Play Games

最近研發apk校驗服務,很多游戲安裝包兩三個G,如果整個拿去校驗,耗時基本二十多秒,這還僅僅是校驗的時間,如果加上下載的時間,等待時間太長了 網上很多方案嘗試了一下,不太行 1、fast md5 一個第三方庫,csdn有人用過說可以提升40%的速度,然後我去試了一下,本來9秒可以完成的校驗,變成了2 ...


最近研發apk校驗服務,很多游戲安裝包兩三個G,如果整個拿去校驗,耗時基本二十多秒,這還僅僅是校驗的時間,如果加上下載的時間,等待時間太長了

網上很多方案嘗試了一下,不太行

1、fast md5

一個第三方庫,csdn有人用過說可以提升40%的速度,然後我去試了一下,本來9秒可以完成的校驗,變成了2分多鐘,我真是口吐蓮花

2、把MD5替換成SHA演算法

提升不明顯,哪怕從30秒縮短到20幾秒,依然接受不了

所以只能尋求其它方案了

分片校驗法

很多上傳下載大文件,會採用分片的方法去做,這樣就可以開啟多個任務對同一個文件進行操作,速度提升好幾倍

如法炮製,先寫個demo嘗試一下,看看是否可行

先把文件進行分片,找個幾百M的apk測試一下

private fun verifySpilt() {
        filesDir?.let { path ->
            val it = File(path.absolutePath + "/test.apk")
            tvContent?.text = "${path.absolutePath}/test.apk"
            val inputStream = FileInputStream(it)
            var out: FileOutputStream? = null
            val inChannel = inputStream.channel
            var outChannel: FileChannel? = null

            val m = (10 * 1024 * 1024).toLong()
            // 分片數量
            val count = (it.length() / m).toInt()
            Log.e("--==", "count $count")
            for (i in 0..count) {
                // 生成文件的路徑
                val tPath = "${path.absolutePath}/test_$i"
                val toFile = File(tPath)
                if (toFile.exists()) {
                    toFile.mkdir()
                }
                Log.e("--==", "to path $tPath")
                try {
                    out = FileOutputStream(toFile)
                    outChannel = out.channel
                    // 從inChannel的m*i處,讀取固定長度的數據,寫入outChannel
                    if (i != count) inChannel.transferTo(
                        m * i,
                        m,
                        outChannel
                    ) else {
                        // 最後一個文件
                        inChannel.transferTo(m * i, it.length() - m * count, outChannel)
                    }
                } catch (e: IOException) {
                    Log.e("--==", "IOException $e")
                    return
                } finally {
                    out?.close()
                    outChannel?.close()
                    Log.e("--==", "finally close")
                }
            }
            inputStream.close()
            inChannel.close()
        }
    }

對 test.apk 進行分片校驗

直接在 demo 工程裡面 main方法調用

得到了十來個片段文件

接下來寫個校驗方法,對其中的片段文件校驗,比如分片後,刪了這些片段文件在重新生成,md5值是否一致

private fun verify(position: Int) {
        filesDir?.let { path ->
            val it = File(path.absolutePath + "/test1_$position")
            val digest = MessageDigest.getInstance("MD5")
            val fis = FileInputStream(it)
            val channel = fis.channel
            val byteBuffer = channel.map(FileChannel.MapMode.READ_ONLY, 0, it.length())
            digest.update(byteBuffer)
            val bytes = digest.digest()
            tvContent?.text = bytes2HexString(bytes)
            Log.e("--==", "${bytes2HexString(bytes)}")
        }
    }

列印的日誌發現一致,說明只要切片的方式一樣,是可以進行校驗的

然後我改了分片的邏輯,每個片段大小調整了一下,得到5個片段,此時結果肯定就不一致了

其實到這裡已經算成型了,居然分片可行,那麼一個大文件直接分成10份,同時驗證,然後對比結果,速度可不止快了一倍

後面是無聊嘗試的結果,肯定是沒問題的,否則就要考慮代碼的問題了

找個視頻加一個新建的text文本,文本裡面輸入111,然後壓縮,得到 test1 的壓縮包

然後修改文本變成1111,在壓縮,得到 test2 壓縮包,在賦值 test1 壓縮包 得到 test1_copy 壓縮包,一共三個文件

把文件複製到記憶體目錄中測試

結果沒問題,畢竟是整個文件直接校驗


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • # 前言 ### 在上一篇文章[【基於ASP.NET ZERO,開發SaaS版供應鏈管理系統】](https://www.cnblogs.com/freedyang/p/17679280.html)中有提到對Webhook功能的擴展改造,本文詳細介紹一下具體過程。 ### Webhook功能操作說明 ...
  • 一說tp大多數人想到的是PHP使用tp,但今天不說PHP 說說c#使用tp 由於tp比較久遠 網上的資料又是少之又少 接下來說說tp的一些基本用法 1.首先就是數據綁定了 <%tp:foreach collection="{$model.Items}" var="m"%> <td>{$m.name} ...
  • [toc] # Linux運維工程師面試題(9) > 祝各位小伙伴們早日找到自己心儀的工作。 > 持續學習才不會被淘汰。 > 地球不爆炸,我們不放假。 > 機會總是留給有有準備的人的。 > 加油,打工人! ## 1 pod 的生命周期 第一階段: - Pending:正在創建 Pod 但是 Pod ...
  • 下麵的系列文章記錄瞭如何使用一塊linux開發扳和一塊OLED屏幕實現視頻的播放: 1) [項目介紹](https://www.cnblogs.com/kfggww/p/17672932.html) 2) [為OLED屏幕開發I2C驅動](https://www.cnblogs.com/kfggww ...
  • 為了讓程式能快點,特意瞭解了CPU的各種原理,比如多核、超線程、NUMA、睿頻、功耗、GPU、大小核再到分支預測、cache_line失效、加鎖代價、IPC等各種指標(都有對應的代碼和測試數據)都會在這系列文章中得到答案。當然一定會有程式員最關心的分支預測案例、Disruptor無鎖案例、cache ...
  • [TOC](【後端面經-資料庫】Redis數據結構和底層數據類型) 聲明:Redis的相關知識是面試的一大熱門知識點,同時也是一個龐大的體系,所涉及的知識點非常多,如果用一篇文章羅列,往往會陷入知識海洋中無法感知其全貌,因此,這段時間我會試著拆分Redis的相關章節,輔以思維導圖的形式介紹Redis ...
  • # pentaho使用 先展示一下用途和效果 ![image](https://jsd.cdn.zzko.cn/gh/YuanjunXu/Images@main/src/image.1gzusdgfiiao.webp) ## 1. 環境準備 ### 1.1 pentaho是什麼? > `pentah ...
  • 在這篇文章中,我將分享一次由於操作不當導致資料庫癱瘓的經驗。通過回顧故障發生的時間、系統簡介、時間線、問題分析和經驗總結等方面的內容。討論操作時間不當、操作流程不當、缺乏執行計劃和限流機制等問題,並提出一些建議,如確認資料庫更新時間、優化更新操作、使用限流工具、設置超時時間和重試機制、調整資料庫參數... ...
一周排行
    -Advertisement-
    Play Games
  • 下麵是一個標準的IDistributedCache用例: public class SomeService(IDistributedCache cache) { public async Task<SomeInformation> GetSomeInformationAsync (string na ...
  • 這個庫提供了在啟動期間實例化已註冊的單例,而不是在首次使用它時實例化。 單例通常在首次使用時創建,這可能會導致響應傳入請求的延遲高於平時。在註冊時創建實例有助於防止第一次Request請求的SLA 以往我們要在註冊的時候實例單例可能會這樣寫: //註冊: services.AddSingleton< ...
  • 最近公司的很多項目都要改單點登錄了,不過大部分都還沒敲定,目前立刻要做的就只有一個比較老的項目 先改一個試試手,主要目標就是最短最快實現功能 首先因為要保留原登錄方式,所以頁面上的改動就是在原來登錄頁面下加一個SSO登錄入口 用超鏈接寫的入口,頁面改造後如下圖: 其中超鏈接的 href="Staff ...
  • Like運算符很好用,特別是它所提供的其中*、?這兩種通配符,在Windows文件系統和各類項目中運用非常廣泛。 但Like運算符僅在VB中支持,在C#中,如何實現呢? 以下是關於LikeString的四種實現方式,其中第四種為Regex正則表達式實現,且在.NET Standard 2.0及以上平... ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他們的程式記憶體會偶發性暴漲,自己分析了下是非托管記憶體問題,讓我幫忙看下怎麼回事?哈哈,看到這個dump我還是非常有興趣的,居然還有這種游戲幣自助機類型的程式,下次去大玩家看看他們出幣的機器後端是不是C#寫的?由於dump是linux上的程式,剛好win ...
  • 前言 大家好,我是老馬。很高興遇到你。 我們為 java 開發者實現了 java 版本的 nginx https://github.com/houbb/nginx4j 如果你想知道 servlet 如何處理的,可以參考我的另一個項目: 手寫從零實現簡易版 tomcat minicat 手寫 ngin ...
  • 上一次的介紹,主要圍繞如何統一去捕獲異常,以及為每一種異常添加自己的Mapper實現,並且我們知道,當在ExceptionMapper中返回非200的Response,不支持application/json的響應類型,而是寫死的text/plain類型。 Filter為二方包異常手動捕獲 參考:ht ...
  • 大家好,我是R哥。 今天分享一個爽飛了的面試輔導 case: 這個杭州兄弟空窗期 1 個月+,面試了 6 家公司 0 Offer,不知道問題出在哪,難道是杭州的 IT 崩盤了麽? 報名面試輔導後,經過一個多月的輔導打磨,現在成功入職某上市公司,漲薪 30%+,955 工作制,不咋加班,還不捲。 其他 ...
  • 引入依賴 <!--Freemarker wls--> <dependency> <groupId>org.freemarker</groupId> <artifactId>freemarker</artifactId> <version>2.3.30</version> </dependency> ...
  • 你應如何運行程式 互動式命令模式 開始一個互動式會話 一般是在操作系統命令行下輸入python,且不帶任何參數 系統路徑 如果沒有設置系統的PATH環境變數來包括Python的安裝路徑,可能需要機器上Python可執行文件的完整路徑來代替python 運行的位置:代碼位置 不要輸入的內容:提示符和註 ...