深入理解 Flutter 圖片載入原理

来源:https://www.cnblogs.com/Jcloud/archive/2023/08/16/17635427.html
-Advertisement-
Play Games

本文將重點介紹Flutter中圖片的載入原理,使用過程中有哪些需要註意的地方及優化思路和手段,希望能給大家帶來一些啟發和幫助。 ...


前言

隨著Flutter穩定版本逐步迭代更新,京東APP內部的Flutter業務也日益增多,Flutter開發為我們提供了高效的開發環境、優秀的跨平臺適配、豐富的功能組件及動畫、接近原生的交互體驗,但隨之也帶來了一些OOM問題,通過線上監控信息和Observatory工具結合分析我們發現問題的原因是由於Flutter頁面中載入的大量圖片導致的記憶體溢出,這也是在原生開發中常見的問題之一,Flutter官方為我們提供的Image widget實現圖片載入及顯示,只有瞭解Flutter中圖片的載入原理及圖片記憶體管理方式才能真正發現問題的本質,本文將重點介紹Flutter中圖片的載入原理,使用過程中有哪些需要註意的地方及優化思路和手段,希望能給大家帶來一些啟發和幫助。

基本使用

下麵是 Image 的基本使用方法,image參數是 Image 控制項中的必選參數,也是數據源類型可以是Asset、網路、文件、記憶體,下麵將以我們常用的網路圖片載入方式為例子講解原理,基本使用如下:

Image(

 image: NetworkImage(

     "https://avatars2.githubusercontent.com/u/20411648?s=460&v=4"),

 width: 100.0,

 heitht: 100.0

)

Image 控制項的使用方法這裡就不在展開了,控制項的參數及API詳情請參閱:https://api.flutter.dev/flutter/widgets/Image-class.html

圖片載入流程

Flutter 的圖片載入原理與原生客戶端中的圖片框架載入原理相似,具體可點擊下方大圖查看,載入步驟如下:

1、 區分數據來源生成緩存列表中數據映射的唯一key;

2、 通過key讀取緩存列表中的圖片數據;

3、 緩存存在,返回已存在的圖片數據;

4、 緩存不存在,按來源載入圖片數據,解碼後同步到緩存中並返回;

5、 設置回調監聽圖片數據載入狀態,數據載入完成後重新渲染控制項顯示圖片;

大家可能註意到了上面流程圖中的文件緩存部分是灰色的,目前官方還不支持此功能,下麵我們會通過源碼逐步分析載入流程及如何通過修改源碼補全文件緩存功能。

源碼分析

下麵將通過流程圖結合UML類圖分析圖片載入流程:

這個UML類圖看起來稍微有點兒複雜,但仔細看會發現已將圖片數據載入流程分成幾大模塊,下麵將按照模塊進行逐步分析,下麵將以網路圖片載入方式為例講解核心類和核心方法功能。

核心類及方法介紹

啟動緩存相關類

PaintingBinding:圖片緩存類和著色器預載入,該類是基於框架的應用程式啟動時綁定到Flutter引擎的膠水類,在啟動入口main.dart的runApp方法中創建WidgetsFlutterBinding類時被初始化的,通過覆蓋父類的initInstances()方法初始化內部的著色器預載入(Skia第一次在GPU上繪製需要編譯相應的著色器,這個過程大概20ms~200ms)及圖片緩存等,圖片緩存以單例的方式(PaintingBinding.instance.imageCache)對外提供方法使用,也就是說這個圖片緩存在APP中是全局的,併在這個類中還提供了圖像解碼(instantiateImageCodec)、緩存清除(evict)等功能。

ImageCache:圖片緩存類,預設提供緩存最大個數限制1000個對象和最大容量限制100MB,由於圖片載入過程是一個非同步操作,所以緩存的圖片分為三種狀態:已使用、已載入、未使用,分別對應三個圖片緩存列表,當圖片列表超限時會將圖片緩存列表中最近最少使用圖片進行刪除,緩存列表分別是:活躍中圖片緩存列表(_cache)、已載入圖片緩存列表(_pendingImages)、未活躍圖片緩存列表(_liveImages),並對外提供以下方法:獲取緩存(putIfAbsent)、清空緩存(clear、clearLiveImages)、驅逐單個圖片(evict)、最大緩存個數限制(maximumSize)、最大緩存大小限制(maximumSizeBytes)等方法。

從源碼中我們可以看到緩存列表是Map類型,Flutter中的Map創建的對象是LinkedHashMap是有序的,按鍵值插入順序迭代,Flutter使用LinkedHashMap存儲圖片數據並實現類似LRU演算法的緩存,當緩存列表中的圖片被使用後會將圖片數據重新插入到緩存列表的末尾,這樣最近最少使用的圖片始終會被放在列表的頭部。

當緩存列表增加圖片數據後,會通過最大緩存個數和最大緩存大小兩個緯度進行檢查緩存列表是否超限,若存在超限情況則通過Map的keys.first方法獲取緩存列表頭部最近最少使用的圖片對象進行刪除,直到滿足緩存限制。

啟動緩存小結:

Flutter啟動後在PaintingBinding中創建ImageCache緩存,圖片緩存是全局的並以單例方式對外提供使用方法,緩存預設最大個數限制1000個對象、最大容量限制100MB,緩存中的Map列表通過key/value方式存儲圖片信息,並通過keys.first方法實現的類似LRU演算法管理圖片緩存列表,對外提供putIfAbsent()方法獲取已緩存圖像,若緩存中不存在則通過回調圖片載入類中的load()方法載入圖片數據,另外圖片緩存中還提供clear()和evict()方法用來刪除緩存。

圖片數據載入相關類

ImageProvider:圖片數據提供抽象類,該類定義了圖像數據解析方法(resolve)、唯一key生成方法(obtainKey)、數據載入方法(load),obtainKey 和load方法均由子類實現,obtainKey方法生成的對象用於記憶體緩存的key值使用,load方法將按照不同數據源載入圖像數據,常用的Provider子類有:NetworkImage、AssetImage、FileImage、MemoryImage,我們可以看到resolve方法返回的是圖片載入對象類(ImageStream),load方法返回的是ImageStreamCompleter類用來管理圖像載入狀態及圖像數據(ImageInfo)。

ImageStreamCompleter:是一個抽象類,用於管理載入圖像對象(ImageInfo)載入過程的一些介面,Image控制項中正是通過它來監聽圖片載入狀態的。

ImageStream:圖像的載入對象,可監聽圖像數據載入狀態,由ImageStreamCompleter返回一個ImageInfo對象用於圖像顯示

NetworkImage:網路圖片載入類,ImageProvider的實現類,通過URL載入網路圖像,覆蓋load()方法返回ImageStreamCompleter的實現類MultiFrameImageStreamCompleter,構建該類需要一個codec參數類型是Future<ui.Codec>,通過調用_loadAsync()方法下載網路圖片數據獲得位元組流後通過調用PaintingBinding.instance.instantiateImageCodec方法對數據進行解碼後獲得Future<ui.Codec>對象,obtainKey方法我們發現返回的是SynchronousFuture(this)對象,正是NetworkImage 自己本身,我們通過該類的==方法可以看到判斷兩個NetworkImage類是否相等通過runtimeType 、url 、scale 這三個參數來判斷,所以圖片緩存中的key相等判斷取決於圖片的url、scale、runtimeType參數。

MultiFrameImageStreamCompleter:是ImageStreamCompleter的子類是Flutter SDK的預置類,構建該類需要一個codec參數類型是Future<ui.Codec>,Codec 是處理圖像編解碼器的句柄也是Flutter Engine API的包裝類,可通過其內部的frameCount變數獲取圖像幀數,分別處理單幀和多幀(動態圖)圖像,內部的getNextFrame()方法獲取每幀的圖像數據並創建Image控制項中渲染需要的ImageInfo數據,調用onImage方法將ImageInfo返回給Image控制項。

圖像數據載入小結:

上面以網路圖像載入流程分析,首先通過ImageProvider的resolve()方法創建ImageStream對象,obtainKey()方法創建圖像緩存列表中的唯一key(取決於圖像url和scale),通過load()方法載入圖像數據並返回MultiFrameImageStreamCompleter對象,並將其設置給ImageStream中的setCompleter()方法添加監聽圖像載入完成狀態,圖像數據通過Codec 處理幀數分別處理最終創建ImageInfo對象通過ImageStreamListener的onImage方法返回給Image控制項。

圖片渲染相關類

_ImageState:是Image控制項創建的State類,通過調用ImageProvider的resolve()方法解析圖片數據,resolve()方法返回的ImageStream對象,通過addListener()增加圖片解析狀態監聽,通過ImageStreamListener的onImage回調中獲取圖片數據(ImageInfo)載入完成狀態,onChunk回調監聽數據載入進度,onError監聽圖片載入錯誤狀態,最終通過調用setState進行數據更新繪製。

細心的同學會發現ImageProvider的實例對象(widget.image)被ScrollAwareImageProvider包裝了一下又重新創建了一個provider,在ScrollAwareImageProvider內部主要是重寫了其中的resolveStreamForKey()方法,Flutter SDK 1.17版本中對圖片解析增加了快速滾動優化,當判斷當前屏幕處在快速滾動狀態時,則將圖片解析過程延遲下一幀幀尾進行。

RawImage:RenderObjectWidget的子類,重寫createRenderObject方法創建RenderObject子類。

RenderImage:渲染樹中RenderObject的實現類,Flutter的三棵樹Widget、Element、RenderObject ,而RenderObject這是負責繪製渲染的,RenderImage重寫performLayout()方法度量渲染尺寸並佈局,重寫paint()方法獲取畫布Canvas,Canvas是記錄圖片操作的介面類,通過參數處理圖片鏡像、裁剪、平鋪等邏輯後調用的drawImageNine()和drawImageRect()方法將圖片合成到畫布上最終調用Skia引擎API進行繪製。

圖片渲染小結:

Image控制項中通過調用ImageProvider的resolve()方法獲取圖片數據ImageInfo對象,通過setState方法將數據更新給圖片渲染控制項(RenderImage),RenderImage中重寫paint()方法根據傳入參數對圖片數據處理後繪製到Canvas畫布上並調用Skia引擎API進行繪製。

總結

以上是 Image 圖片載入原理及源碼分析,那麼我們在翻閱了Image源碼後能做些什麼呢?使用過程中有哪些可以優化的部分呢?讓我們繼續往下看。

圖片緩存池大小限制優化

Flutter本身提供了定製化Cache的能力,所以優化ImageCache的第一步就是要根據機型的實際物理記憶體去做緩存大小的適配,通過PaintingBinding.instance.imageCache調用的maximumSize和maximumSizeBytes動態設置合理的圖片緩存大小限制避免因圖片過多導致OOM。

未顯示圖像記憶體優化

可結合StatefulWidget控制項生命周期中的deactive()、dispose()等方法,在頁面控制項中的圖片未顯示在屏幕上或控制項已銷毀時調用圖片緩存中的evict()方法進行資源釋放。

圖片預緩存處理

Image控制項中提供了precacheImage()方法可以將需要顯示的圖片預先載入到ImageCache的緩存列表中,緩存列表中通過key值區分相同圖片,在頁面打開後直接從記憶體緩存獲取,可快速顯示圖片。

圖片文件緩存

通過查看網路圖片載入類NetworkImage源碼可以發現,圖片數據下載和解碼過程都是通過_loadAsync()方法完成的,所以我們可以通過改造這個方法中圖片文件下載、讀取、保存過程去增加圖片文件本地存儲、獲取原生圖片庫緩存、圖片下載DNS處理等功能。

自定義占點陣圖、錯誤圖效果

Image控制項中的frameBuilder和errorBuilder參數分別為我們提供了占點陣圖和錯誤圖的自定義方式,也可使用FadeInImage控制項提供的占點陣圖(placeholder)、錯誤圖imageErrorBuilder等參數,FadeInImage內部實現也是Image控制項,感興趣的同學可以查看其源碼實現。

大圖下載進度自定義顯示

顯示效果:https://flutter.github.io/assets-for-api-docs/assets/widgets/loading_progress_image.mp4

圖片可拉伸區域設置(.9圖片)

RenderImage的paint方法中我們發現在調用Canvas API繪製前會判斷centerSlice參數分別調用drawImageNine()和drawImageRect()方法,Image正式通過centerSlice參數配置圖片的可拉伸區域,參考代碼:centerSlice: Rect.fromLTWH(20, 20, 1, 1),L:橫向可拉伸區域左邊起始點位置,T:縱向可拉伸區域上邊起始點位置,W:橫向可拉伸區域寬度,H:縱向可拉伸區域寬度。

未來規劃

本文介紹了京東APP中Flutter探索遇到的問題以及圖片的載入原理和使用過程中的一些技巧,隨著Flutter SDK版本迭代更新,我們將繼續對圖片載入框架進行優化,原生開發中的多個優秀圖片框架已經經歷了大量用戶的考驗這也一直是我們渴望在Flutter上復用的能力,所以我們也在積極探索原生和Flutter中圖片記憶體共用方案,我們希望這個增強能力是非侵入式的,我們也在嘗試外接紋理等方案,這塊技術細節進展將在後續文章中繼續和大家一起探討。

參考資料

1、http://storage.360buyimg.com/pub-image/Image-source.jpg

2、https://book.flutterchina.club/chapter14/image_and_cache.html

3、https://api.flutter-io.cn/flutter/painting/ImageCache-class.html

作者:京東零售 徐巨集偉

來源:京東雲開發者社區


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 博客推行版本更新,成果積累制度,已經寫過的博客還會再次更新,不斷地琢磨,高質量高數量都是要追求的,工匠精神是學習必不可少的精神。因此,大家有何建議歡迎在評論區踴躍發言,你們的支持是我最大的動力,你們敢投,我就敢肝 ...
  • 全程我在網路上收集這些資料,太零碎了,每一個一看就會,一動手就廢,而且很多都不能實現我白嫖的夢想 我一個人折騰了快一周,現在可以正常訪問手機電腦多端訪問 給個贊再走吧 此處為沒有公網IP(回去折騰你家寬頻去,不知道可以去搜索如何獲得)和功能變數名稱的辦法 簡單的說就是想完全白嫖的那種(甚至雲伺服器(那個有公 ...
  • # 二進位包安裝mysql ## 準備 1.先查看系統中是否已存在mysql,存在將其卸載 ``` rpm -qa mysql rpm -qa mariadb yum remove xxx -y ``` 2.環境清理 清空PATH有關的mysql 註釋掉之前的$PATH 沒有就跳過這步 ``` #e ...
  • 為什麼需要設備驅動模型 內核版本發展 2.4版本之前內核沒有統一的設備驅動模型,但是可以用(例如先前的led字元設備驅動實驗,使用前需要手動調用mknod命令創建設備文件,從而進一步控制硬體)。 2.4~2.6版本內核使用devfs,掛載在/dev目錄。需要在內核驅動中創建設備文件(調用devfs_ ...
  • 本文是紅帽RHCE考題的總結,個別題目寫了多種步驟。 一、安裝和配置ansible 題目: 按照下方所述,在控制節點 bastion.lab.example.com 上安裝和配置 Ansible: 安裝所需的軟體包 創建名為/home/devops/ansible/inventory 的靜態清單文件 ...
  • 哈嘍大家好,我是鹹魚 今天我們來看一個關於 `Keepalived` 檢測腳本無法執行的問題 一位粉絲後臺私信我,說他部署的 `keepalived` 集群 `vrrp_script` 模塊中的腳本執行失敗了,但是手動執行這個腳本卻沒有任何問題 ![image](https://img2023.cn ...
  • ![](https://img2023.cnblogs.com/blog/3076680/202308/3076680-20230815140125196-1561757678.png) # 1. 服務級別幫助你定義客戶滿意的程度和標準,以便你在解決性能、可擴展性挑戰等事情與開發內部工具之間做出時間 ...
  • ## 一、引言 ### 1.1 什麼是MySQL Shell ? MySQL Shell 是 MySQL 的一個高級客戶端和代碼編輯器,是第二代 MySQL 客戶端。第一代 MySQL 客戶端即我們常用的 MySQL 。除了提供類似於 MySQL 的 SQL 功能外,MySQL Shell 還提供 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...