我第一次知道FlatBuffers是因為Facebook寫的這篇Android的技術博客文章。它主要介紹了FlatBuffers對比JSON的優勢,以及Facebook Android App應用了FlatBuffers後,衍生的數據和界面更新的工作流轉模式。建議去讀一讀,作者還是一個中國人哦。 下
我第一次知道FlatBuffers是因為Facebook寫的這篇Android的技術博客文章。它主要介紹了FlatBuffers對比JSON的優勢,以及Facebook Android App應用了FlatBuffers後,衍生的數據和界面更新的工作流轉模式。建議去讀一讀,作者還是一個中國人哦。
下麵開始介紹了一下FlatBuffers,首先看看它和JSON的對比。
先引用GitHub frogermcs/FlatBuffs上的兩張Gif效果圖.
那個Loading菊花是乾什麼的呢?點擊上下兩個按鈕開始數據解析,而數據解析是故意放在主線程上執行,而Loading菊花能直觀的辨別解析過程有沒有導致UI卡頓。
左圖,點擊"PARSE JSON"按鈕是用的Gson解析了一個468KB的Json文件,耗時200-300ms。
右圖,點擊"USE FLATBUFFERS",是“解析”同樣的Json數據但是用FlatBuffers特有的數據格式文件repos_flat.bin。耗時是<10ms。FlatBuffers“解析”的過程,Loading菊花一直保持著流暢的轉動。
FlatBuffers到底有什麼樣的魔術,能比JSON快這麼多呢?
其實FlatBuffers實際並沒有做數據的解析,repos_flat.bin是按照FlatBuffers數據組織格式生成的Byte數組。
FlatBuffer的數據解析是靠一層層的offset偏移量的組合計算定位到數據在Byte數組的位置,進而獲取目標數據的值 。所以FlatBuffer是需要什麼數據,才解析什麼數據,並不需要全量解析。
簡單說,FlatBuffers分為vtable區和數據區。vtable區保存的是數據的偏移值,數據區保存的是具體的數據值。
FlatBuffers的優點和缺點
優點:
1. 數據都是從Byte數組中獲取,減少解析過程的記憶體占用,減低了GC發生概率。
Memory Efficient Serialization Library,FlatBuffers是這麼描述自己的。
2. 無需全量解析,用到的數據才需要解析。
想象一個很長的ListView,並不需要在初始狀態就把所有的數據都解析出來。滾動到可見狀態的item的數據,才需要被解析。
缺點:
1. 數據獲取都是偏移量計算的解析過程,嵌套層級深的數據,可能帶來性能問題。
2. 不自行做數據緩存的話,每次獲取同樣的數據會有重覆計算。
3. Byte數據安全性和完整性有顧慮。也有人專門寫博客表明不會用FlatBuffer哈哈。
FlatBuffers的應用
FlatBuffers還可以“解析”JSON,實際是把JSON數據生成FlatBuffers格式的Byte數組。
如上圖,中間的按鈕“PARSE JSON(FLATBUFFERS)”點擊執行後解析468KB同樣的JSON文件,比Gson節省了約40%的耗時。
作為應用FlatBuffers的切入點,參考著的frogermsc GitHub Demo,我嘗試把FlatBuffer解析JSON應用到工作項目中。
步驟:
1. 使用FlatBuffers需要引入2個SO和一個JAR,合計1MB;
2. 根據待解析的數據,要寫一個schema文件如下,類似於protocolBuffer的.proto文件的作用;
namespace RankDetail;
table RankDetail {
code : int;
msg : string;
}
root_type RankDetail;
3. 通過命令行,根據schema生成相關解析後數據讀取的Java類,這個步驟也類似protocolBuffer;
遇到的問題:
1. schema文件的Key-value對的Key不能數字開頭,如下的123key是不符合要求的;
原因是因為,FlatBuffers是直接獲取schema文件內的這種key-value的key的值作為方法名字和變數名字,阿拉伯數字開頭的變數名和方法名是不合法的。
namespace RankDetail;
table RankDetail {
code : int;
msg : string;
123key : string;
}
root_type RankDetail;
2. 解析是在SO的native代碼,遇到失敗就會native crash,缺少有用的解析失敗的日誌信息,增加開發調試的難度和時間。
FlatBuffers最大的威力是解析他自家格式的Byte數組(參考文章開頭的GIF對比),應用到正式環境的功能,需要後臺請求返回的數據是FlatBuffers格式的Bytes數組。另外,FlatBuffers解析的容錯性目前還有待完善提升。但以後,FlatBuffers會是減少記憶體占用、提升用戶體驗的利器。