FlatBuffers初探

来源:http://www.cnblogs.com/wingyip/archive/2016/02/09/5185593.html
-Advertisement-
Play Games

我第一次知道FlatBuffers是因為Facebook寫的這篇Android的技術博客文章。它主要介紹了FlatBuffers對比JSON的優勢,以及Facebook Android App應用了FlatBuffers後,衍生的數據和界面更新的工作流轉模式。建議去讀一讀,作者還是一個中國人哦。 下


我第一次知道FlatBuffers是因為Facebook寫的這篇Android的技術博客文章。它主要介紹了FlatBuffers對比JSON的優勢,以及Facebook Android App應用了FlatBuffers後,衍生的數據和界面更新的工作流轉模式。建議去讀一讀,作者還是一個中國人哦。

下麵開始介紹了一下FlatBuffers,首先看看它和JSON的對比。

   

先引用GitHub frogermcs/FlatBuffs上的兩張Gif效果圖.

那個Loading菊花是乾什麼的呢?點擊上下兩個按鈕開始數據解析,而數據解析是故意放在主線程上執行,而Loading菊花能直觀的辨別解析過程有沒有導致UI卡頓。

左圖,點擊"PARSE JSON"按鈕是用的Gson解析了一個468KB的Json文件,耗時200-300ms。

右圖,點擊"USE FLATBUFFERS",是“解析”同樣的Json數據但是用FlatBuffers特有的數據格式文件repos_flat.bin。耗時是<10ms。FlatBuffers“解析”的過程,Loading菊花一直保持著流暢的轉動。

 

FlatBuffers到底有什麼樣的魔術,能比JSON快這麼多呢?

其實FlatBuffers實際並沒有做數據的解析,repos_flat.bin是按照FlatBuffers數據組織格式生成的Byte數組。

FlatBuffer的數據解析是靠一層層的offset偏移量的組合計算定位到數據在Byte數組的位置,進而獲取目標數據的值 。所以FlatBuffer是需要什麼數據,才解析什麼數據,並不需要全量解析。

簡單說,FlatBuffers分為vtable區和數據區。vtable區保存的是數據的偏移值,數據區保存的是具體的數據值。

 

FlatBuffers的優點和缺點

優點:

1. 數據都是從Byte數組中獲取,減少解析過程的記憶體占用,減低了GC發生概率。

    Memory Efficient Serialization Library,FlatBuffers是這麼描述自己的。

    這裡有別人做的記憶體檢測的數據

2. 無需全量解析,用到的數據才需要解析。

    想象一個很長的ListView,並不需要在初始狀態就把所有的數據都解析出來。滾動到可見狀態的item的數據,才需要被解析。

缺點:

1. 數據獲取都是偏移量計算的解析過程,嵌套層級深的數據,可能帶來性能問題。

2. 不自行做數據緩存的話,每次獲取同樣的數據會有重覆計算。

3. Byte數據安全性和完整性有顧慮。也有人專門寫博客表明不會用FlatBuffer哈哈。

 

FlatBuffers的應用

FlatBuffers還可以“解析”JSON,實際是把JSON數據生成FlatBuffers格式的Byte數組。

如上圖,中間的按鈕“PARSE JSON(FLATBUFFERS)”點擊執行後解析468KB同樣的JSON文件,比Gson節省了約40%的耗時。

作為應用FlatBuffers的切入點,參考著的frogermsc GitHub Demo,我嘗試把FlatBuffer解析JSON應用到工作項目中。

步驟:

1. 使用FlatBuffers需要引入2個SO和一個JAR,合計1MB;

2. 根據待解析的數據,要寫一個schema文件如下,類似於protocolBuffer的.proto文件的作用;

namespace RankDetail;

table RankDetail {
    code : int;
    msg : string;
}

root_type RankDetail;

3. 通過命令行,根據schema生成相關解析後數據讀取的Java類,這個步驟也類似protocolBuffer;

 

遇到的問題:

1. schema文件的Key-value對的Key不能數字開頭,如下的123key是不符合要求的;

    原因是因為,FlatBuffers是直接獲取schema文件內的這種key-value的key的值作為方法名字和變數名字,阿拉伯數字開頭的變數名和方法名是不合法的。

namespace RankDetail;

table RankDetail {
    code : int;
    msg : string;
    123key : string;
}

root_type RankDetail;

2. 解析是在SO的native代碼,遇到失敗就會native crash,缺少有用的解析失敗的日誌信息,增加開發調試的難度和時間。

 

FlatBuffers最大的威力是解析他自家格式的Byte數組(參考文章開頭的GIF對比),應用到正式環境的功能,需要後臺請求返回的數據是FlatBuffers格式的Bytes數組。另外,FlatBuffers解析的容錯性目前還有待完善提升。但以後,FlatBuffers會是減少記憶體占用、提升用戶體驗的利器。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 第三篇博客, 這次說的是插入鏈接類標簽, 我們平常在網頁中經常能看到藍色的鏈接類標簽, 或者是一張圖片, 一個電郵, 這些都是插入鏈接類的標簽起的作用. <a></a>鏈接標簽 <a>鏈接標簽可實現超鏈接, 它在網頁中是無處不在的, 只要有鏈接的地方, 就會有這個標簽, 它的語法和其他的標簽不太相同
  • 上一篇文章提到了javascript中可變值與不可變值,如果你不知道什麼是可變值和不可變值,可以先去看看那篇文章,再回來看這篇,因為這篇文章是基於可變值與不可變值講解的。 那我就預設你知道什麼是可變值與不可變值。 1.對於不可變值來說(也就是數字,字元串,布爾,null,undefined),它們是
  • 字元串原始值修改不了1 var str = "abc"; 2 str[0] = "d"; 3 console.log(str[1]="f"); >>f 4 console.log(str[0]); >>a 5 console.log(str); >>abc提試:字元串是可以通過[]的形式訪問的。 /
  • 隨著日常的使用,系統提供的cell已經不能滿足開發的需要,因為系統提供的是單一的,所以 這就引來了自定義cell的出現,可以根據 自己的需要來佈局各個控制項所處的位置。不同位置顯示不同的控制項。 創建一個類,繼承於UITableCell. 自定義cell,簡單的來說可以分為三步 1.將所有cell要顯示
  • UITableView表視圖,是實用的數據展示的基礎控制項,是繼承於UIScrollView,所以也可以滾動。但不同於UIScrollView,UITableView只可以上下滾動,而不能左右滾動。 因為是數據展示,必然少不了數據的存在,嗯,使用plist文件來獲取想要的數據。通過模型來獲取。 說到這
  • 分類:C#、Android、VS2015; 創建日期:2016-02-10 一、簡介 Android應用程式中的佈局控制項都是容器控制項,用於控制子元素的排列和放置方式。Android提供的佈局控制項有: LinearLayout:線性佈局。 GridLayout:網格佈局。 TableLayout:表布
  • 一、屬性傳值 對於屬性傳值而言,相對於其它的三種 方法來說,是最基礎,最簡單的一種 方法,但,屬性傳值 有很大的局限性,因為是適用於第一個界面向第二個界面傳 值,第二個向第三個界面傳值等等。N界面向N + 1界面傳值。而在此基礎上,必須知道跳轉界面的明確位置及所要傳的值的具體類型。在第二個界面中聲明
  • 一般來說scrollView與UIPageControl都是結合使用,因為在使用滾動視圖的時候 ,使用UIPageControl,用戶可以 清楚 的明白顯示的內容有多少頁,如果 沒有的話,總不能讓用戶一個個的去數。用戶體驗效果不理想。 一般來說,在滑動scrollView的時候,UIPageCont
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...