位元組跳動 DanceCC 工具鏈系列之Xcode LLDB耗時監控統計方案

来源:https://www.cnblogs.com/ClientInfra/archive/2022/09/07/16665518.html
-Advertisement-
Play Games

DanceCC提出了一套專門的方案。方案原理基於LLDB Plugin，利用Fishhook，從LLDB的Script Bridge API層面攔截Xcode對LLDB調用，以此來進行耗時監控統計。 ...


作者：李卓立 仲凱寧

背景介紹

在《位元組跳動 DanceCC 工具鏈系列之Swift 調試性能的優化方案》[1]一文中，我們介紹瞭如何使用自定義的工具鏈，來針對性優化調試器的性能，解決大型Swift項目的調試痛點。

在經過內部項目的接入以及一段時間的試用之後，為了精確測量經過優化後的LLDB調試Xcode項目效率提升效果，衡量項目收益，需要開發一套能夠同時獲取Xcode官方工具鏈與DanceCC工具鏈調試耗時的耗時監控方案。

一般來說，LLDB內置的工作耗時，可以通過輸入log timers dump來獲取粗略的累計耗時，但是這個耗時只包括了源代碼中插入了LLDB_SCOPED_TIMER()巨集的函數，並不代表完整的真實耗時。並且這個耗時統計需要用戶手動觸發，如果要單獨獲取某次操作的耗時還需要先進行reset操作清空之前的耗時記錄；對於我們目前的需求而言不夠精確也不夠自動。

因此DanceCC提出了一套專門的方案。方案原理基於LLDB Plugin[2]，利用Fishhook[3]，從LLDB的Script Bridge API[4]層面攔截Xcode對LLDB調用，以此來進行耗時監控統計。

註：LLDB論壇也有貢獻者，討論另一套內置的LLDB metries方案[5]，但是目標側重點和我們略有不同，並且截至發稿日未有完整的結論，因此僅在引用鏈接提及供讀者延伸閱讀。

方案原理

LLDB Plugin

Apple在其LLDB和早期Xcode集成中，為了不侵入一些容易改動的上層邏輯，引入了LLDB Plugin的設計和支持。

每個Plugin是一個動態鏈接庫，需要實現特定的C++/C入口函數，由LLDB主進程在運行時通過dladdr找到函數入口並載入進記憶體。目前有兩種Plugin的介面形式（網上常見第一種）

  • 新Plugin介面：
namespace lldb {
bool PluginInitialize(SBDebugger debugger);
}

這種Plugin，需要用戶在腳本中手動按需載入，並常駐在記憶體中：

plugin load /path/to/plugin.dylib
  • 老Plugin介面：
extern "C" bool LLDBPluginInitialize(void);
extern "C" void LLDBPluginTerminate(void);

將編譯的動態庫放入以下兩個目錄，即可自動被載入，無法手動控制時機，在當前調試Session結束時卸載：

/path/to/LLDB.framework/Resources/Plugins
~/Library/Application Support/LLDB/PlugIns

註入動態庫

圖片

正常流程中，Xcode開始調試時會啟動一個lldb-rpc-server的進程，這個進程會載入Xcode預設工具鏈，或指定工具鏈中的LLDB.framework，並且通過這個動態庫中暴露出的Script Bridge API調用LLDB的各功能。

圖片

監控流程中，我們向lldbinit文件中添加了command script import ~/.dancecc/dancecc_lldb.py，用於在LLDB啟動時載入腳本，腳本內會執行plugin load ~/.dancecc/libLLDBStatistics.dylib，載入監控動態庫。

監控動態庫在被載入時，因為被載入的動態庫和LLDB.framework不在一個MachO Image中，我們能夠通過Fishhook方案，對LLDB.framework暴露出的我們關心的Script Bridge API進行hook。

hook成功之後，每次Xcode對Script Bridge API進行調用都會先進入我們的監控邏輯。此時我們記錄時間戳來計時，然後再進入LLDB.framework中的邏輯，獲取結果後返回給lldb-rpc-server，併在Xcode的GUI中展示。

Hook SB API

Hook SB API時，需要一份含有要部署的LLDB.framework的頭文件（Xcode並未內置）。由於上述的流程使用了動態鏈接的LLDB.framework，我們選擇了Swift 5.6的產物，並tbd化避免倉庫膨脹。

由於LLDB Script Bridge API相對穩定，因此可以使用一個動態庫實現，通過運行時來應對不同版本的API變化（極少出現，截止發文調研5.5~5.7之間Xcode並沒有改變調用介面）。

對於hook C++函數的方式，這裡借用了Fishhook進行替換。原C++的函數地址，可通過dlsym調用得到。註意C++函數名使用mangled後的名稱（在tbd文件中可找到）。

///
/// Hook a SB API using the stub method defined with the macros above
///
#define LLDB_HOOK_METHOD(MANGLED, CLASS, METHOD) \
Logger::Log("Hook "#CLASS"::"#METHOD" started!"); \
ptr_##MANGLED.pvoid = dlsym(RTLD_DEFAULT, #MANGLED); \
if (!ptr_##MANGLED.pvoid) { \
    Logger::Log(dlerror()); \
    return; \
} \
if (rebind_symbols((struct rebinding[1]){{#MANGLED, (void *) hook_##MANGLED, (void **) & ptr_##MANGLED.pvoid }}, 1) < 0) { \
    Logger::Log(dlerror()); \
    return; \
} \
Logger::Log("Hook "#CLASS"::"#METHOD" succeed!");

C++的成員函數的函數指針第一個應該是this指針，這裡用self命名。也可以調用原實現先獲取結果，再根據結果進行相關的統計邏輯。

///
/// Call the original implementation for member function
///
#define LLDB_CALL_HOOKED_METHOD(MANGLED, SELF, ...)  (SELF->*(ptr_##MANGLED.pmember))(__VA_ARGS__)

最終整體代碼中Hook一個API就可以寫為：

// 假設期望Hook方法為：char * ClassA::MethodB(int foo, double bar)
// 這裡寫被Hook的方法實現
LLDB_GEN_HOOKED_METHOD(mangled, char *, ClassA, MethodB, int foo, double bar) {
  return LLDB_CALL_HOOKED_METHOD(mangled, self, 1, 2.0);
}
// 這裡是執行Hook（只執行一次）
LLDB_HOOK_METHOD(mangled, ClassA, MethodB);

耗時監控場景

目前耗時監控包含下列場景：

  • 展示frame變數
  • 展開變數的子變數
  • 輸入expr命令（p, po命令也是expr命令的alias）
  • Attach進程耗時
  • Launch進程耗時

展示frame變數場景

經過觀察，我們發現當在Xcode中進入斷點，GUI顯示當前frame的變數時，lldb-rpc-server調用SB API的流程為先調用SBFrame::GetVariables方法，返回一個表示當前frame中所有變數的SBValueList對象，然後再調用一系列方法獲取它們的詳細信息，最後調用SBListener::GetNextEvent等待下一個event出現。因此我們計算展示frame變數的流程為，當SBFrame::GetVariables方法被調用時記錄當前時間戳，等待直至SBListener::GetNextEvent方法被調用，再記錄此時時間戳算出耗時。

展示子變數場景

經過觀察，我們發現當在Xcode中展開變數，需要顯示當前變數的子變數時，lldb-rpc-server調用SB API的流程為先調用SBValue::GetNumChildren方法，返回表示當前變數中子變數的數目，然後再調用SBValue::GetChildAtIndex獲取這些子變數以及它們的的詳細信息，最後調用SBListener::GetNextEvent等待下一個event出現。因此我們計算展示frame變數的流程為，當SBValue::GetNumChildren方法被調用時記錄當前時間戳，等待直至SBListener::GetNextEvent方法被調用，再記錄此時時間戳算出耗時。

輸入expr命令場景

Xcode中用戶直接從debug console中輸入LLDB命令的方式是不走SB API的，因此無法直接通過hook的方式獲取耗時。我們發現大多數開發者，都習慣在debug console中使用po/expr等命令而不是GUI點擊輸入框。因此我們專門做了支持，通過SB API的OverrideCallback方法進行了攔截。

LLDB.framework暴露了一個用於註冊在LLDB命令前調用自定義callback的介面：SBCommandInterpreter::SetCommandOverrideCallback；我們利用了這個介面註冊了一個用於攔截並獲取用戶輸入命令的callback函數，這個callback會記錄當前耗時，然後調用SBDebugger::HandleCommand來處理用戶輸入的命令。但是當SBDebugger::HandleCommand被調用時，我們註冊的callback一樣會生效，並再次進入我們攔截的callback流程中。

為瞭解決這個遞歸調用自己的問題，我們通過一個static bool isTrapped變數表示當前進入的expr命令是否被OverrideCallback攔截過。如果未被攔截，將isTrapped置true表示expr命令已經被攔截，則調用HandleCommand方法重新處理expr命令，此時進入的HandleCommand方法同樣會被OverrideCallback攔截到，但是此時isTrapped已經被置true，因此callback返回false不再進入攔截分支，而是走原有邏輯正常執行expr命令

圖片

Attach進程場景

Attach進程時，lldb-rpc-server會調用SBTarget::Attach方法，常見於真機調試的場景。這裡在調用前後記錄時間戳，計算出耗時即可。

Launch進程場景

Launch進程時，lldb-rpc-server會調用SBTarget::Launch方法，常見於模擬器啟動並調試的場景。這裡在調用前後記錄時間戳，計算出耗時即可。

上報部分

數據上報

為了進一步還原耗時的細節，除了標記場景的類型以外，我們還會統一記錄這些非敏感信息：

  • 正在調試的進程名，用於區分多調試Session並存的場景
  • 正在調試的App的Bundle ID
  • 當前斷點位置在哪個文件
  • 當前斷點位置在哪一行
  • 當前斷點位置在哪個函數
  • 當前斷點位置在哪個Module
  • 表示當前使用的工具鏈是Xcode的還是DanceCC的
  • 表示當前使用的Swift版本（與Xcode版本一一對應）

在內網提供的版本中，也通過外部環境變數，得知對應的App的倉庫標識，用於在內網的數據統計平臺上展示和區分。如圖，這是內網大型Swift工程，飛書iOS App接入DanceCC工具鏈之後，某時間的耗時數據，可以明顯看出，DanceCC相比於Xcode的變數顯示耗時，優化了接近一個數量級。

圖片圖片

極端耗時場景堆棧收集

除了基本的耗時時間收集以外，我們還希望能夠及時發現新增的極端耗時場景和新問題，因此設計了一套極端耗時情況下的調試器堆棧收集機制，目前只要發現，展示變數場景和輸入expr命令耗時超過10秒種，則會記錄LLDB.framework的當前調用堆棧的每個函數耗時，並將數據上報到後臺進行統計和人工分析。堆棧收集使用了log timers dump所產出的堆棧和耗時信息，本質上是LLDB代碼中通過LLDB_SCOPED_TIMER()巨集記錄的函數，其會使用編譯器的__PRETTY_FUNCTION__能力來在運行時得到一個用於人類可讀的函數名。在獲取到調用前和調用後的兩條堆棧後，我們會對每個函數進行Diff計算和排序，將最耗時的前10條進行了採樣記錄，使用字元串一同上傳到統計後臺中。

圖片

總結

無論是App還是工具鏈，在做性能優化的同時，數據指標建設是必不可少的。這篇文章講述的監控方案，在後續迭代DanceCC工具鏈的時候，能夠明確相關的優化對實際的調試體驗有所幫助，能避免了主觀和片面的測試來評估調試器的可用性。除了調試器之外，DanceCC工具鏈還包括諸如鏈接器，編譯器，LLVM子工具（如dsymutil）等相關優化，系列文章也會進一步進行相關的分享，敬請期待。

引用鏈接

  1. https://mp.weixin.qq.com/s/MTt3Igy7fu7hU0ooE8vZog
  2. https://reviews.llvm.org/rG4272cc7d4c1e1a8cb39595cfe691e2d6985f7161
  3. https://lldb.llvm.org/design/api.html
  4. https://github.com/facebook/fishhook
  5. https://discourse.llvm.org/t/rfc-lldb-telemetry-metrics/64588

關於位元組終端技術團隊

位元組跳動終端技術團隊 (Client Infrastructure) 是大前端基礎技術的全球化研發團隊（分別在北京、上海、杭州、深圳、廣州、新加坡和美國山景城設有研發團隊），負責整個位元組跳動的大前端基礎設施建設，提升公司全產品線的性能、穩定性和工程效率；支持的產品包括但不限於抖音、今日頭條、西瓜視頻、飛書、瓜瓜龍等，在移動端、Web、Desktop等各終端都有深入研究。

加入我們

我們是位元組的 Client Infrastructure 部門下的編譯器工具鏈團隊，團隊成員由編譯器專家及構建系統專家組成，我們基於開源的 LLVM/Swift 項目提供深度定製的 clang/swift 編譯器、鏈接器、lldb 調試器和語言基礎庫等工具及優化方案，覆蓋構建性能優化及應用性能穩定性優化等場景，併在業務研發效率和應用品質提升方面取得了顯著的效果，同時，在實踐的過程中我們也看到了很多令人興奮的新機會，希望有更多對編譯工具鏈技術感興趣的同學加入我們一起探索。

工作地點

深圳、北京

職位描述

  1. 設計與實現高效的編譯器/鏈接器/調試器優化
  2. 自定義 LLVM 工具鏈的維護和開發
  3. 提升Client Infrastructure編譯工具鏈的性能及穩定性
  4. 協同業務團隊推動技術方案的落地

職位要求

  1. 至少熟練掌握 C++/Objective-C/Swift 其中一門語言，熟悉語言特性的實現細節
  2. 熟悉編程語言的實現技術，如解釋器、編譯器、記憶體管理方面的實現
  3. 熟悉某個構建系統 (CMake/Bazel/Gradle/XCBuild 等)
  4. 有編譯器、鏈接器、調試器等工具的開發和優化經驗優先，有 LLVM、GCC 等項目項目開發經歷優先
  5. 有移動端技術棧開發經驗優先

職位鏈接

點擊鏈接投遞簡歷：https://job.toutiao.com/s/FBS9cLk!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • LIMIT和OFFSET分頁性能差！今天來介紹如何高性能分頁
    GreatSQL社區原創內容未經授權不得隨意使用，轉載請聯繫小編並註明來源。 GreatSQL是MySQL的國產分支版本，使用上與MySQL一致。 前言 之前的大多數人分頁採用的都是這樣： SELECT * FROM table LIMIT 20 OFFSET 50 可能有的小伙伴還是不太清楚LIM ...
  • MySQL第五天
    2022-09-07 1、Mysql中的清屏： system clear 一般的清屏命令：clear 聚合函數 2、查詢某個表中某個欄位的值的個數（使用count） 以“students”表（欄位有id,name,age,gender，height）為例： select count(id) from ...
  • 初入Sql Server 之 存儲過程的簡單使用
    一、簡介 簡單記錄一下存儲過程的使用。存儲過程是預編譯SQL語句集合，也可以包含一些邏輯語句，而且當第一次調用存儲過程時，被調用的存儲過程會放在緩存中，當再次執行時，則不需要編譯可以立馬執行，使得其執行速度會非常快。 二、使用 創建格式 create procedure 過程名( 變數名 變數類型 ...
  • 遙居前列！華為雲GaussDB再獲行業權威驗證
    摘要：北京國家金融科技認證中心正式公佈了2022年通過“分散式資料庫金融標準驗證”的資料庫產品名單。華為雲GaussDB金融級分散式資料庫以突出的技術優勢通過驗證，躍然榜上，且測試得分遙居前列。 近日，北京國家金融科技認證中心正式公佈了2022年通過“分散式資料庫金融標準驗證”的資料庫產品名單。華為 ...
  • 未來，軟+硬+AI三位一體化自治資料庫
    在2022世界人工智慧大會（WAIC）上，騰訊雲資料庫技術負責人程彬為大家分享了資料庫與 AI 相結合背後的故事。在專場《當資料庫遇上 AI 》中，程彬基於騰訊雲資料庫在 AI 智能化的探索與實踐，剖析資料庫與 AI 融合背後的技術關鍵點，為產業界提供前沿解決方案。以下為演講實錄： 點擊觀看完整版直 ...
  • 15445第一階段筆記+Buffer Pool（2019）
    項目管理構建工具——Maven（基礎篇） 在前面的內容中我們學習了JDBC並且接觸到了jar包概念 在後面我們的實際開發中會接觸到很多jar包，jar包的導入需要到互聯網上進行就會導致操作繁瑣 Maven在解決了jar包導入繁雜問題的同時，也提供了一套通用的管理和構建Java項目的一系列操作 Mav ...
  • 物聯網助力智慧農業，農民也能成為科技工作者
    近年來隨著物聯網技術以及農業自動化應用水平的不斷發展，基於“互聯網+”項目經驗日漸豐富，通過感測器採集對應的信息再通過一些組態軟體類實現自動運轉、自動控制的智能大棚勢在必得。 ...
  • Flash開發iOS應用全攻略（五）——如何上傳應用到iTunes Connect
    上傳IPA到iTunes Connect 上一篇我介紹瞭如何在iTunes Connect里準備應用。最後在這篇文章里我會簡單介紹下如何來上傳IPA到iTunes Connect。 登陸iTunes Connect，進入Manage Your Applications頁面後，點擊你創建的應用圖標，進 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類