達達埋點遷移京東子午線實踐

来源:https://www.cnblogs.com/Jcloud/archive/2023/11/20/17843426.html
-Advertisement-
Play Games

使用集團的統一埋點採集能力和埋點平臺,完成達達7條業務線共43個站點應用的埋點遷移,降低自研採集工具和平臺的研發投入和機器成本,打通數據鏈路,創造更多的數據分析價值 ...


一、概述

1.項目價值及成果

使用集團的統一埋點採集能力和埋點平臺,完成達達7條業務線共43個站點應用的埋點遷移,降低自研採集工具和平臺的研發投入和機器成本,打通數據鏈路,創造更多的數據分析價值。具體降本增效價值如下:

1.1 數據分析價值:與京東流量數據打通,拉齊數據口徑,流量串聯

1)信息孤島:快送與京東流量數據分離,庫表訪問成本高,也無法進行結合分析

2)數據口徑:埋點規範對齊:比如廣告位曝光、頁面瀏覽等埋點上報規則,與京東的邏輯對齊,拉齊數據口徑,提高準確度

3)用戶信息串聯:可以通過用戶基礎信息的串聯,比如device_id,用戶pin/supplier_id等,分析用戶從京東入口進入的流量鏈路、以及進入京東流量的訪問深度等等

1.2 減少迭代/維護人力成本:0.5人/年

1)天河平臺迭代成本

2)流量傳輸鏈路運維成本

1.3 節省機器/中間件費用:2w+每年

1)減少2台雲主機+估計2萬左右/年中間件費用

2.項目節奏

二、方案調研選型

1.方案衡量

在初期,我們擬定了遷移方案一,但是考慮到遷移成本巨大,我們綜合評估後,制定了方案二,基於遷移成本最小化等綜合考慮,我們選取了方案一

方案詳情 工作量
方案一 APP、小程式、PC&H5各業務線分別進行改造和遷移 需做43個站點應用的SDK層適配
方案二 1)APP進行SDK封裝,其他業務線只需接入即可 2)PC&H5在SDK層適配,其他35個應用方只需接入即可 需做3個SDK層適配,其他業務線接入即可

三、項目實現

1.上下游遷移流程

2.遷移技術架構

在接入項目之前,我們需要考慮兩點

穩定:一方面項目需要整體平穩運行,另一方面也遷移前後數據差異保持在合理的誤差範圍內

高效:本次遷移涉及客戶端、小程式、h5等數十個項目,節約開發成本也是關鍵

(1)方案選擇

1、直接替換:由於項目眾多,再加上每個項目中點位也很多,顯然我們不能直接替換業務中的埋點,工作量太大,出問題的風險也會更高

2、切麵替換:在埋點上報的某個環節中統一替換,這樣好處是只需要修改一次,代碼侵入性小,風險也可控,最重要的是工作量大大降低了

(2)方案設計

以客戶端為例,舊的埋點框架包含埋點採集、存儲、上報三個過程,並且是彼此獨立的,我們很容易的就可以在埋點採集到存儲過程之間進行切麵攔截,將原本的埋點數據進行轉換,如下圖

舊框架架構圖

(3)方案實施

在確定具體方案後,我們開始規划具體代碼實現,考慮到需要替換的項目眾多(以客戶端為例,有達達騎士、 達達快送、洪流、孔明等項目),每個項目都去實現一遍無疑是有資源的浪費,我們把項目按端分成Android、ios、小程式、h5, 這樣原本數十個項目,簡化成一套方案,四端代碼,各項目只需要簡單的集成即可,這樣節約了大量的人力資源

3.技術亮點

1、採用切麵攔截遷移方案節約人力成本

2、統一封裝與多端復用將埋點規範統一

3、數倉層:從京東實時topic直接消費落庫,在庫表層做京東和達達的數據結構相容,達到下游報表層“無感知遷移”,將業務報表的影響和下游遷移成本最小化

4.踩過的坑

1、ios不支持後臺上報埋點

問題:騎士和商家存在app退出前臺,處於後臺模式狀態時候上報埋點的情況,但是子午線最開始不支持長時間後臺上報埋點。

解決:子午線添加配置,支持不限時支持後臺上報埋點功能。

2、ios網路問題

問題:首次安裝app,在用戶沒有同意網路許可權的情況下,子午線sdk會上報dau埋點,上報失敗後重試3次再次失敗觸發2分鐘限制,2分鐘內不會在上報埋點。

解決:子午線單獨提供無2分鐘限制的包。

3、APP上報策略問題

問題:子午線預設上報策略為15s10條,導致部分用戶沒有觸發上報條件退出app後無法上報已有埋點情況。

解決:子午線更新配置為2s2條。

4、uid為空導致埋點不落表

問題:新用戶在未同意隱私協議前,不會獲取用戶的設備信息,導致appUniqueID傳空,不會落入子午線離線表。

解決:在新用戶在未同意隱私協議前,隨機生成一段字元串並加密,作為設備id傳給子午線,保證所有埋點都能落表。

5、小程式上報機制問題

問題:小程式達達sdk批量上報,子午線sdk是單條上報,會產生數據差異

解決:子午線sdk已支持批量上報

6、H5埋點量級過大時被丟棄

問題:洪流應用中,session_id大於10000次後數據會被子午線離線表丟棄

解決:同城數倉直接從實時topic消費數據,落離線表,不加session_id數量限制

作者:京東零售 周慧嫻

來源:京東雲開發者社區 轉載請註明來源


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、來自MySQL官方的感謝 在 2023-10-25 MySQL 官方發佈的 8.2 版本 Release Notes 中,GreatSQL 社區核心開發者 Richard Dang 和 Hao Lu ,分別收到了來自 MySQL 官方的貢獻感謝,與Amazon、Facebook(Meta)、Te ...
  • DM8壓縮表 0、結論 行表(普通表)不支持壓縮。但是語法支持。建表之後,查詢到的占用空間會比普通表小一半。 經過測試,裝10萬數據(兩個欄位),壓縮的、未壓縮,占用空間一樣大。 列表(huge表)支持壓縮。可以壓縮表(就是壓縮所有列),也可以選擇壓縮列。但是建表的時候就要設置,否則建好表之後修改不 ...
  • Recyclerview中,提供了一個方法addItemDecoration給我們用於設置item的分割線 下麵提供幾個常見的分割線效果 註: 下麵的SizeUtils是AndroidUtilCode此庫里的工具類,需要添加依賴,也可以自行修改封裝的方法(主要是將dp單位轉為px) 以下代碼已封裝在 ...
  • npm 存在的問題 我們經常使用 npm 來管理 node 項目中的包,從 package.json 中讀取配置將依賴下載到本地,以保障項目的正常運行。 當項目數量多時,這樣的包管理方式會非常的占用電腦記憶體。由於每個項目都有屬於自己的依賴,每個項目都需要安裝,即使 npm 會對依賴進行緩存,但是每個 ...
  • 可以少去理解一些不必要的概念,而多去思考為什麼會有這樣的東西,它解決了什麼問題,或者它的運行機制是什麼? 1. React 中導出和導入 1.1 ES6 解析 ES6 的模塊化的基本規則或特點: 每一個模塊只載入一次, 每一個 JS 只執行一次, 如果下次再去載入同目錄下同文件,直接從記憶體中讀取。一 ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 效果 金幣從初始位置散開後逐個飛向指定位置,這是游戲中很常用的一個動畫,效果如下: 思路 這個效果中,分成兩個階段: 一定數量的金幣從一個起點散開 這些金幣逐一飛向終點 計算金幣的初始散開位置 生成圓周上的等分點 金幣散開的位置看似隨機, ...
  • 古詩文起名 大家好,我是 Java陳序員,我們常常會為了給孩子取名而煩惱,取名不僅要好聽而且要規避大眾化。其實,我們中華文化博大精深,可以借鑒先輩文人們留下的經典詩詞中的文字來起名。今天,給大家介紹一個古詩文起名的工具。 這個工具支持從《詩經》、《楚辭》、《唐詩》、《宋詞》、《樂府詩集》、《古詩三百 ...
  • SubScribe即發佈訂閱模式,在工作中有著廣泛的應用,比如跨組件通信,微前端系統中跨子應用通信等等。 以下是一個簡易的實現: 訂閱 初始化時可限制類型 發佈 限制類型是為了讓訂閱者和發佈者知道預製了哪些類型,避免使用了一些對方不知道的類型。 type Subscriber<T> = (param ...
一周排行
    -Advertisement-
    Play Games
  • 下麵是一個標準的IDistributedCache用例: public class SomeService(IDistributedCache cache) { public async Task<SomeInformation> GetSomeInformationAsync (string na ...
  • 這個庫提供了在啟動期間實例化已註冊的單例,而不是在首次使用它時實例化。 單例通常在首次使用時創建,這可能會導致響應傳入請求的延遲高於平時。在註冊時創建實例有助於防止第一次Request請求的SLA 以往我們要在註冊的時候實例單例可能會這樣寫: //註冊: services.AddSingleton< ...
  • 最近公司的很多項目都要改單點登錄了,不過大部分都還沒敲定,目前立刻要做的就只有一個比較老的項目 先改一個試試手,主要目標就是最短最快實現功能 首先因為要保留原登錄方式,所以頁面上的改動就是在原來登錄頁面下加一個SSO登錄入口 用超鏈接寫的入口,頁面改造後如下圖: 其中超鏈接的 href="Staff ...
  • Like運算符很好用,特別是它所提供的其中*、?這兩種通配符,在Windows文件系統和各類項目中運用非常廣泛。 但Like運算符僅在VB中支持,在C#中,如何實現呢? 以下是關於LikeString的四種實現方式,其中第四種為Regex正則表達式實現,且在.NET Standard 2.0及以上平... ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他們的程式記憶體會偶發性暴漲,自己分析了下是非托管記憶體問題,讓我幫忙看下怎麼回事?哈哈,看到這個dump我還是非常有興趣的,居然還有這種游戲幣自助機類型的程式,下次去大玩家看看他們出幣的機器後端是不是C#寫的?由於dump是linux上的程式,剛好win ...
  • 前言 大家好,我是老馬。很高興遇到你。 我們為 java 開發者實現了 java 版本的 nginx https://github.com/houbb/nginx4j 如果你想知道 servlet 如何處理的,可以參考我的另一個項目: 手寫從零實現簡易版 tomcat minicat 手寫 ngin ...
  • 上一次的介紹,主要圍繞如何統一去捕獲異常,以及為每一種異常添加自己的Mapper實現,並且我們知道,當在ExceptionMapper中返回非200的Response,不支持application/json的響應類型,而是寫死的text/plain類型。 Filter為二方包異常手動捕獲 參考:ht ...
  • 大家好,我是R哥。 今天分享一個爽飛了的面試輔導 case: 這個杭州兄弟空窗期 1 個月+,面試了 6 家公司 0 Offer,不知道問題出在哪,難道是杭州的 IT 崩盤了麽? 報名面試輔導後,經過一個多月的輔導打磨,現在成功入職某上市公司,漲薪 30%+,955 工作制,不咋加班,還不捲。 其他 ...
  • 引入依賴 <!--Freemarker wls--> <dependency> <groupId>org.freemarker</groupId> <artifactId>freemarker</artifactId> <version>2.3.30</version> </dependency> ...
  • 你應如何運行程式 互動式命令模式 開始一個互動式會話 一般是在操作系統命令行下輸入python,且不帶任何參數 系統路徑 如果沒有設置系統的PATH環境變數來包括Python的安裝路徑,可能需要機器上Python可執行文件的完整路徑來代替python 運行的位置:代碼位置 不要輸入的內容:提示符和註 ...