發現數據異常波動怎麼辦?別慌,指標監控和歸因分析來幫你

来源:https://www.cnblogs.com/DTinsight/p/18101902
-Advertisement-
Play Games

企業搭建完善、全面的指標體系是企業用數據指導業務經營決策的第一步。但是做完指標之後,對指標的監控,經常被大家忽視。當指標發生了異常波動(上升或下降),需要企業能夠及時發現,並快速找到背後真實的原因,才能針對性地制定相應策略,否則就是盲打,原地打轉。 指標異常波動的具體場景,比如: · 企業關鍵詞的搜 ...


企業搭建完善、全面的指標體系是企業用數據指導業務經營決策的第一步。但是做完指標之後,對指標的監控,經常被大家忽視。當指標發生了異常波動(上升或下降),需要企業能夠及時發現,並快速找到背後真實的原因,才能針對性地制定相應策略,否則就是盲打,原地打轉。

指標異常波動的具體場景,比如:

· 企業關鍵詞的搜索流量突然降低了,是什麼原因?

· 3月的GMV數字比2月下降了40%,應該如何分析?

· 最近某個品類的訂單數猛增,為什麼?

那麼,本文將詳細介紹如何建立完善的指標異常監控及其對應歸因分析機制,讓大家今後在遇到此類問題時,能夠快速從數據中發現業務問題與機會,提升業務推進速度。

基於統計分析檢測指標異常

企業的日常數據走勢會在一定範圍內上下浮動,但不同的指標其浮動範圍會有差異。當業務在高速增長期,指標每日波動幅度較大;業務在平穩期,指標每日波動幅度則較小;統計粒度越粗,數據量越大,統計結果的波動性也越小。因此,對於不同的指標需要用不同的標準去衡量指標波動是否存在異常。

指標異常監控方法主要有三種:

· 基於實際業務經驗進行閾值設置

· 基於數據結果進行統計分析

· 融入演算法進行建模預測

本文將主要介紹如何基於統計分析方法來評估指標波動是否異常。

統計學中,指標的數據分佈通常滿足正態分佈。正態分佈具有對稱性,會用到均值、標準差兩個數據。其中均值可以反應數據的平均水平,標準差可以反應數據波動幅度,標準差越大, 反映出數據波動性越大。標準差的計算公式如下:

file

利用數據在正態分佈中的位置可以判斷指標波動是否符合預期。在正態分佈中,數據分佈在2倍標準差內的概率是95.5%,在3倍標準差的概率內是99.7%。日常可以使用2倍標準差作為衡量標準。

正常數據結果會在 均值±2* 標準差範圍內浮動,若實際數據超出了這個範圍,則認為本次數據波動異常。

日常數據波動規律會以日、周、月、年為單位出現相同或相似的變化規律,此處以日活指標為例,來說明指標異常波動的監測過程。

某游戲類APP日活指標通常以周為單位進行數據波動,現計劃基於過去五周的數據走勢來判斷本周一的日活數據是否出現異常波動。

數據準備如下:

file

上述數據的前五周周一的均值:10900,標準差:1507,數據的2倍標準差分別為7887、13913,本周周一數據為7700,在2倍標準差範圍外,則說明本周一日活指標數據波動異常,需要進一步分析異常波動原因,以判斷業務是否真正存在異常。

指標異動歸因分析

指標異動歸因方法有很多,總結起來可以分為兩大類:橫向歸因分析和縱向歸因分析。

橫向歸因分析

橫向歸因分析,指的是對於組合型的指標可以對過程指標做拆分,分析每個過程指標的波動影響因素,再對多個影響因素做整合分析。

如:昨日的付費金額顯著增高。分析增高原因時,先對付費金額做工時拆解:付費金額 = 日活 * 平均付費金額,平均付費金額在正常範圍內波動,日活顯著增加,進一步對相關業務做分析,發現是昨日買量增加帶來的結果影響。

縱向歸因分析

縱向歸因分析,即對指標通過維度下鑽進行歸因分析。維度下鑽分析主要包括兩個分析粒度:一是分析各維度對指標的貢獻程度,二是分析維度值對指標的貢獻程度。

維度的貢獻程度計算可基於每個維度值的貢獻程度彙總得出,而每個維度值的貢獻程度計算有多種計算方式,貢獻程度的計算可以基於預測演算法等多種方法進行。本文介紹一個簡單的基於增長率平均值計算貢獻程度的方法。

單一維度下,每個維度值貢獻程度可通過下列公式計算:

file

下麵,以銷售額為例,介紹一下計算過程。

某產品線1月1日和1月2日銷售額分別為3097萬元、3300萬元。細分到城市維度,每個城市兩天的數據表現如下:

file

城市維度中:

file

基於上述步驟即可簡單地實現維度貢獻度及維度值貢獻度的計算。

智能指標波動監測&智能歸因分析

在實際的數據場景中,每個維度下維度值的數量少說幾十上百個,多則成千上萬個,每天純手動計算維度貢獻程度將是一個巨大的工作量。分析效率過於低下,導致業務方很容易根據經驗進行結論推斷,如果推斷錯誤,將很有可能產生錯誤決策。

袋鼠雲指標平臺智能指標波動監測智能歸因分析功能可以快速、全面的幫助用戶追蹤業務表現,從而進一步推動業務發展。

指標看板查看

對於企業關註的指標,可以將指標添加到關註看板中進行日常數據觀察與監控。在看板中可直觀查看所有指標的當前數據表現、近期數據走勢。系統會根據當前數據做智能診斷,判斷指標波動是否為正常波動,幫助用戶快速定位異常數據,針對性分析與應對數據變化。

file

指標歸因分析

當一個指標結果出現異常時,如果依次對維度、維度值進行歸因分析是一件工作量很大的事情。能夠將分析方法、分析過程系統化,會大大提升歸因分析效率,對業務發展形成極為正向的促進作用。

file

對執行指標歸因分析時,系統會區分維度值計算指標波動情況,進一步計算出維度貢獻度,並根據貢獻度大小進行降序排序,讓用戶聚焦於頭部更重要的影響因素。

在關註的維度下,用戶可以進一步查看細分維度值的貢獻度,快速發現數據變化原因,通過數據推動業務提升。

點擊下方鏈接可免費試用【指標管理平臺】:
https://www.dtstack.com/easydigit/dataindex?src=szsm

《行業指標體系白皮書》下載地址:https://www.dtstack.com/resources/1057?src=szsm

《數棧產品白皮書》下載地址:https://www.dtstack.com/resources/1004?src=szsm

《數據治理行業實踐白皮書》下載地址:https://www.dtstack.com/resources/1001?src=szsm

想瞭解或咨詢更多有關大數據產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠雲官網:https://www.dtstack.com/?src=szbky


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • GreatSQL 優化技巧:將 MINUS 改寫為標量子查詢 前言 minus 指令運用在兩個 SQL 語句上,取兩個語句查詢結果集的差集。它先找出第一個 SQL 所產生的結果,然後看這些結果有沒有在第二個 SQL 的結果中,如果在,那這些數據就被去除,不會在最後的結果中出現,第二個 SQL 結果集 ...
  • 本文分享自華為雲社區《GeminiDB Cassandra介面新特性FLASHBACK發佈:任意時間點秒級閃回》,作者: GaussDB 資料庫。 技術背景 資料庫作為現代信息系統的核心組成部分,承擔著存儲、管理和檢索大量數據的重要任務。然而,在實際的業務運行過程中,由於各種原因,資料庫可能會出現異 ...
  • 本文首發於公眾號:Hunter後端 原文鏈接:MySQL面試必備一之索引 在面試過程中,會有一些關於 MySQL 索引相關的問題,以下總結了一些: MySQL 的數據存儲使用的是什麼索引結構 B+ 樹的結構是什麼樣子 什麼是複合索引、聚簇索引、覆蓋索引 什麼是最左匹配原則 數據 B+ 樹中是如何查詢 ...
  • 本文分享自華為雲社區《GaussDB(DWS)的cgroup、資源池、用戶的關係》,作者: nullptr_。 1. 前言 本文主要展示了DWS中cgroup、資源池、用戶之間的關係,從而對DWS的資源設置情況有個初步瞭解。 2. 相關對象創建腳本 gs_ssh -c "gs_cgroup -cS ...
  • 作者 | Shawn Gordon 翻譯 | Debra Chen 原文鏈接 | What the Heck is Apache SeaTunnel? 我在2023年初開始註意到Apache SeaTunnel的相關討論,一直低調地關註著。該項目始於2017年,最初名為Waterdrop,在Apac ...
  • 目錄一、環境搭建1、關閉防火牆firewalld,selinux2、每台主機安裝MySQL二、基於GTID的主從複製1、修改/etc/my.cnf文件2、檢查GTID狀態3、配置主從複製4、從庫設置三、部署MHA1、準備環境(所有節點)2、部署管理節點(可以部署在任何機器上)3、配置ssh信任4、啟 ...
  • 什麼是哈希桶 Redis中的哈希桶是一種數據結構,用於在Redis的哈希表(如字典結構)中存儲鍵值對。哈希桶是哈希表數組中的每個元素,可以視為一個容器或槽位,用於存放數據。在Redis中,當插入一個新的鍵值對時,會根據鍵的哈希值計算出一個索引,該索引指向特定的哈希桶。 每個哈希桶可以存儲多個鍵值對, ...
  • 在金融行業數字化轉型背景下,銀行等金融機構面臨著業務模式創新與數據應用的深度融合。業務上所需要的不再是單純的數據,而是數據背後映射的業務趨勢洞察,只有和業務相結合轉化為業務度量指標,經過數據分析處理呈現為報表進行展示,才能真正體現它們的價值。 但在需求轉化為指標的過程中,存在需求管理雜亂、登記維護難 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...