發現數據異常波動怎麼辦?別慌,指標監控和歸因分析來幫你

来源:https://www.cnblogs.com/DTinsight/p/18101902
-Advertisement-
Play Games

企業搭建完善、全面的指標體系是企業用數據指導業務經營決策的第一步。但是做完指標之後,對指標的監控,經常被大家忽視。當指標發生了異常波動(上升或下降),需要企業能夠及時發現,並快速找到背後真實的原因,才能針對性地制定相應策略,否則就是盲打,原地打轉。 指標異常波動的具體場景,比如: · 企業關鍵詞的搜 ...


企業搭建完善、全面的指標體系是企業用數據指導業務經營決策的第一步。但是做完指標之後,對指標的監控,經常被大家忽視。當指標發生了異常波動(上升或下降),需要企業能夠及時發現,並快速找到背後真實的原因,才能針對性地制定相應策略,否則就是盲打,原地打轉。

指標異常波動的具體場景,比如:

· 企業關鍵詞的搜索流量突然降低了,是什麼原因?

· 3月的GMV數字比2月下降了40%,應該如何分析?

· 最近某個品類的訂單數猛增,為什麼?

那麼,本文將詳細介紹如何建立完善的指標異常監控及其對應歸因分析機制,讓大家今後在遇到此類問題時,能夠快速從數據中發現業務問題與機會,提升業務推進速度。

基於統計分析檢測指標異常

企業的日常數據走勢會在一定範圍內上下浮動,但不同的指標其浮動範圍會有差異。當業務在高速增長期,指標每日波動幅度較大;業務在平穩期,指標每日波動幅度則較小;統計粒度越粗,數據量越大,統計結果的波動性也越小。因此,對於不同的指標需要用不同的標準去衡量指標波動是否存在異常。

指標異常監控方法主要有三種:

· 基於實際業務經驗進行閾值設置

· 基於數據結果進行統計分析

· 融入演算法進行建模預測

本文將主要介紹如何基於統計分析方法來評估指標波動是否異常。

統計學中,指標的數據分佈通常滿足正態分佈。正態分佈具有對稱性,會用到均值、標準差兩個數據。其中均值可以反應數據的平均水平,標準差可以反應數據波動幅度,標準差越大, 反映出數據波動性越大。標準差的計算公式如下:

file

利用數據在正態分佈中的位置可以判斷指標波動是否符合預期。在正態分佈中,數據分佈在2倍標準差內的概率是95.5%,在3倍標準差的概率內是99.7%。日常可以使用2倍標準差作為衡量標準。

正常數據結果會在 均值±2* 標準差範圍內浮動,若實際數據超出了這個範圍,則認為本次數據波動異常。

日常數據波動規律會以日、周、月、年為單位出現相同或相似的變化規律,此處以日活指標為例,來說明指標異常波動的監測過程。

某游戲類APP日活指標通常以周為單位進行數據波動,現計劃基於過去五周的數據走勢來判斷本周一的日活數據是否出現異常波動。

數據準備如下:

file

上述數據的前五周周一的均值:10900,標準差:1507,數據的2倍標準差分別為7887、13913,本周周一數據為7700,在2倍標準差範圍外,則說明本周一日活指標數據波動異常,需要進一步分析異常波動原因,以判斷業務是否真正存在異常。

指標異動歸因分析

指標異動歸因方法有很多,總結起來可以分為兩大類:橫向歸因分析和縱向歸因分析。

橫向歸因分析

橫向歸因分析,指的是對於組合型的指標可以對過程指標做拆分,分析每個過程指標的波動影響因素,再對多個影響因素做整合分析。

如:昨日的付費金額顯著增高。分析增高原因時,先對付費金額做工時拆解:付費金額 = 日活 * 平均付費金額,平均付費金額在正常範圍內波動,日活顯著增加,進一步對相關業務做分析,發現是昨日買量增加帶來的結果影響。

縱向歸因分析

縱向歸因分析,即對指標通過維度下鑽進行歸因分析。維度下鑽分析主要包括兩個分析粒度:一是分析各維度對指標的貢獻程度,二是分析維度值對指標的貢獻程度。

維度的貢獻程度計算可基於每個維度值的貢獻程度彙總得出,而每個維度值的貢獻程度計算有多種計算方式,貢獻程度的計算可以基於預測演算法等多種方法進行。本文介紹一個簡單的基於增長率平均值計算貢獻程度的方法。

單一維度下,每個維度值貢獻程度可通過下列公式計算:

file

下麵,以銷售額為例,介紹一下計算過程。

某產品線1月1日和1月2日銷售額分別為3097萬元、3300萬元。細分到城市維度,每個城市兩天的數據表現如下:

file

城市維度中:

file

基於上述步驟即可簡單地實現維度貢獻度及維度值貢獻度的計算。

智能指標波動監測&智能歸因分析

在實際的數據場景中,每個維度下維度值的數量少說幾十上百個,多則成千上萬個,每天純手動計算維度貢獻程度將是一個巨大的工作量。分析效率過於低下,導致業務方很容易根據經驗進行結論推斷,如果推斷錯誤,將很有可能產生錯誤決策。

袋鼠雲指標平臺智能指標波動監測智能歸因分析功能可以快速、全面的幫助用戶追蹤業務表現,從而進一步推動業務發展。

指標看板查看

對於企業關註的指標,可以將指標添加到關註看板中進行日常數據觀察與監控。在看板中可直觀查看所有指標的當前數據表現、近期數據走勢。系統會根據當前數據做智能診斷,判斷指標波動是否為正常波動,幫助用戶快速定位異常數據,針對性分析與應對數據變化。

file

指標歸因分析

當一個指標結果出現異常時,如果依次對維度、維度值進行歸因分析是一件工作量很大的事情。能夠將分析方法、分析過程系統化,會大大提升歸因分析效率,對業務發展形成極為正向的促進作用。

file

對執行指標歸因分析時,系統會區分維度值計算指標波動情況,進一步計算出維度貢獻度,並根據貢獻度大小進行降序排序,讓用戶聚焦於頭部更重要的影響因素。

在關註的維度下,用戶可以進一步查看細分維度值的貢獻度,快速發現數據變化原因,通過數據推動業務提升。

點擊下方鏈接可免費試用【指標管理平臺】:
https://www.dtstack.com/easydigit/dataindex?src=szsm

《行業指標體系白皮書》下載地址:https://www.dtstack.com/resources/1057?src=szsm

《數棧產品白皮書》下載地址:https://www.dtstack.com/resources/1004?src=szsm

《數據治理行業實踐白皮書》下載地址:https://www.dtstack.com/resources/1001?src=szsm

想瞭解或咨詢更多有關大數據產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠雲官網:https://www.dtstack.com/?src=szbky


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • GreatSQL 優化技巧:將 MINUS 改寫為標量子查詢 前言 minus 指令運用在兩個 SQL 語句上,取兩個語句查詢結果集的差集。它先找出第一個 SQL 所產生的結果,然後看這些結果有沒有在第二個 SQL 的結果中,如果在,那這些數據就被去除,不會在最後的結果中出現,第二個 SQL 結果集 ...
  • 本文分享自華為雲社區《GeminiDB Cassandra介面新特性FLASHBACK發佈:任意時間點秒級閃回》,作者: GaussDB 資料庫。 技術背景 資料庫作為現代信息系統的核心組成部分,承擔著存儲、管理和檢索大量數據的重要任務。然而,在實際的業務運行過程中,由於各種原因,資料庫可能會出現異 ...
  • 本文首發於公眾號:Hunter後端 原文鏈接:MySQL面試必備一之索引 在面試過程中,會有一些關於 MySQL 索引相關的問題,以下總結了一些: MySQL 的數據存儲使用的是什麼索引結構 B+ 樹的結構是什麼樣子 什麼是複合索引、聚簇索引、覆蓋索引 什麼是最左匹配原則 數據 B+ 樹中是如何查詢 ...
  • 本文分享自華為雲社區《GaussDB(DWS)的cgroup、資源池、用戶的關係》,作者: nullptr_。 1. 前言 本文主要展示了DWS中cgroup、資源池、用戶之間的關係,從而對DWS的資源設置情況有個初步瞭解。 2. 相關對象創建腳本 gs_ssh -c "gs_cgroup -cS ...
  • 作者 | Shawn Gordon 翻譯 | Debra Chen 原文鏈接 | What the Heck is Apache SeaTunnel? 我在2023年初開始註意到Apache SeaTunnel的相關討論,一直低調地關註著。該項目始於2017年,最初名為Waterdrop,在Apac ...
  • 目錄一、環境搭建1、關閉防火牆firewalld,selinux2、每台主機安裝MySQL二、基於GTID的主從複製1、修改/etc/my.cnf文件2、檢查GTID狀態3、配置主從複製4、從庫設置三、部署MHA1、準備環境(所有節點)2、部署管理節點(可以部署在任何機器上)3、配置ssh信任4、啟 ...
  • 什麼是哈希桶 Redis中的哈希桶是一種數據結構,用於在Redis的哈希表(如字典結構)中存儲鍵值對。哈希桶是哈希表數組中的每個元素,可以視為一個容器或槽位,用於存放數據。在Redis中,當插入一個新的鍵值對時,會根據鍵的哈希值計算出一個索引,該索引指向特定的哈希桶。 每個哈希桶可以存儲多個鍵值對, ...
  • 在金融行業數字化轉型背景下,銀行等金融機構面臨著業務模式創新與數據應用的深度融合。業務上所需要的不再是單純的數據,而是數據背後映射的業務趨勢洞察,只有和業務相結合轉化為業務度量指標,經過數據分析處理呈現為報表進行展示,才能真正體現它們的價值。 但在需求轉化為指標的過程中,存在需求管理雜亂、登記維護難 ...
一周排行
    -Advertisement-
    Play Games
  • GoF之工廠模式 @目錄GoF之工廠模式每博一文案1. 簡單說明“23種設計模式”1.2 介紹工廠模式的三種形態1.3 簡單工廠模式(靜態工廠模式)1.3.1 簡單工廠模式的優缺點:1.4 工廠方法模式1.4.1 工廠方法模式的優缺點:1.5 抽象工廠模式1.6 抽象工廠模式的優缺點:2. 總結:3 ...
  • 新改進提供的Taurus Rpc 功能,可以簡化微服務間的調用,同時可以不用再手動輸出模塊名稱,或調用路徑,包括負載均衡,這一切,由框架實現並提供了。新的Taurus Rpc 功能,將使得服務間的調用,更加輕鬆、簡約、高效。 ...
  • 本章將和大家分享ES的數據同步方案和ES集群相關知識。廢話不多說,下麵我們直接進入主題。 一、ES數據同步 1、數據同步問題 Elasticsearch中的酒店數據來自於mysql資料庫,因此mysql數據發生改變時,Elasticsearch也必須跟著改變,這個就是Elasticsearch與my ...
  • 引言 在我們之前的文章中介紹過使用Bogus生成模擬測試數據,今天來講解一下功能更加強大自動生成測試數據的工具的庫"AutoFixture"。 什麼是AutoFixture? AutoFixture 是一個針對 .NET 的開源庫,旨在最大程度地減少單元測試中的“安排(Arrange)”階段,以提高 ...
  • 經過前面幾個部分學習,相信學過的同學已經能夠掌握 .NET Emit 這種中間語言,並能使得它來編寫一些應用,以提高程式的性能。隨著 IL 指令篇的結束,本系列也已經接近尾聲,在這接近結束的最後,會提供幾個可供直接使用的示例,以供大伙分析或使用在項目中。 ...
  • 當從不同來源導入Excel數據時,可能存在重覆的記錄。為了確保數據的準確性,通常需要刪除這些重覆的行。手動查找並刪除可能會非常耗費時間,而通過編程腳本則可以實現在短時間內處理大量數據。本文將提供一個使用C# 快速查找並刪除Excel重覆項的免費解決方案。 以下是實現步驟: 1. 首先安裝免費.NET ...
  • C++ 異常處理 C++ 異常處理機制允許程式在運行時處理錯誤或意外情況。它提供了捕獲和處理錯誤的一種結構化方式,使程式更加健壯和可靠。 異常處理的基本概念: 異常: 程式在運行時發生的錯誤或意外情況。 拋出異常: 使用 throw 關鍵字將異常傳遞給調用堆棧。 捕獲異常: 使用 try-catch ...
  • 優秀且經驗豐富的Java開發人員的特征之一是對API的廣泛瞭解,包括JDK和第三方庫。 我花了很多時間來學習API,尤其是在閱讀了Effective Java 3rd Edition之後 ,Joshua Bloch建議在Java 3rd Edition中使用現有的API進行開發,而不是為常見的東西編 ...
  • 框架 · 使用laravel框架,原因:tp的框架路由和orm沒有laravel好用 · 使用強制路由,方便介面多時,分多版本,分文件夾等操作 介面 · 介面開發註意欄位類型,欄位是int,查詢成功失敗都要返回int(對接java等強類型語言方便) · 查詢介面用GET、其他用POST 代碼 · 所 ...
  • 正文 下午找企業的人去鎮上做貸後。 車上聽同事跟那個司機對罵,火星子都快出來了。司機跟那同事更熟一些,連我在內一共就三個人,同事那一手指桑罵槐給我都聽愣了。司機也是老社會人了,馬上聽出來了,為那個無辜的企業經辦人辯護,實際上是為自己辯護。 “這個事情你不能怪企業。”“但他們總不能讓銀行的人全權負責, ...