之前數據分層處理，最後把輕度聚合的結果保存到 ClickHouse 中，主要的目的就是提供即時的數據查詢、統計、分析服務。這些統計服務一般會用兩種形式展現，一種是為專業的數據分析人員的 BI 工具，一種是面向非專業人員的更加直觀的數據大屏。 以下主要是面向百度的 sugar 的數據大屏服務的介面開發 ...
之前數據分層處理，最後把輕度聚合的結果保存到 ClickHouse 中，主要的目的就是提供即時的數據查詢、統計、分析服務。這些統計服務一般會用兩種形式展現，一種是為專業的數據分析人員的 BI 工具，一種是面向非專業人員的更加直觀的數據大屏。
以下主要是面向百度的 sugar 的數據大屏服務的介面開發。
在可視化大屏中每個組件都需要一個單獨的介面，圖中一共涉及 8 個組件。
| 組件名稱 | 組件 | 查詢指標 | 對應的數據表 |
|---|---|---|---|
| 總成交金額 | 數字翻牌 | 訂單總金額 | product_stats |
| 省市熱力圖查詢 | 熱力圖 | 省市分組訂單金額 | province_stats |
| 分時流量 | 折線圖 | UV 分時數 PV 分時數 新用戶分時數 | visitor_stats |
| 品牌 TopN | 水平柱狀圖 | 按品牌分組訂單金額 | product_stats |
| 品類分佈 | 餅狀圖 | 按品類分組訂單金額 | product_stats |
| 熱詞字元雲 | 字元雲 | 關鍵詞分組計數 | keyword_stats |
| 流量表格 | 交叉透視表 | UV 數(新老用戶) PV 數(新老用戶) 跳出率(新老用戶) 平均訪問時長 (新老用戶) 平均訪問頁面數(新老用戶) | visitor_stats |
| 熱門商品 | 輪播表格 | 按 SPU 分組訂單金額 | product_stats |
之前我們實現了 DWS 層計算後寫入到 ClickHouse 中，接下來就是要為可視化大屏服務，提供一個數據介面用來查詢 ClickHouse 中的數據。這裡主要有兩項工作
- 配置可視化大屏服務。
- 編寫數據查詢介面以供可視化大屏進行訪問。
Sugar 數據大屏
Sugar 是百度雲推出的敏捷 BI 和數據可視化平臺，目標是解決報表和大屏的數據 BI 分析和可視化問題，解放數據可視化系統的開發人力
https://cloud.baidu.com/product/sugar.html
國內網穿透工具
花生殼：https://hsk.oray.com
Ngrok: http://www.ngrok.cc
網雲穿：http://www.neiwangchuantou.net/
https://www.bilibili.com/video/BV1Ju411o7f8/?p=73
大數據 - 數據倉庫-實時數倉架構分析
大數據 - 業務數據採集-FlinkCDC
大數據 - DWD&DIM 行為數據
大數據 - DWD&DIM 業務數據
大數據 - DWM層 業務實現
大數據 - DWS層 業務實現
大數據 - ADS 數據可視化實現
