TDengine 用戶案例合集 | 智能環保項目的時序數據處理難點與優化實踐

智能環保系統通常涉及大量的感測器和監測設備，以收集環境數據並對其進行分析和處理，這些數據通常是時序數據，即在一段時間內按時間順序生成的數據，規模龐大且要求快速準確地進行分析和處理。也因此時序數據處理是智能環保系統面臨的一個重要難題，很多項目在創建之初採用了傳統的大數據解決方案，隨著數據體量的日益增長，性能差、效率低、成本高等問題逐漸顯露。在本篇文章中，我們彙總了三個典型的智能環保項目的數據架構升級實踐，給到有需要的企業參考。

中科惠軟 x TDengine

“以往智慧環保項目我們採用傳統資料庫架構設計，對在海量秒級監測數據實時統計和分析耗時長、CPU 和記憶體利用率低、磁碟 IO 超負荷。在 A 市智慧環保物聯網應用項目我們創新使用了 TDengine，利用了實時流式計算相關函數，解決了大數據存儲和計算，降低了代碼開發複雜度，讓運維工作變得極為簡單，極大降低了運營成本。”

業務背景

中科惠軟承建的 A 市“智慧環保”物聯網應用項目需要採集各類感知設備產生的監測數據和監控設備各種運行狀態，項目每天採集各類監測數據 2 億餘條，如果使用公司原架構，可以勉強將每天的數據存儲下來，但如果需要實現“某天下午兩點 A 路段有多少輛渣土車通過”類似條件的多緯度分組聚合查詢，那麼採用傳統的資料庫就無法達成這類查詢需求了。考慮到各類感知監測設備會時刻產生大量秒級和分鐘級監測數據存儲和實時計算，在經過多個時序資料庫（Time Series Database）之間的性能和穩定性方面對比，最終，中科惠軟採用了 TDengine 對生態環境監測數據進行實時存儲、計算。

中科惠軟選型測試結果

點擊案例查看更多技術細節

昆岳互聯 x TDengine

“應用 TDengine 後，在進行每分鐘的平均量進行實時計算時，我們只需要簡單的定義時間視窗和滑動增量，資料庫就能返回每分鐘的平均量；在處理實時監測、預警的指標上，可以專門為這類數據建立流計算，並將計算結果寫入新的表（如下strm_pt_0304）中存儲，這樣整個實時計算的結果也可以做歷史回顧。原本很多需要在程式中處理的數值計算，現在完全都由 TDengine 承擔，不僅分擔了程式的計算壓力，更重要的是聚合結果可以自動持久化存儲，支持歷史數據即時回看。”

業務背景

昆岳互聯的“a 環保”APP 基於自主打造的環保產業互聯網平臺（INECO 平臺），對環境基礎設施海量數據實時處理與分析，可以秒級實時採集工業大氣環保各項監控指標的數據，分別通過年、月、日三個維度，結合不同的採集頻率周期，對採集到的海量數據進行分析、展示。在進行資料庫選型中，分別對比了阿裡的時序資料庫 TSDB、傳統的 MySQL 以及 TDengine 後，最終 TDengine 憑藉著高效的性能和獨特的設計思路脫穎而出。

架構圖

點擊案例查看更多技術細節

廣東環境科學研究院 x TDengine

“我們的一張超級表中存儲了 76.5 億條數據（四張超級表總共 160 億條數據），分散在 19,419 張子表中，平均每張表 39 萬行。由於 TDengine 超級表特性，再加上列式存儲和超高的壓縮能力，這些數據僅占用了 240GB 記憶體，不僅幫助我們節省了大量的存儲空間，也為數據查詢性能打下了良好的基礎：對於 76 億行的超級表，分組 TOP 查詢僅用了 0.2 秒；基於 TDengine 返回 2,968 行，僅用了 0.06 秒。”

業務背景

為解決國內環境質量管理、污染源監管和數字政府等生態環境數據的管理工作，廣東科學研究院創建了生態環境數據治理服務項目，幫助企業打通所有相關的業務信息系統、建立數據倉庫。與一般的數據存儲要求不同，該項目感知層的存儲方案對數據讀寫頻度和低延時要求更高，同時由於數據量極大，還需要更高的存儲效率，此前採用關係型資料庫進行數據存儲，最多只能保留 3-5 天的數據，不得不按天刪除舊數據。之後考慮過採用 PostgreSQL 的 TimescaleDB 擴展，但卻不滿足政務信息化自主可控的要求。在經過很長一段時間的研究和測試後，TDengine 被成功應用。

架構圖

點擊案例查看更多技術細節

結語

從上述企業實踐來看，TDengine 在智能環保項目上的應用具有很大的優勢，可以實現高效的數據採集、存儲、分析和展示等功能，為環保系統提供有力的技術支持。目前，全托管的時序數據云服務平臺 TDengine Cloud 也已經上線，極致的彈性伸縮能進一步提升業務的降本增效，非常歡迎大家來試用~如果你正面臨數據處理難題，也可添加小Tvx（tdengine），申請加入 TDengine 技術交流群，和志同道合的開發者共同探討解決路徑。