摘要:openGemini是華為雲面向物聯網和運維監控場景開源的一款雲原生分散式時序資料庫,相容InfluxDB API,具有高性能、高併發、高擴展等特點。 openGemini是華為雲面向物聯網和運維監控場景開源的一款雲原生分散式時序資料庫,相容InfluxDB API,具有高性能、高併發、高擴展 ...
摘要:openGemini是華為雲面向物聯網和運維監控場景開源的一款雲原生分散式時序資料庫,相容InfluxDB API,具有高性能、高併發、高擴展等特點。
openGemini是華為雲面向物聯網和運維監控場景開源的一款雲原生分散式時序資料庫,相容InfluxDB API,具有高性能、高併發、高擴展等特點。openGemini已在華為雲內部廣泛使用,如SRE基礎設施運維監控系統、IoT物聯平臺等。其雲服務GaussDB(for Influx)已服務超過100家來自物聯網、車聯網、智能製造等行業客戶。
openGemini v0.2.0版本正式上線!
openGemini v0.2.0版本與之前版本特性功能保持相容,並新增了5大特性,歡迎體驗使用 v0.2.0版本!
https://github.com/openGemini/openGemini/releases/tag/v0.2.0
5大特性全面瞭解
支持Linux ARM64架構伺服器適配
openGemini可在鯤鵬伺服器或者其他ARM64架構的物聯網設備上運行,單機性能相比InfluxDB提升了2-5倍,海量數據場景下openGemini性能更是大幅提升。
支持Docker容器化部署
openGemini提供了dockerfile和相關腳本,支持在KubeEdge 和 K8s平臺部署集群。由於容器重新拉起後,IP地址隨之變化,openGemini新增功能變數名稱功能,確保集群節點在容器重啟後依然可以保持連通。
應用部署文檔見:https://github.com/openGemini/openGemini/tree/main/docker
openGemini自有客戶端工具ts-cli
ts-cli相容Influx用法,支持openGemini數據寫入和查詢的全部語句,還提供了openGemini常用命令的語法提示和查詢時延回顯功能,與Influx相比,目前暫不支持auth、數據導入導出等功能。
下載社區二進位安裝包,解壓後,ts-cli在usr/bin目錄下,與其他組件二進位一起。如果通過源碼編譯方式,源碼成功編譯後,在ts-cli在build目錄中。
新增AI時序數據分析運算元castor
openGemini提供一套基於AI的數據分析引擎,該引擎支持獨立節點部署,用於對castor運算元提供異常檢測能力。目前castor運算元能檢測的異常場景包括:
- 數據突增突降異常,比如用於網路流量和伺服器負載的波動異常分析
- 數據超過閾值異常,比如用於油井下有毒氣體、可燃氣體濃度的告警
- 數據持續增長或持續下降,比如用於建築內部或數據中心的溫度監測告警
詳細介紹見:http://www.opengemini.org/docs Data Analysis
提供高性能數據分析Python庫openGemini-castor
openGemini-castor是一個數據分析Python庫,包含了多種基於AI的數據異常檢測演算法,為castor運算元提供具體的分析演算法支持。openGemini-castor庫具備如下特性:
- 高性能分析:支持每秒萬級指標(時間線)實時、併發檢測。
- 流式檢測:多種異常檢測器都對流式異常檢測做了相應的支持。完成流式數據的實時檢測,只需緩存少量數據且每次不必輸入大量歷史數據,從而可以有效地緩解計算壓力。
- 告警抑制:針對不同場景,可以組合使用多種告警抑制器,以抑制誤報和重覆告警。
- 嚴重程度分級:根據多種異常出現情況,按嚴重程度對異常進行分類。輔助開發者對故障嚴重程度的判斷。
- 靈活的演算法編排:可通過配置參數靈活地制定檢測流程。其中,異常檢測器、告警抑制器和嚴重程度分級器都可以根據不同的需求進行配置。
訪問https://github.com/openGemini/openGemini-castor,瞭解更多詳情
v0.1.0提供了哪些能力?
openGemini v0.1.0雖然為初始版本,但在高性能、高安全、工具鏈、企業級特性、可擴展性、功能等五個方面已具備生產環境可使用的完整能力。
高性能
openGemini採用了MPP大規模並行處理分層架構,針對物聯網、運維監控等領域海量數據管理和分析訴求,對計算引擎和存儲引擎做了大量的優化設計,取得了明顯效果。
- 支持億級指標管理
- 每秒千萬級指標數據併發寫入
- 查詢萬級指標數據毫秒級響應
相比開源的單機版InfluxDB,openGemini單機版寫入性能提升5倍,複雜查詢響應時間縮短60倍。
高安全
openGemini支持數據傳輸加密和用戶密碼鑒權,支持用戶弱密碼校驗和審計日誌。此外,openGemini集群的各組件之間通信採用了HTTPS雙向認證(Mutual TLS),確保每一個鏈接都是可信的。
企業級特性
openGemini在v0.1.0版本中提供瞭如下企業級特性:
- 採用列式數據存儲,不同數據類型對應不同的數據壓縮演算法,相比傳統關係型資料庫,存儲數據量可縮減10-20倍,可支持PB級指標數據的長期高效存儲。相比HBase,存儲空間節省90%以上
- 支持數據保留策略,數據過期後自動刪除
- 支持寫前日誌(WAL),確保設備掉電後數據不丟失
- 提供集群橫向擴展能力,支持大併發數據訪問
- 結合時序數據特點,數據分熱、溫、冷多級存儲,進一步提升了查詢性能;
- 提供了開源監控工具ts-monitor,可採集260餘種內核和伺服器關鍵監控指標,更好的觀察系統的運行狀況,快速定位和解決問題。
功能
openGemini提供豐富的分析運算元(COUNT、SUM、MAX、MIN、LAST、MEAN等)60+種、統計分析運算元(PERCENTILE分位數、HISTOGRAM直方圖);支持TAG;支持嵌套查詢。完全相容InfluxDB內置函數功能。
可擴展性
openGemini集群由ts-sql、ts-store、ts-meta組成,ts-sql和ts-store可根據業務複雜進行靈活擴展,可支持100+節點的集群規模。
工具鏈
openGemini相容InfluxDB API,因此InfluxDB支持1.x版本的工具鏈可以直接與openGemini對接。openGemini生態圖譜如下圖所示:

結束
感謝openGemini社區所有貢獻者
物聯網、運維監控就選openGemini,openGemini社區邀您一起,共創新、贏未來!