openGemini v0.2.0版本正式發佈:5大特性全面增強

来源:https://www.cnblogs.com/huaweiyun/archive/2022/12/16/16987560.html
-Advertisement-
Play Games

摘要:openGemini是華為雲面向物聯網和運維監控場景開源的一款雲原生分散式時序資料庫,相容InfluxDB API,具有高性能、高併發、高擴展等特點。 openGemini是華為雲面向物聯網和運維監控場景開源的一款雲原生分散式時序資料庫,相容InfluxDB API,具有高性能、高併發、高擴展 ...


摘要:openGemini是華為雲面向物聯網和運維監控場景開源的一款雲原生分散式時序資料庫,相容InfluxDB API,具有高性能、高併發、高擴展等特點。

openGemini是華為雲面向物聯網和運維監控場景開源的一款雲原生分散式時序資料庫,相容InfluxDB API,具有高性能、高併發、高擴展等特點。openGemini已在華為雲內部廣泛使用,如SRE基礎設施運維監控系統、IoT物聯平臺等。其雲服務GaussDB(for Influx)已服務超過100家來自物聯網、車聯網、智能製造等行業客戶。

openGemini v0.2.0版本正式上線!

openGemini v0.2.0版本與之前版本特性功能保持相容,並新增了5大特性,歡迎體驗使用 v0.2.0版本!

https://github.com/openGemini/openGemini/releases/tag/v0.2.0

5大特性全面瞭解

支持Linux ARM64架構伺服器適配

openGemini可在鯤鵬伺服器或者其他ARM64架構的物聯網設備上運行,單機性能相比InfluxDB提升了2-5倍,海量數據場景下openGemini性能更是大幅提升。

支持Docker容器化部署

openGemini提供了dockerfile和相關腳本,支持在KubeEdge 和 K8s平臺部署集群。由於容器重新拉起後,IP地址隨之變化,openGemini新增功能變數名稱功能,確保集群節點在容器重啟後依然可以保持連通。

應用部署文檔見:https://github.com/openGemini/openGemini/tree/main/docker

openGemini自有客戶端工具ts-cli

ts-cli相容Influx用法,支持openGemini數據寫入和查詢的全部語句,還提供了openGemini常用命令的語法提示和查詢時延回顯功能,與Influx相比,目前暫不支持auth、數據導入導出等功能。
下載社區二進位安裝包,解壓後,ts-cli在usr/bin目錄下,與其他組件二進位一起。如果通過源碼編譯方式,源碼成功編譯後,在ts-cli在build目錄中。

新增AI時序數據分析運算元castor

openGemini提供一套基於AI的數據分析引擎,該引擎支持獨立節點部署,用於對castor運算元提供異常檢測能力。目前castor運算元能檢測的異常場景包括:

  • 數據突增突降異常,比如用於網路流量和伺服器負載的波動異常分析
  • 數據超過閾值異常,比如用於油井下有毒氣體、可燃氣體濃度的告警
  • 數據持續增長或持續下降,比如用於建築內部或數據中心的溫度監測告警

詳細介紹見:http://www.opengemini.org/docs Data Analysis

提供高性能數據分析Python庫openGemini-castor

openGemini-castor是一個數據分析Python庫,包含了多種基於AI的數據異常檢測演算法,為castor運算元提供具體的分析演算法支持。openGemini-castor庫具備如下特性:

  • 高性能分析:支持每秒萬級指標(時間線)實時、併發檢測。
  • 流式檢測:多種異常檢測器都對流式異常檢測做了相應的支持。完成流式數據的實時檢測,只需緩存少量數據且每次不必輸入大量歷史數據,從而可以有效地緩解計算壓力。
  • 告警抑制:針對不同場景,可以組合使用多種告警抑制器,以抑制誤報和重覆告警。
  • 嚴重程度分級:根據多種異常出現情況,按嚴重程度對異常進行分類。輔助開發者對故障嚴重程度的判斷。
  • 靈活的演算法編排:可通過配置參數靈活地制定檢測流程。其中,異常檢測器、告警抑制器和嚴重程度分級器都可以根據不同的需求進行配置。

訪問https://github.com/openGemini/openGemini-castor,瞭解更多詳情

v0.1.0提供了哪些能力?

openGemini v0.1.0雖然為初始版本,但在高性能、高安全、工具鏈、企業級特性、可擴展性、功能等五個方面已具備生產環境可使用的完整能力。

高性能

openGemini採用了MPP大規模並行處理分層架構,針對物聯網、運維監控等領域海量數據管理和分析訴求,對計算引擎和存儲引擎做了大量的優化設計,取得了明顯效果。

  • 支持億級指標管理
  • 每秒千萬級指標數據併發寫入
  • 查詢萬級指標數據毫秒級響應

相比開源的單機版InfluxDB,openGemini單機版寫入性能提升5倍,複雜查詢響應時間縮短60倍。

高安全

openGemini支持數據傳輸加密和用戶密碼鑒權,支持用戶弱密碼校驗和審計日誌。此外,openGemini集群的各組件之間通信採用了HTTPS雙向認證(Mutual TLS),確保每一個鏈接都是可信的。

企業級特性

openGemini在v0.1.0版本中提供瞭如下企業級特性:

  • 採用列式數據存儲,不同數據類型對應不同的數據壓縮演算法,相比傳統關係型資料庫,存儲數據量可縮減10-20倍,可支持PB級指標數據的長期高效存儲。相比HBase,存儲空間節省90%以上
  • 支持數據保留策略,數據過期後自動刪除
  • 支持寫前日誌(WAL),確保設備掉電後數據不丟失
  • 提供集群橫向擴展能力,支持大併發數據訪問
  • 結合時序數據特點,數據分熱、溫、冷多級存儲,進一步提升了查詢性能;
  • 提供了開源監控工具ts-monitor,可採集260餘種內核和伺服器關鍵監控指標,更好的觀察系統的運行狀況,快速定位和解決問題。

功能

openGemini提供豐富的分析運算元(COUNT、SUM、MAX、MIN、LAST、MEAN等)60+種、統計分析運算元(PERCENTILE分位數、HISTOGRAM直方圖);支持TAG;支持嵌套查詢。完全相容InfluxDB內置函數功能。

可擴展性

openGemini集群由ts-sql、ts-store、ts-meta組成,ts-sql和ts-store可根據業務複雜進行靈活擴展,可支持100+節點的集群規模。

工具鏈

openGemini相容InfluxDB API,因此InfluxDB支持1.x版本的工具鏈可以直接與openGemini對接。openGemini生態圖譜如下圖所示:

結束

感謝openGemini社區所有貢獻者

物聯網、運維監控就選openGemini,openGemini社區邀您一起,共創新、贏未來!

 

點擊關註,第一時間瞭解華為雲新鮮技術~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 今天分享自己在項目中用到的一個小技巧,就是使用 EntityFrameworkCore 時我們在通過代碼去 Update-Database 生成資料庫時如何自動將代碼模型上的註釋和欄位上的註釋攜帶到資料庫中,方便後續在資料庫直接查看各個表和各個欄位的含義。 實現效果如下: 可以看到我們每張表都有明確 ...
  • 當我們在使用MediaElement控制項播放HDR視頻時會遇到顏色發灰、泛黃的情況,難道是因為控制項做的有問題? 其實並不是程式問題,只是我們普通的應用程式工作在8bit色深的環境中,而HDR色深為10bit起步。 HDR視頻色彩空間為BT.2020 10bit色深。 SDR視頻(一般視頻)色彩空間基 ...
  • 大家好,我是痞子衡,是正經搞技術的痞子。今天痞子衡給大家介紹的是恩智浦MCX系列MCU的新品MCXN947。 自 2015 年恩智浦和飛思卡爾合併成新恩智浦之後,關於它們各自的 Arm Cortex-M 內核通用微控制器代表作系列 LPC 和 Kinetis 接下來怎麼發展一直沒有定論(兩個系列都在 ...
  • 文件系統是一種存儲和組織電腦數據的方法,它使得對電腦的訪問和查找變得容易,文件系統使用文件和樹形目錄的抽象邏輯概念代替了硬碟和光碟等物理設備使用數據塊的概念,用戶使用文件系統來保存數據不必關心數據實際保存在硬碟(或者光碟)的地址為多少的數據塊上,只需要記住這個文件所屬目錄和文件名。在寫入新數據之... ...
  • 這是我準備新開的學習記錄系列之一 今天寫一個插件的介紹吧—— Helium —— 視頻懸浮插件 youtube/b站/本地視頻都可以導入 主要功能就是你在看視頻時,要記一些學習筆記,隨著不斷往下寫,視頻會出現被擋住的情況。 這個時候Helium就能幫上大忙!首先點擊右上角三個點點,打開插件市場下載H ...
  • 個人名片: 對人間的熱愛與歌頌,可抵歲月冗長:sun_with_face: Github👨🏻‍💻:念舒_C.ying CSDN主頁✏️:念舒_C.ying 個人博客:earth_asia: :念舒_C.ying Web伺服器也稱為WWW(World Wide Web)伺服器,主要功能是提供網頁 ...
  • 個人名片: 對人間的熱愛與歌頌,可抵歲月冗長:sun_with_face: Github👨🏻‍💻:念舒_C.ying CSDN主頁✏️:念舒_C.ying 個人博客:earth_asia: :念舒_C.ying 1 配置環境 掛載系統ISO,並配置好本地dnf源。(前面的文章講過,這裡就略過. ...
  • TencentOS Tiny AIoT 應用創新大賽是騰訊 TencentOS 團隊聯合恩智浦半導體、安謀科技(Arm China)發起的線上開發者活動,主要面向中小企業嵌入式工程師、廣大嵌入式開發者、物聯網愛好者、創客團隊等,號召廣大開發者能參與到國內開源項目中,通過開源協同,基於 Tencent ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...