時序資料庫及應用場景簡介

来源:https://www.cnblogs.com/aiandbigdata/archive/2018/12/02/10052335.html
-Advertisement-
Play Games

時間序列資料庫簡稱時序資料庫(Time Series Database),用於處理帶時間標簽(按照時間的順序變化,即時間序列化)的數據,帶時間標簽的數據也稱為時間序列數據。 時序數據的幾個特點 1. 基本上都是插入,沒有更新的需求。 2. 數據基本上都有時間屬性,隨著時間的推移不斷產生新的數據。 3 ...


時間序列資料庫簡稱時序資料庫(Time Series Database),用於處理帶時間標簽(按照時間的順序變化,即時間序列化)的數據,帶時間標簽的數據也稱為時間序列數據。

時序數據的幾個特點

1. 基本上都是插入,沒有更新的需求。

2. 數據基本上都有時間屬性,隨著時間的推移不斷產生新的數據。

3. 數據量大,每秒鐘需要寫入千萬、上億條數據

業務方常見需求

1. 獲取最新狀態,查詢最近的數據(例如感測器最新的狀態)

2. 展示區間統計,指定時間範圍,查詢統計信息,例如平均值,最大值,最小值,計數等。。。

3. 獲取異常數據,根據指定條件,篩選異常數據

常見業務場景

監控軟體系統: 虛擬機、容器、服務、應用

監控物理系統: 水文監控、製造業工廠中的設備監控、國家安全相關的數據監控、通訊監控、感測器數據、血糖儀、血壓變化、心率等

資產跟蹤應用: 汽車、卡車、物理容器、運貨托盤

金融交易系統: 傳統證券、新興的加密數字貨幣

事件應用程式: 跟蹤用戶、客戶的交互數據

商業智能工具: 跟蹤關鍵指標和業務的總體健康情況

在互聯網行業中,也有著非常多的時序數據,例如用戶訪問網站的行為軌跡,應用程式產生的日誌數據等等。

一些基本概念(不同的時序資料庫稱呼略有不同)

Metric:  度量,相當於關係型資料庫中的 table。

Data point:  數據點,相當於關係型資料庫中的 row。

Timestamp:時間戳,代表數據點產生的時間。

Field:  度量下的不同欄位。比如位置這個度量具有經度和緯度兩個 field。一般情況下存放的是隨時間戳而變化的數據。

Tag:  標簽。一般存放的是不隨時間戳變化的信息。timestamp 加上所有的 tags 可以視為 table 的 primary key。

例如採集有關風的數據,度量為 Wind,每條數據都有時間戳timestamp,兩個欄位 field:direction(風向)、speed(風速),兩個tag:sensor(感測器編號)、city(城市)。第一行和第三行,存放的都是 sensor 編號為86F-2RT8的設備,城市是深圳。隨著時間的變化,風向和風速發生了改變,風向從56.4變為45.6,風速從2.9變為3.6。

需要解決的幾個問題

時序數據的寫入:如何支持每秒鐘成千上億條數據的寫入。

時序數據的讀取:如何支持在秒級對上億條數據的分組聚合運算。

成本敏感:海量數據存儲帶來的成本問題。如何以更低成本存儲數據,將成為時序資料庫需要解決的重中之重。

常見時序資料庫

時序資料庫出現的時間較晚,目前較成熟的時序資料庫都僅有2、3年的歷史。

InfluxDB(單機版免費,集群版收費)最成熟,Kairosdb(底層使用Cassandra),OpenTsdb(底層使用HBase),beringei(Facebook開源),TimeScaleDB(底層基於PostgreSQL),TSDB(百度開源),HiTSDB(阿裡開源,底層是PostgreSQL)。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一. 聚合框架 聚合框架是MongoDB的高級查詢語言,它允許我們通過轉換和合併多個文檔中的數據來生成新的單個文檔中不存在的信息。 聚合管道操作主要包含下麵幾個部分: $lookup 在本篇幅中,我們聚焦$lookup的使用。 二. $lookup的功能及語法 1. 主要功能 是將每個輸入待處理的文 ...
  • 1. 說明 本文基於:spark-2.4.0-hadoop2.7-高可用(HA)安裝部署 2. 啟動Spark Shell 在任意一臺有spark的機器上執行 註意: 如果啟動spark shell時沒有指定master地址,但是也可以正常啟動spark shell和執行spark shell中的程 ...
  • 1. 主機規劃 主機名稱 IP地址 操作系統 部署軟體 運行進程 備註 mini01 172.16.1.11【內網】 10.0.0.11 【外網】 CentOS 7.5 Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、kafka_2.11-2.0.0、sp ...
  • 準備工作 150G及以上的硬碟空間(因為要搭建3個系統組成的集群),cpu儘量i7-7xxx標壓以上,記憶體16G及以上 自行搜索,下載,安裝VMWare 準備CentOS6.8的鏡像文件 註意:安裝虛擬機前必須開啟BIOS虛擬化支持 安裝CentOS 右鍵剛剛創建好虛擬機,在菜單中選擇"設置"選項 ...
  • 介紹 索引用於加快數據訪問的速度。把電腦的磁碟比作一本字典,索引就是欄位的目錄,當我們想快速查到某個詞語的時候只需要通過查詢目錄找到詞語所在的頁數,然後直接打開某頁就可以。MySQL最常用的索引是B+樹索引,為什麼使用B+作為MySQL的索引,這是許多面試官必問的問題。 為什麼B+樹 硬體相關知識 ...
  • 一.概述 Redis伺服器是一個事件驅動程式,伺服器需要處理兩類事件:1文件事件,2時間事件。文件事件是關於客戶端與伺服器之間的通信操作。時間事件是關於伺服器內部的一些定時操作。本篇還是參照"Redis設計與實現"書,簡要瞭解下Redis事件。 1. 文件事件 文件事件(file event)是服務 ...
  • 數據備份恢覆在資料庫管理中至關重要,今天,總結一下資料庫備份與恢復的方案,需要註意的方面和實際操作!、 ...
  • 大數據大數據,個個都在喊 但究竟什麼是大數據開發,如何成為一個大數據開發工程師? 我還是要推薦下我自己創建的大數據資料分享群142973723,這是大數據學習交流的地方,不管你是小白還是大牛,小編都歡迎,不定期分享乾貨,包括我整理的一份適合零基礎學習大數據資料和入門教程。 大數據通用處理平臺 1. ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...