時序資料庫及應用場景簡介

来源:https://www.cnblogs.com/aiandbigdata/archive/2018/12/02/10052335.html
-Advertisement-
Play Games

時間序列資料庫簡稱時序資料庫(Time Series Database),用於處理帶時間標簽(按照時間的順序變化,即時間序列化)的數據,帶時間標簽的數據也稱為時間序列數據。 時序數據的幾個特點 1. 基本上都是插入,沒有更新的需求。 2. 數據基本上都有時間屬性,隨著時間的推移不斷產生新的數據。 3 ...


時間序列資料庫簡稱時序資料庫(Time Series Database),用於處理帶時間標簽(按照時間的順序變化,即時間序列化)的數據,帶時間標簽的數據也稱為時間序列數據。

時序數據的幾個特點

1. 基本上都是插入,沒有更新的需求。

2. 數據基本上都有時間屬性,隨著時間的推移不斷產生新的數據。

3. 數據量大,每秒鐘需要寫入千萬、上億條數據

業務方常見需求

1. 獲取最新狀態,查詢最近的數據(例如感測器最新的狀態)

2. 展示區間統計,指定時間範圍,查詢統計信息,例如平均值,最大值,最小值,計數等。。。

3. 獲取異常數據,根據指定條件,篩選異常數據

常見業務場景

監控軟體系統: 虛擬機、容器、服務、應用

監控物理系統: 水文監控、製造業工廠中的設備監控、國家安全相關的數據監控、通訊監控、感測器數據、血糖儀、血壓變化、心率等

資產跟蹤應用: 汽車、卡車、物理容器、運貨托盤

金融交易系統: 傳統證券、新興的加密數字貨幣

事件應用程式: 跟蹤用戶、客戶的交互數據

商業智能工具: 跟蹤關鍵指標和業務的總體健康情況

在互聯網行業中,也有著非常多的時序數據,例如用戶訪問網站的行為軌跡,應用程式產生的日誌數據等等。

一些基本概念(不同的時序資料庫稱呼略有不同)

Metric:  度量,相當於關係型資料庫中的 table。

Data point:  數據點,相當於關係型資料庫中的 row。

Timestamp:時間戳,代表數據點產生的時間。

Field:  度量下的不同欄位。比如位置這個度量具有經度和緯度兩個 field。一般情況下存放的是隨時間戳而變化的數據。

Tag:  標簽。一般存放的是不隨時間戳變化的信息。timestamp 加上所有的 tags 可以視為 table 的 primary key。

例如採集有關風的數據,度量為 Wind,每條數據都有時間戳timestamp,兩個欄位 field:direction(風向)、speed(風速),兩個tag:sensor(感測器編號)、city(城市)。第一行和第三行,存放的都是 sensor 編號為86F-2RT8的設備,城市是深圳。隨著時間的變化,風向和風速發生了改變,風向從56.4變為45.6,風速從2.9變為3.6。

需要解決的幾個問題

時序數據的寫入:如何支持每秒鐘成千上億條數據的寫入。

時序數據的讀取:如何支持在秒級對上億條數據的分組聚合運算。

成本敏感:海量數據存儲帶來的成本問題。如何以更低成本存儲數據,將成為時序資料庫需要解決的重中之重。

常見時序資料庫

時序資料庫出現的時間較晚,目前較成熟的時序資料庫都僅有2、3年的歷史。

InfluxDB(單機版免費,集群版收費)最成熟,Kairosdb(底層使用Cassandra),OpenTsdb(底層使用HBase),beringei(Facebook開源),TimeScaleDB(底層基於PostgreSQL),TSDB(百度開源),HiTSDB(阿裡開源,底層是PostgreSQL)。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一. 聚合框架 聚合框架是MongoDB的高級查詢語言,它允許我們通過轉換和合併多個文檔中的數據來生成新的單個文檔中不存在的信息。 聚合管道操作主要包含下麵幾個部分: $lookup 在本篇幅中,我們聚焦$lookup的使用。 二. $lookup的功能及語法 1. 主要功能 是將每個輸入待處理的文 ...
  • 1. 說明 本文基於:spark-2.4.0-hadoop2.7-高可用(HA)安裝部署 2. 啟動Spark Shell 在任意一臺有spark的機器上執行 註意: 如果啟動spark shell時沒有指定master地址,但是也可以正常啟動spark shell和執行spark shell中的程 ...
  • 1. 主機規劃 主機名稱 IP地址 操作系統 部署軟體 運行進程 備註 mini01 172.16.1.11【內網】 10.0.0.11 【外網】 CentOS 7.5 Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、kafka_2.11-2.0.0、sp ...
  • 準備工作 150G及以上的硬碟空間(因為要搭建3個系統組成的集群),cpu儘量i7-7xxx標壓以上,記憶體16G及以上 自行搜索,下載,安裝VMWare 準備CentOS6.8的鏡像文件 註意:安裝虛擬機前必須開啟BIOS虛擬化支持 安裝CentOS 右鍵剛剛創建好虛擬機,在菜單中選擇"設置"選項 ...
  • 介紹 索引用於加快數據訪問的速度。把電腦的磁碟比作一本字典,索引就是欄位的目錄,當我們想快速查到某個詞語的時候只需要通過查詢目錄找到詞語所在的頁數,然後直接打開某頁就可以。MySQL最常用的索引是B+樹索引,為什麼使用B+作為MySQL的索引,這是許多面試官必問的問題。 為什麼B+樹 硬體相關知識 ...
  • 一.概述 Redis伺服器是一個事件驅動程式,伺服器需要處理兩類事件:1文件事件,2時間事件。文件事件是關於客戶端與伺服器之間的通信操作。時間事件是關於伺服器內部的一些定時操作。本篇還是參照"Redis設計與實現"書,簡要瞭解下Redis事件。 1. 文件事件 文件事件(file event)是服務 ...
  • 數據備份恢覆在資料庫管理中至關重要,今天,總結一下資料庫備份與恢復的方案,需要註意的方面和實際操作!、 ...
  • 大數據大數據,個個都在喊 但究竟什麼是大數據開發,如何成為一個大數據開發工程師? 我還是要推薦下我自己創建的大數據資料分享群142973723,這是大數據學習交流的地方,不管你是小白還是大牛,小編都歡迎,不定期分享乾貨,包括我整理的一份適合零基礎學習大數據資料和入門教程。 大數據通用處理平臺 1. ...
一周排行
    -Advertisement-
    Play Games
  • 前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器,其界面簡潔大方,操作體驗流暢。該播放器支持多種音頻格式(如 MP4、WMA、OGG、FLAC 等),並具備標記、實時歌詞顯示等功能。 另外,還支持換膚及多語言(中英文)切換。核心音頻處理採用 FFmpeg 組件,獲得了廣泛認可,目前 Git ...
  • OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統,完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面,查看已創建應用的Client ID和Clien ...
  • 解決了這個問題:《winForm下,fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自:https://www.fcnsoft.com/Home/Sho ...
  • 國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面,接收裸 Win 32 的 WM_Pointer 消息,從消息裡面獲取觸摸點信息,使用觸摸點 ...
  • 前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能,還集成了高性能的輕量級 POS 解決方案,確保頁面載入速度極快,提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI: ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的,因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 問題 問題是這樣的:第三方的webapi,需要先調用登陸介面獲取Cookie,訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面,返回的Headers中沒有找到Cookie信息。 分析 首先,使用Postman測試該登陸介面,正常返回Cookie信息,說明是HttpCli ...
  • 國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低,主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上,.NET曾因微軟的閉源策略發展受限,儘管後來推出了跨平臺的.NET ...
  • 在WPF開發應用中,動畫不僅可以引起用戶的註意與興趣,而且還使軟體更加便於使用。前面幾篇文章講解了畫筆(Brush),形狀(Shape),幾何圖形(Geometry),變換(Transform)等相關內容,今天繼續講解動畫相關內容和知識點,僅供學習分享使用,如有不足之處,還請指正。 ...
  • 什麼是委托? 委托可以說是把一個方法代入另一個方法執行,相當於指向函數的指針;事件就相當於保存委托的數組; 1.實例化委托的方式: 方式1:通過new創建實例: public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...