在我們很多應用中會遇到有一種基於一系列時間的數據需要處理,通過時間的順序可以將這些數據點連成線,再通過數據統計後可以做成多緯度的報表,也可通過機器學習來實現數據的預測告警。而時序資料庫就是用於存放管理這種有著時間順序數據的,時序資料庫一般都支持時序數據的快速寫入、持久化、多緯度的聚合查詢等基本功能。 ...
在我們很多應用中會遇到有一種基於一系列時間的數據需要處理,通過時間的順序可以將這些數據點連成線,再通過數據統計後可以做成多緯度的報表,也可通過機器學習來實現數據的預測告警。而時序資料庫就是用於存放管理這種有著時間順序數據的,時序資料庫一般都支持時序數據的快速寫入、持久化、多緯度的聚合查詢等基本功能。
InfluxDB簡介
InfluxDB是一個基於時間序列數據而開發的高性能數據存儲平臺,它可以對時序數據進行高吞吐量的攝取、壓縮和實時查詢。InfluxDB是用Go語言編寫的,它會編譯成一個沒有外部依賴的二進位文件來運行,支持Java、JavaScript、c#等語言。InfluxDB支持類似SQL的查詢語言,同時還支持正則表達式、算術表達式和時間序列特定函數以加速數據的處理效率。如下是跟InfluxDB相關的網址:
InfluxDB官網:https://www.influxdata.com/
InfluxDB官方文檔:https://docs.influxdata.com/influxdb/
InfluxDB官方下載:https://portal.influxdata.com/downloads
InfluxDB客戶端工具下載:https://docs.influxdata.com/influxdb/v1.6/tools/api_client_libraries/
InfluxDB操作
這裡將會簡單的介紹下如何操作InfluxDB,通過這些操作基本也能滿足工作上的需要了。操作InfluxDB可以通過命令行工具,也可藉助開源的客戶端工具,我這裡使用的是一款名叫“InfluxDBStudio”基於C#編寫的開源工具。常用操作的代碼如下:
1 #顯示用戶 2 show users 3 4 #創建用戶 5 create user "username" with password 'password' 6 7 #創建管理員許可權用戶 8 create user "username" with password 'password' with all privileges 9 10 #刪除用戶 11 drop user "username" 12 13 #創建資料庫 14 create database "db_name" 15 16 #顯示所有的資料庫 17 show databases 18 19 #刪除資料庫 20 drop database "db_name" 21 22 #使用資料庫 23 use db_name 24 25 #顯示該資料庫中所有的表 26 show measurements 27 28 #創建表,直接在插入數據的時候指定表名,其中test為表名 29 insert test,host=127.0.0.1,monitor_name=test count=1 30 31 #刪除表 32 drop measurement "measurement_name" 33 34 #查詢數據 35 select * from test order by time desc 36 37 #查看當前資料庫的數據保存策略(Retention Policies) 38 show retention policies on "db_name" 39 40 #創建新的數據保存策略 41 #rp_name:策略名 42 #db_name:具體的資料庫名; 43 #3w:保存3周,3周之前的數據將被刪除,influxdb具有各種事件參數,比如:h(小時),d(天),w(星期) 44 #replication 1:副本個數,一般為1就可以了 45 #default:設置為預設策略 46 create retention policy "rp_name" on "db_name" duration 3w replication 1 default 47 48 #修改數據保存策略 49 alter retention policy "rp_name" on "db_name" duration 30d default 50 51 #刪除數據保存策略 52 drop retention policy "rp_name" 53 54 #查看資料庫的連續查詢(Continous Queries) 55 show continuous queries 56 57 #創建新的連續查詢(Continous Queries) 58 #cq_name:連續查詢名字 59 #db_name:資料庫名字 60 #sum(count):計算總和 61 #table_name:當前表名 62 #new_table_name:存新的數據的表名 63 #30m:時間間隔為30分鐘 64 create continous query cq_name on db_name begin select sum(count) into new_table_name from table_name group by time(30m) end 65 66 #刪除連續查詢 67 drop continous query cp_name on db_name 68
實現
通過上述的介紹與操作我們已基本熟悉了InfluxDB資料庫,那麼接下來咱們就一起來看看在ASP.NET Core2程式中如何來讀寫操作InfluxDB資料庫吧。而這裡我們藉助一個名為“InfluxData.Net”的第三方庫來與InfluxDB交互通訊,基於“InfluxData.Net”庫可以使得我們很簡單的完成資料庫的讀寫操作。在ASP.NET Core2項目中通過Nuget管理器引用“InfluxData.Net”類庫後,敲入實現代碼如下:
1 using System; 2 using System.Collections.Generic; 3 using System.Linq; 4 using System.Threading.Tasks; 5 using InfluxData.Net.Common.Enums; 6 using InfluxData.Net.InfluxDb; 7 using InfluxData.Net.InfluxDb.Models; 8 using Microsoft.AspNetCore.Mvc; 9 10 namespace WebApplication1.Controllers 11 { 12 public class InfoController : Controller 13 { 14 //聲明InfluxDbClient 15 private InfluxDbClient clientDb; 16 17 public InfoController() 18 { 19 //連接InfluxDb的API地址、賬號、密碼 20 var infuxUrl = "http://localhost:8086/"; 21 var infuxUser = "admin"; 22 var infuxPwd = "admin"; 23 24 //創建InfluxDbClient實例 25 clientDb = new InfluxDbClient(infuxUrl, infuxUser, infuxPwd, InfluxDbVersion.Latest); 26 } 27 28 29 /// <summary> 30 /// 從InfluxDB中讀取數據 31 /// </summary> 32 public async void GetData() 33 { 34 //傳入查詢命令,支持多條 35 var queries = new[] 36 { 37 " SELECT * FROM Reading WHERE time> now() - 24h " 38 }; 39 var dbName = "code-hub"; 40 41 //從指定庫中查詢數據 42 var response = await clientDb.Client.QueryAsync(queries, dbName); 43 //得到Serie集合對象(返回執行多個查詢的結果) 44 var series = response.ToList(); 45 //取出第一條命令的查詢結果,是一個集合 46 var list = series[0].Values; 47 //從集合中取出第一條數據 48 var info_model = list.FirstOrDefault(); 49 } 50 51 52 53 /// <summary> 54 /// 往InfluxDB中寫入數據 55 /// </summary> 56 public async void AddData() 57 { 58 //基於InfluxData.Net.InfluxDb.Models.Point實體準備數據 59 var point_model = new Point() 60 { 61 Name = "Reading",//表名 62 Tags = new Dictionary<string, object>() 63 { 64 { "Id", 158} 65 }, 66 Fields = new Dictionary<string, object>() 67 { 68 { "Val", "webInfo" } 69 }, 70 Timestamp = DateTime.UtcNow 71 }; 72 var dbName = "code-hub"; 73 74 //從指定庫中寫入數據,支持傳入多個對象的集合 75 var response = await clientDb.Client.WriteAsync(point_model, dbName); 76 } 77 } 78 }
總結
1、InfluxDB是個專業的時序資料庫,通過時序庫可幫助我們更高效的處理應用中的時序數據。
2、使用InfluxDB庫時需先瞭解該庫的一些特色功能,如數據保存策略、連續查詢等。
3、通過“InfluxData.Net”類庫可快速簡便的幫助我們在ASP.NET Core2程式中實現對InfluxDB的讀寫操作。
聲明
本文為作者原創,轉載請備註出處與保留原文地址,謝謝。如文章能給您帶來幫助,請點下推薦或關註,感謝您的支持!