InfluxDB和MySQL的讀寫對比測試

来源:http://www.cnblogs.com/MikeZhang/archive/2017/02/12/InfluxDBTest20170212.html
-Advertisement-
Play Games

今天進行了InfluxDB和MySQL的對比測試，這裡記錄下結果，也方便我以後查閱。 操作系統： CentOS6.5_x64InfluxDB版本 ： v1.1.0MySQL版本：v5.1.73CPU ： Intel(R) Core(TM) i5-2320 CPU @ 3.00GHz記憶體 ：12G硬碟 ...


今天進行了InfluxDB和MySQL的對比測試，這裡記錄下結果，也方便我以後查閱。

操作系統： CentOS6.5_x64
InfluxDB版本 ： v1.1.0
MySQL版本：v5.1.73
CPU ： Intel(R) Core(TM) i5-2320 CPU @ 3.00GHz
記憶體 ：12G
硬碟 ：SSD 

一、MySQL讀寫測試

測試準備

初始化SQL語句：

CREATE DATABASE testMysql;
CREATE TABLE `monitorStatus` (
    `system_name` VARCHAR(20) NOT NULL,
    `site_name` VARCHAR(50) NOT NULL,
    `equipment_name` VARCHAR(50) NOT NULL,
    `current_value` DOUBLE NOT NULL,
    `timestamp` BIGINT(20) NULL DEFAULT NULL,
    INDEX `system_name` (`system_name`),
    INDEX `site_name` (`site_name`),
    INDEX `equipment_name` (`equipment_name`),
    INDEX `timestamp` (`timestamp`)
)
ENGINE=InnoDB;

單寫測試代碼（insertTest1.c）：

#include <stdlib.h>  
#include <stdio.h>  
#include <time.h>
#include "mysql/mysql.h"

#define N 100

int main()
{
    MYSQL *conn_ptr;  
    int res;  
    int t,i,j;
    int64_t tstamp = 1486872962;        
    srand(time(NULL));
    t=0;
    conn_ptr = mysql_init(NULL);  
    if (!conn_ptr)
    {  
        printf("mysql_init failed\n");  
        return EXIT_FAILURE;  
    }  
    conn_ptr = mysql_real_connect(conn_ptr,"localhost","root","","testMysql",0,NULL,0);  
    if (conn_ptr)
    {  
        for(i=1;i<= 10000;i++)
        {
            mysql_query(conn_ptr,"begin");
            for(j=0;j<N;j++,t++)
            {
                char query[1024]={0};

                sprintf(query,"insert into monitorStatus values ('sys_%d','s_%d','e_%d','0.%02d','%lld');",
                    //j%10,(t+i)%10,(t+j)%10,(t+i+j)%100,tstamp);
                    j%10,(t+i)%10,(t+j)%10,rand()%100,tstamp);
                //printf("query : %s\n",query);
                res = mysql_query(conn_ptr,query);

                if (!res)
                {   
                    //printf("Inserted %lu rows\n",(unsigned long)mysql_affected_rows(conn_ptr));   
                }
                else
                {   
                    fprintf(stderr, "Insert error %d: %sn",mysql_errno(conn_ptr),mysql_error(conn_ptr));  
                }
                if(j%10 == 0) tstamp+=1;
            }
            mysql_query(conn_ptr,"commit");
            //printf("i=%d\n",i);
        }
    }
    else
    {  
        printf("Connection failed\n");  
    }  
    mysql_close(conn_ptr);  
    return EXIT_SUCCESS;  
}
View Code

可根據情況調整測試代碼中的N參數。

單讀測試代碼（queryTest1.c）：

#include <stdio.h>  
#include <stdlib.h>  
#include "mysql/mysql.h"

int main()
{  
    MYSQL *conn_ptr;  
    MYSQL_RES *res_ptr;  
    MYSQL_ROW sqlrow;  
    MYSQL_FIELD *fd;  
    int res, i, j;  

    conn_ptr = mysql_init(NULL);  
    if (!conn_ptr)
    {  
        return EXIT_FAILURE;  
    }  
    conn_ptr = mysql_real_connect(conn_ptr,"localhost","root","","testMysql", 0, NULL, 0);  
    if (conn_ptr)
    {  
        res = mysql_query(conn_ptr,"select * from `monitorStatus` where system_name='sys_8' and site_name='s_9' and equipment_name='e_6' order by timestamp desc limit 10000;");

        if (res)
        {         
            printf("SELECT error:%s\n",mysql_error(conn_ptr));     
        }
        else
        {        
            res_ptr = mysql_store_result(conn_ptr);             
            if(res_ptr)
            {               
                printf("%lu Rows\n",(unsigned long)mysql_num_rows(res_ptr));   
                j = mysql_num_fields(res_ptr);          
                while((sqlrow = mysql_fetch_row(res_ptr)))  
                {  
                    continue;
                    for(i = 0; i < j; i++)         
                        printf("%s\t", sqlrow[i]);                
                    printf("\n");          
                }              
                if (mysql_errno(conn_ptr))
                {                      
                    fprintf(stderr,"Retrive error:s\n",mysql_error(conn_ptr));               
                }        
            }        
            mysql_free_result(res_ptr);        
        }  
    }
    else
    {  
        printf("Connection failed\n");  
    }  
    mysql_close(conn_ptr);  
    return EXIT_SUCCESS;  
}
View Code

Makefile文件：

all:
    gcc -g insertTest1.c -o insertTest1 -L/usr/lib64/mysql/ -lmysqlclient
    gcc -g queryTest1.c -o queryTest1 -L/usr/lib64/mysql/ -lmysqlclient

clean:
    rm -rf insertTest1
    rm -rf queryTest1

測試數據記錄

磁碟空間占用查詢：

使用du方式（新資料庫，僅為測試）：

du -sh /var/lib/mysql

查詢特定表：

use information_schema;
select concat(round(sum(DATA_LENGTH/1024/1024), 2), 'MB') as data from TABLES where table_schema='testMysql' and table_name='monitorStatus';

測試結果：

  • 100萬條數據

    [root@localhost mysqlTest]# time ./insertTest1

real    1m20.645s
user    0m8.238s
sys    0m5.931s

[root@localhost mysqlTest]# time ./queryTest1
10000 Rows

real    0m0.269s
user    0m0.006s
sys    0m0.002s

     

    原始數據 : 28.6M
    du方式 : 279MB
    sql查詢方式： 57.59MB
    寫入速度： 12398 / s
    讀取速度： 37174 / s

  • 1000萬條數據 
    root@localhost mysqlTest]# time ./insertTest1

real    7m15.003s
user    0m48.187s
sys    0m33.885s


[root@localhost mysqlTest]# time ./queryTest1
10000 Rows

real    0m6.592s
user    0m0.005s
sys    0m0.002s

     

    原始數據 : 286M
    du方式 : 2.4G
    sql查詢方式： 572MB
    寫入速度： 22988 / s
    讀取速度： 1516 / s

  • 3000萬條數據 
    [root@localhost mysqlTest]# time ./insertTest1

real    20m38.235s
user    2m21.459s
sys    1m40.329s
[root@localhost mysqlTest]# time ./queryTest1
10000 Rows

real    0m4.421s
user    0m0.004s
sys    0m0.004s

     

    原始數據 : 858M
    du方式 : 7.1G
    sql查詢方式： 1714MB
    寫入速度： 24228 / s
    讀取速度： 2261 / s

二、InfluxDB讀寫測試

測試準備

需要將InfluxDB的源碼放入 go/src/github.com/influxdata 目錄

單寫測試代碼（write1.go）：

package main

import (
    "log"
    "time"
    "fmt"
    "math/rand"
    "github.com/influxdata/influxdb/client/v2"
)

const (
    MyDB = "testInfluxdb"
    username = "root"
    password = ""
)

func queryDB(clnt client.Client, cmd string) (res []client.Result, err error) {
    q := client.Query{
        Command:  cmd,
        Database: MyDB,
    }
    if response, err := clnt.Query(q); err == nil {
        if response.Error() != nil {
            return res, response.Error()
        }
        res = response.Results
    } else {
        return res, err
    }
    return res, nil
}

func writePoints(clnt client.Client,num int) {
    sampleSize := 1 * 10000
    rand.Seed(42)
    t := num
    bp, _ := client.NewBatchPoints(client.BatchPointsConfig{
        Database:  MyDB,
        Precision: "us",
    })

    for i := 0; i < sampleSize; i++ {
        t += 1
        tags := map[string]string{
            "system_name": fmt.Sprintf("sys_%d",i%10),
            "site_name":fmt.Sprintf("s_%d", (t+i) % 10),
            "equipment_name":fmt.Sprintf("e_%d",t % 10),
        }
        fields := map[string]interface{}{
            "value" : fmt.Sprintf("%d",rand.Int()),
        }
        pt, err := client.NewPoint("monitorStatus", tags, fields,time.Now())
        if err != nil {
            log.Fatalln("Error: ", err)
        }
        bp.AddPoint(pt)
    }

    err := clnt.Write(bp)
    if err != nil {
        log.Fatal(err)
    }

    //fmt.Printf("%d task done\n",num)
}

func main() {
    // Make client
    c, err := client.NewHTTPClient(client.HTTPConfig{
        Addr: "http://localhost:8086",
        Username: username,
        Password: password,
    })

    if err != nil {
        log.Fatalln("Error: ", err)
    }
    _, err = queryDB(c, fmt.Sprintf("CREATE DATABASE %s", MyDB))
    if err != nil {
        log.Fatal(err)
    }

    i := 1
    for i <= 10000 {
        defer writePoints(c,i)
        //fmt.Printf("i=%d\n",i)
        i += 1
    }
    //fmt.Printf("task done : i=%d \n",i)

}
View Code

單讀測試代碼（query1.go）：

package main

import (
    "log"
    //"time"
    "fmt"
    //"math/rand"
    "github.com/influxdata/influxdb/client/v2"
)

const (
    MyDB = "testInfluxdb"
    username = "root"
    password = ""
)

func queryDB(clnt client.Client, cmd string) (res []client.Result, err error) {
    q := client.Query{
        Command:  cmd,
        Database: MyDB,
    }
    if response, err := clnt.Query(q); err == nil {
        if response.Error() != nil {
            return res, response.Error()
        }
        res = response.Results
    } else {
        return res, err
    }
    return res, nil
}

func main() {
    // Make client
    c, err := client.NewHTTPClient(client.HTTPConfig{
        Addr: "http://localhost:8086",
        Username: username,
        Password: password,
    })

    if err != nil {
        log.Fatalln("Error: ", err)
    }
    q := fmt.Sprintf("select * from monitorStatus where system_name='sys_5' and site_name='s_1' and equipment_name='e_6' order by time desc limit 10000 ;")
    res, err2 := queryDB(c, q)
    if err2 != nil {
        log.Fatal(err)
    }
    count := len(res[0].Series[0].Values)
    log.Printf("Found a total of %v records\n", count)

}
View Code

測試結果記錄

查看整體磁碟空間占用：

du -sh /var/lib/influxdb/

查看最終磁碟空間占用：

du -sh /var/lib/influxdb/data/testInfluxdb
  • 100萬條數據 
    [root@localhost goTest2]# time ./write1
real    0m14.594s
user    0m11.475s
sys    0m0.251s

[root@localhost goTest2]# time ./query1
2017/02/12 20:00:24 Found a total of 10000 records

real    0m0.222s
user    0m0.052s
sys    0m0.009s

     

    原始數據 : 28.6M
    整體磁碟占用：27M
    最終磁碟占用：21M
    寫入速度： 68521 / s
    讀取速度： 45045 / s

  • 1000萬條數據

    [root@localhost goTest2]# time ./write1

real    2m22.520s
user    1m51.704s
sys    0m2.532s

[root@localhost goTest2]# time ./query1
2017/02/12 20:05:16 Found a total of 10000 records

real    0m0.221s
user    0m0.050s
sys    0m0.003s

    原始數據 : 286M
    整體磁碟占用：214M
    最終磁碟占用：189M 寫入速度： 70165 / s
    讀取速度： 45249 / s

  • 3000萬條數據 
    [root@localhost goTest2]# time ./write1

real    7m19.121s
user    5m49.738s
sys    0m8.189s
[root@localhost goTest2]# ls
query1  query1.go  write1  write1.go
[root@localhost goTest2]# time ./query1
2017/02/12 20:49:40 Found a total of 10000 records

real    0m0.233s
user    0m0.050s
sys    0m0.012s

    原始數據 : 858M
    整體磁碟占用：623M
    最終磁碟占用：602M
    寫入速度： 68318 / s
    讀取速度： 42918 / s

三、測試結果分析

整體磁碟占用情況對比：

最終磁碟占用情況對比：

寫入速度對比：

讀取速度對比：

結論：

相比MySQL來說，InfluxDB在磁碟占用和數據讀取方面很占優勢，而且隨著數據規模的擴大，查詢速度沒有明顯的下降。
針對時序數據來說，InfluxDB有明顯的優勢。

好，就這些了，希望對你有幫助。

本文github地址：

https://github.com/mike-zhang/mikeBlogEssays/blob/master/2017/20170212_InfluxDB和MySQL的讀寫對比測試.md

歡迎補充 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • iOS開發tips-UITableView、UICollectionView行高/尺寸自適應
    在iOS 8中，蘋果引入了UITableView的一項新功能--Self Sizing Cells，對於不少開發者來說這是新SDK中一項非常有用的新功能。在iOS 8之前，如果想在表視圖中展示可變高度的動態內容時，你需要手動計算行高，而Self Sizing Cells為展示動態內容提供了一個解決方... ...
  • MAC ox下配置mysql
    下載MySQL安裝包：http://dev.mysql.com/downloads/mysql/ 如圖，選擇dmg包，下載完成，雙擊後打開對應的pkg包，一直點擊下一步，直到安裝成功 啟動和停止MySQL服務 啟動MySQL服務 sudo /usr/local/mysql/support-files ...
  • Oracle游標介紹
    Oracle游標使用詳解： 游標： 用來查詢資料庫，獲取記錄集合（結果集）的指針，我們所說的游標通常是指顯式游標，因此從現在起沒有特別指明的情況，我們所說的游標都是指顯式游標。要在程式中使用游標，必須首先聲明游標分類： 靜態游標：分為顯式游標和隱式游標。 REF游標：是一種引用類型，類似於指針。 顯 ...
  • 關於DB2死鎖處理
    昨天在修改欄位類型的時候引起了死鎖，我一般會使用REORG命令處理，在控制中心下 只需要執行 REORG TABLE TABLENAME 命令就可以， 但是在 RazorSQL 下執行此命令會報缺失字元，這是我們在前面加上一個過程 CALL SYSPROC.ADMIN_CMD('REORG TABL ...
  • sql語句中去不掉的空格原來是回車換行和製表符
    update 表名 set 欄位 = replace(欄位,' ','') //去空格update 表名set 欄位 = replace(欄位,char(10),'') //去LFupdate 表名set 欄位 = replace(欄位,char(13),'') //去CRupdate 表名set ...
  • sql server中的日期函數
    DATEADD 在向指定日期加上一段時間的基礎上，返回新的 datetime 值。語法 DATEADD ( datepart , number, date ) 參數 (1) datepart：是規定應嚮日期的哪一部分返回新值的參數。 下表列出了 Microsoft® SQL Server™ 識別的日 ...
  • 如何遠程連接SQL Server資料庫
    一.設置客戶端網路實用工具 點擊“開始”－“程式”，在“Microsoft SQL Server”菜單中選擇“客戶端網路實用工具”。 在“別名”選項中點擊“添加”。 在“伺服器別名”中，填入您網站功能變數名稱，在“網路庫”區域中點擊“TCP/IP”,在“連接參數”區域取消“動態決定埠”，指定“埠號”為2 ...
  • 通過分析等待類型解決系統產生問題
    等待分類與解決基本流程： 步驟1.定位問題 系統等待往往能直觀的反映出系統問題。通過一些常見的等待類型，同樣可以找到系統瓶頸，結合性能計數器往往定位更準確。 步驟1.定位問題 如：系統中存在大量IO類等待，那麼可能表示你的磁碟或記憶體是語句運行緩慢的原因，也是系統的瓶頸所在。 常見的等待類型 CXPA ...
一周排行
    -Advertisement-
    Play Games
  • WPF 已知問題 監聽 WMI 事件導致觸摸失效
    示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後，項目結構如下所示： MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread]特性
    [STAThread] 特性用於需要與 COM 組件交互的應用程式，尤其是依賴單線程模型（如 Windows Forms 應用程式）的組件。在 STA 模式下，線程擁有自己的消息迴圈，這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • UWP WinUI3 傳入 AddHandler 的 RoutedEventHandler 類型與事件所需不匹配將拋出參數異常
    在WinForm中使用全局異常捕獲處理 在WinForm應用程式中，全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理，可以有效地捕獲並處理未預見的異常，從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • .NET 多版本 WinForm 開源控制項庫 SunnyUI
    前言 給大家推薦一款開源的 Winform 控制項庫，可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫，同時也提供了工具類庫、擴展 ...
  • .net core8 使用Swagger（附當前源碼）
    說明 該文章是屬於OverallAuth2.0系列文章，每周更新一篇該系列文章（從0到1完成系統開發）。 該系統文章，我會儘量說的非常詳細，做到不管新手、老手都能看懂。 說明：OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友，請關註我吧(*^▽^*) ...
  • WPF 什麼時候 VisualTreeHelper.GetDescendantBounds 將返回無窮大
    一、下載安裝 1.下載git 必須先下載並安裝git，再TortoiseGit下載安裝 git安裝參考教程：https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit，Git客戶端，32/6 ...
  • C# 開源教程帶你輕鬆掌握數據結構與演算法
    前言 在項目開發過程中，理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼，還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程：Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 第22篇 生成proto文件bat腳本
    1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 記一次 .NET某上位機視覺程式 卡死分析
    一：背景 1. 講故事 前段時間有位朋友找到我，說他的窗體程式在客戶這邊出現了卡死，讓我幫忙看下怎麼回事？dump也生成了，既然有dump了那就上 windbg 分析吧。 二：WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死，入口門檻很低，後續往下分析就不一定了，不管怎麼說先用 !clrsta ...
  • 醫學DICOM文件與PACS系統進行數據傳輸
    前言 人工智慧時代，人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API，工具不僅易於集成，還具備高效處理能力。 本文將介紹一款如何利用這些API，為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...
所有分類