C++ MySQL資料庫連接池 新手學了C++多線程,看了些資料練手寫了C++資料庫連接池小項目,自己的源碼地址 關鍵技術點 MySQL資料庫編程、單例模式、queue隊列容器、C++11多線程編程、線程互斥、線程同步通信和 unique_lock、基於CAS的原子整形、智能指針shared_ptr ...
C++ MySQL資料庫連接池
新手學了C++多線程,看了些資料練手寫了C++資料庫連接池小項目,自己的源碼地址
關鍵技術點
MySQL資料庫編程、單例模式、queue隊列容器、C++11多線程編程、線程互斥、線程同步通信和
unique_lock、基於CAS的原子整形、智能指針shared_ptr、lambda表達式、生產者-消費者線程模型
連接池項目
為了提高MySQL資料庫(基於C/S設計)的訪問瓶頸,除了在伺服器端增加緩存伺服器緩存常用的數據之外(例如redis),還可以增加連接池,來提高MySQL Server的訪問效率,在高併發情況下,大量的TCP三次握手、MySQL Server連接認證、MySQL Server關閉連接回收資源和TCP四次揮手所耗費的性能時間也是很明顯的,增加連接池就是為了減少這一部分的性能損耗。
在市場上比較流行的連接池包括阿裡的druid,c3p0以及apache dbcp連接池,它們對於短時間內大量的資料庫增刪改查操作性能的提升是很明顯的,但是它們有一個共同點就是,全部由Java實現的。
那麼本項目就是為了在C/C++項目中,提供MySQL Server的訪問效率,實現基於C++代碼的資料庫連接池模塊。
連接池功能點介紹
連接池一般包含了資料庫連接所用的ip地址、port埠號、用戶名和密碼以及其它的性能參數,例如初始連接量,最大連接量,最大空閑時間、連接超時時間等,該項目是基於C++語言實現的連接池,主要也是實現以上幾個所有連接池都支持的通用基礎功能。
-
初始連接量(initSize):表示連接池事先會和MySQL Server創建initSize個數的connection連接,當應用發起MySQL訪問時,不用再創建和MySQL Server新的連接,直接從連接池中獲取一個可用的連接就可以,使用完成後,並不去釋放connection,而是把當前connection再歸還到連接池當中。
-
最大連接量(maxSize):當併發訪問MySQL Server的請求增多時,初始連接量已經不夠使用了,此時會根據新的請求數量去創建更多的連接給應用去使用,但是新創建的連接數量上限是maxSize,不能無限制的創建連接,因為每一個連接都會占用一個socket資源,一般連接池和伺服器程式是部署在一臺主機上的,如果連接池占用過多的socket資源,那麼伺服器就不能接收太多的客戶端請求了。當這些連接使用完成後,再次歸還到連接池當中來維護。
-
最大空閑時間(maxIdleTime):當訪問MySQL的併發請求多了以後,連接池裡面的連接數量會動態增加,上限是maxSize個,當這些連接用完再次歸還到連接池當中。如果在指定的maxIdleTime裡面,這些新增加的連接都沒有被再次使用過,那麼新增加的這些連接資源就要被回收掉,只需要保持初始連接量initSize個連接就可以了。
-
連接超時時間(connectionTimeout):當MySQL的併發請求量過大,連接池中的連接數量已經到達maxSize了,而此時沒有空閑的連接可供使用,那麼此時應用從連接池獲取連接無法成功,它通過阻塞的方式獲取連接的時間如果超connectionTimeout時間,那麼獲取連接失敗,無法訪問資料庫。
實現的邏輯圖片
數據表的結構
文章內容不會將MySQL的安裝,基於你已經下載了mysql server 8.0 ,我們建立一個mysql資料庫的數據表來演示後面如何用C++連接數據表,並且寫SQL.
先進入mysql,輸入密碼
mysql -u root -p
創建一個資料庫名叫chat,同時創建數據表
CREATE DATABASE chat;
use chat;
CREATE TABLE user (
id INT(11) NOT NULL AUTO_INCREMENT,
name VARCHAR(50) NOT NULL,
age INT(11) NOT NULL,
sex ENUM('male', 'female') NOT NULL,
PRIMARY KEY (id)
);
如果輸出OK就代表創建user好了,我們來看看數據表
desc user;
+-------+-----------------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+-------+-----------------------+------+-----+---------+----------------+
| id | int | NO | PRI | NULL | auto_increment |
| name | varchar(50) | NO | | NULL | |
| age | int | NO | | NULL | |
| sex | enum('male','female') | NO | | NULL | |
+-------+-----------------------+------+-----+---------+----------------+
查看一下內容,沒有
mysql> select * from user;
Empty set (0.19 sec)
到這裡我們MySQL表就創建好了,我們不用管他,我們進行編寫CPP連接資料庫代碼
連接資料庫,並且執行sql語句
打開VS2019,並且創建一個控制台項目,項目結構如圖
main.cpp負責執行主函數代碼,Connect負責編寫封裝資料庫的連接和sql操作,mysqlPool負責編寫資料庫連接池。
但我們還不急著編寫代碼,先導入需要的外部庫,在VS上需要進行相應的頭文件和庫文件的配置,如下:
- 1.右鍵項目 - C/C++ - 常規 - 附加包含目錄,填寫mysql.h頭文件的路徑
- 2.右鍵項目 - 鏈接器 - 常規 - 附加庫目錄,填寫libmysql.lib的路徑
- 3.右鍵項目 - 鏈接器 - 輸入 - 附加依賴項,填寫libmysql.lib庫的名字
- 4.把libmysql.dll動態鏈接庫(Linux下尾碼名是.so庫)放在工程目錄下
如果你沒有修改過MySQL路徑,一般mysql.h在你的電腦路徑如下
如果你沒有修改過MySQL路徑,一般libmysql.lib在你的電腦路徑如下
libmysql.dll文件存放在你項目文件路徑下麵
1.封裝Mysql.h的介面成connection類
接下來封裝一下mysql的資料庫連接代碼,不懂的看看註釋,也很簡單的調用Mysql.h的介面,我們在connection中額外加入創建時間函數和存活時間函數,不能讓空閑的線程存活時間超過定義的最大空閑時間
connect.h的代碼如下
#pragma once
#include <mysql.h>
#include <string>
#include <ctime>
using namespace std;
/*
封裝MySQL資料庫的介面操作
*/
class Connection
{
public:
// 初始化資料庫連接
Connection();
// 釋放資料庫連接資源
~Connection();
// 連接資料庫
bool connect(string ip,
unsigned short port,
string user,
string password,
string dbname);
// 更新操作 insert、delete、update
bool update(string sql);
// 查詢操作 select
MYSQL_RES* query(string sql);
// 刷新一下連接的起始的空閑時間點
void refreshAliveTime() { _alivetime = clock(); }
// 返回存活的時間
clock_t getAliveeTime()const { return clock() - _alivetime; }
private:
MYSQL* _conn; // 表示和MySQL Server的一條連接
clock_t _alivetime; // 記錄進入空閑狀態後的起始存活時間
};
connect.cpp的代碼如下
#include "public.h"
#include "Connect.h"
#include <iostream>
using namespace std;
Connection::Connection()
{
// 初始化資料庫連接
_conn = mysql_init(nullptr);
}
Connection::~Connection()
{
// 釋放資料庫連接資源
if (_conn != nullptr)
mysql_close(_conn);
}
bool Connection::connect(string ip, unsigned short port,
string username, string password, string dbname)
{
// 連接資料庫
MYSQL* p = mysql_real_connect(_conn, ip.c_str(), username.c_str(),
password.c_str(), dbname.c_str(), port, nullptr, 0);
return p != nullptr;
}
bool Connection::update(string sql)
{
// 更新操作 insert、delete、update
if (mysql_query(_conn, sql.c_str()))
{
LOG(+ "更新失敗:" + sql);
return false;
}
return true;
}
MYSQL_RES* Connection::query(string sql)
{
// 查詢操作 select
if (mysql_query(_conn, sql.c_str()))
{
LOG("查詢失敗:" + sql);
return nullptr;
}
return mysql_use_result(_conn);
}
在public.h中編寫的代碼,幫助我們輸出日誌和警告
#pragma once
#include <iostream>
#define LOG(str) \
std::cout << __FILE__ << ":"<<__LINE__<<" " \
__TIMESTAMP__ << ":"<<str <<std::endl;
使用這個巨集,你可以在代碼中的任何地方輕鬆輸出日誌信息。
我們暫時用這個main先測試下connection類
main.cpp代碼
#include <iostream>
#include "Connect.h"
int main()
{
Connection conn;
char sql[1024] = { 0 };
//插入一條數據
sprintf(sql, "insert into user(name,age,sex) values('%s','%d','%s');", "zhang san", 20, "male");
conn.connect("127.0.0.1", 3306, "root", "123456", "chat");
conn.update(sql); //更新sql語句
return 0;
}
如果你的vs2019給你報安全警告,應該是sprintf的問題,你右擊項目,選擇屬性中C++的常規中SDL檢查,設置為否。
編譯運行後,我們返回MySQL的界面,發現數據已經插入成功了
mysql> select * from user;
+----+-----------+-----+------+
| id | name | age | sex |
+----+-----------+-----+------+
| 1 | zhang san | 20 | male |
+----+-----------+-----+------+
1 row in set (0.02 sec)
現在我們已經成功能調用外部介面來連接Mysql資料庫了,接下來我們來編寫連接池
.
2.編寫連接池
2.1MySQL配置文件和載入配置文件
我們來編寫mySqlPool的代碼,因為資料庫連接池只有一個,所以我們寫成單例模式。同時會有多個服務端進入連接池,所以我們要添加互斥鎖來避免線程之間的衝突。
我們在項目中創建一個名叫mysql.ini
配置文件存儲資料庫連接的信息,例如資料庫ip地址,用戶名,密碼等
mysql.ini
的內容如下,如果你的用戶名和密碼跟裡面不同,請修改
#資料庫連接池的配置文件
ip=127.0.0.1
port=3306
username=root
password=123456
initSize=10
maxSize=1024
#最大空閑時間預設單位為秒
maxIdleTime=60
#連接超時時間單位是毫米
connectionTimeOut=100
我們把mysqlPool.h文件中需要的函數都聲明好,等會在cpp中實現。
#pragma once
#include "public.h"
#include "Connect.h"
#include <queue>
#include <mutex>
#include <string>
#include <atomic>
#include <memory>
#include <functional>
#include <condition_variable>
//因為資料庫連接池子只有一個,所以我們採用單例模式
class mySqlPool {
public:
//獲取連接池對象實例
static mySqlPool* getMySqlPool();
std::shared_ptr<Connection> getConnection();//從連接池獲取一個可用的空閑連接
private:
mySqlPool();//構造函數私有化
bool loadConfigFile();//從配置文件中載入配置項
void produceConnectionTask(); //運行在獨立的線程中,專門負責生產新連接
//掃描超過maxIdleTime時間的空閑連接,進行隊列的連接回收
void scannerConnectionTask();
std::string _ip;//mysql的ip地址
std::string _dbname;//資料庫的名稱
unsigned short _port; //mysql埠號3306
std::string _username;//mysql用戶名
std::string _password;//mysql登陸密碼
int _initSize;//連接池的初始連接量
int _maxSize;//連接池的最大連接量
int _maxIdleTime;//連接池最大空閑時間
int _connectionTimeOut;//連接池獲取連接的超時時間
std::queue<Connection*> _connectionQue;//存儲mysql連接隊列
std::mutex _queueMutex; //維護連接隊列的線程安全互斥鎖
std::atomic_int _connectionCnt; //記錄連接所創建的connect的數量
std::condition_variable cv;//設置條件變數,用於生產者線程和消費者線程的通信
};
編寫mySqlPool.cpp 中載入我們上面.ini配置文件
的函數
//在mySqlPool.cpp中
//載入配置文件
bool mySqlPool::loadConfigFile()
{
FILE* pf = fopen("mysql.ini", "r");
if (pf == nullptr)
{
LOG("mysql.ini file is not exits!");
return false;
}
while (!feof(pf)) //遍歷配置文件
{
char line[1024] = { 0 };
fgets(line, 1024, pf);
std::string str = line;
int idx = str.find('=', 0); //從0開始找'='符號的位置
if (idx == -1)continue;
int endidx = str.find('\n', idx);//從idx尋找'\n'的位置,也就是末尾
std::string key = str.substr(0, idx); //獲取配置文件中=號左邊的key
//從等號後到末尾,剛好是value的string形式
std::string value = str.substr(idx + 1, endidx - idx - 1);
if (key == "ip")
{
_ip = value;
}
else if (key == "port")
{
//字元串轉換成unsigned short
_port = static_cast<unsigned short>(std::stoul(value));
}
else if (key == "username")
{
_username = value;
}
else if (key == "password")
{
_password = value;
}
else if (key == "dbname")
{
_dbname = value;
}
else if (key == "initSize")
{
_initSize = std::stoi(value);
}
else if (key == "maxSize")
{
_maxSize = std::stoi(value);
}
else if (key == "maxIdleTime")
{
_maxIdleTime = std::stoi(value);
}
else if (key == "connectionTimeOut")
{
_connectionTimeOut = std::stoi(value);
}
}
return true;
}
這樣我們載入配置文件就完成了
2.2編寫連接池單例模式
單例模式確保資料庫連接池在整個應用程式中只有一個實例。這樣,所有需要資料庫連接的線程或操作都可以從這個池中獲取連接,而不是每次都創建新的連接。這大大減少了資源消耗和性能損耗。(如果不懂數據模式單例模式可以百度一下)
我們在.h文件中,我們先將構造函數private化,這樣外部就只能通過介面來獲取,我們在cpp中來編寫具體的實現代碼
構造方法
//mySqlPool.h
//構造方法
mySqlPool::mySqlPool()
{
if (!loadConfigFile())
{
LOG("load Config File is error!");
return;
}
//創建初始數量的連接
for (int i = 0; i < _initSize; ++i)
{
Connection* p = new Connection();
p->connect(_ip, _port, _username, _password, _dbname);
}
//啟動一個新線程,作為連接的生產者
std::thread produce(std::bind(&mySqlPool::produceConnectionTask, this));
produce.detach();
//啟動一個新線程,作為空閑連接超時的回收者
std::thread scanner(std::bind(&mySqlPool::scannerConnectionTask, this));
scanner.detach();
}
單例模式
//mySqlPool.h
//單例模式
mySqlPool* mySqlPool::getMySqlPool()
{
static mySqlPool pool;
return &pool;
}
現在我們已經成功的編寫了單例模式,接下來我們開始獲取資料庫的連接。
資料庫連接的線程通信
我們創建一個connect*線程隊列queue
來存放MySQL資料庫的連接connect
,同時我們還會額外創建兩個線程。
一個線程是生產者
,開始從Connect類中獲取initSize
個連接加入連接隊列中準備著,當判斷連接隊列empty,又開始獲取連接加入連接隊列中 ,如果不為empty就進入阻塞狀態。
生產者線程代碼
//運行在獨立的線程中,專門負責生產新連接
void mySqlPool::produceConnectionTask()
{
while (true)
{
std::unique_lock<std::mutex> lock(_queueMutex);
while (!_connectionQue.empty())
cv.wait(lock); //隊列不為空不生產線程
//沒有到上線就可以生產線程
if (_connectionCnt < _maxSize)
{
auto p = new Connection();
p->connect(_ip, _port, _username, _password, _dbname);
p->refreshAliveTime();//創建的時候刷新存活時間
_connectionQue.push(p);
++_connectionCnt;
}
cv.notify_all();
}
}
另外一個線程是消費者,如果服務端想要獲取隊列中的連接,消費者線程將會從隊列中拿出connection來,如果隊列為empty,線程會處於阻塞狀態。
消費者線程代碼
/從連接池獲取一個可用的空閑連接
std::shared_ptr<Connection> mySqlPool::getConnection()
{
std::unique_lock<std::mutex> lock(_queueMutex);
while (_connectionQue.empty())
{
//如果超時沒有獲取可用的空閑連接返回空
if (std::cv_status::timeout == cv.wait_for(lock, std::chrono::milliseconds(100)))
if (_connectionQue.empty())
{
LOG("get Connection error");
return nullptr;
}
}
std::shared_ptr<Connection> sp(_connectionQue.front(), [&](Connection* pcon) {
//保證只能同一時刻只能有一個線程歸還連接給隊列
std::unique_lock<std::mutex> lock(_queueMutex);
pcon->refreshAliveTime();//創建的時候刷新存活時間
_connectionQue.push(pcon);
});
_connectionQue.pop();
cv.notify_all();
return sp;
}
如果隊列裡面大於初始個數的新connection空閑時間大於最大空閑時間,我們將會回收該連接(但是不會完全釋放,我們將其歸還在連接池中)。
上面getConnection代碼的這段就是實現了回收功能
std::shared_ptr<Connection> sp(_connectionQue.front(), [&](Connection* pcon) {
//保證只能同一時刻只能有一個線程歸還連接給隊列
std::unique_lock<std::mutex> lock(_queueMutex);
pcon->refreshAliveTime();//創建的時候刷新存活時間
_connectionQue.push(pcon);
});
掃描超過maxIdleTime時間的空閑連接,進行隊列的連接回收
//連接線程回收
void mySqlPool::scannerConnectionTask()
{
while (true)
{
//通過sleep模擬定時效果,每_maxIdleTime檢查一次
std::this_thread::sleep_for(std::chrono::seconds(_maxIdleTime));
//掃描整個隊列釋放多餘的超時連接
std::unique_lock<std::mutex> lock(_queueMutex);
while (_connectionCnt > _initSize)
{
auto p = _connectionQue.front();
if (p->getAliveeTime() >= (_maxIdleTime * 1000))
{
_connectionQue.pop();
delete p;//這裡會調用智能指針,回收到隊列中
}
}
}
}
到這裡,我們連接池的代碼已經完成了,接下來是測試一下代碼
連接池的壓力測試
我們分別測試連接個數為10,100,1000時候的性能差異,創建一個test.h文件,編寫測試代碼
註意下麵的測試可能根據不同的電腦性能,可能速度會有所差異。
普通連接
//test.h
//非線程池的連接
void testSql( int n)
{
clock_t begin = clock();
std::thread t([&n]() {
for (int i = 1; i < n; ++i)
{
Connection cnn;
char sql[1024] = { 0 };
sprintf(sql, "insert into user(name,age,sex) values('%s',%d,'%s')", "zhang san", 20, "male");
cnn.connect("127.0.0.1", 3306, "root", "123456", "chat");
cnn.update(sql);
}});
t.join();
clock_t end = clock();
std::cout << "普通連接數量為:" << n << "的sql執行時間:" << (end - begin) << "ms" << std::endl;
}
main.cpp中調用
#include <iostream>
#include "Connect.h"
#include "mySqlPool.h"
#include "test.h"
int main()
{
testSql(10);//普通連接數量為 : 10的sql執行時間 : 2838ms
testSql(100);//普通連接數量為 : 100的sql執行時間: 12299
testSql(1000);//普通連接數量為 : 1000的sql執行時間 : 104528ms
return 0;
}
單線程的線程池
//test.h
void f(int n)
{
mySqlPool* cp = mySqlPool::getMySqlPool();
for (int i = 1; i <= n; ++i)
{
std::shared_ptr<Connection> sp = cp->getConnection();
char sql[1024] = { 0 };
sprintf(sql, "insert into user(name,age,sex) values('%s',%d,'%s')", "zhang san", 20, "male");
sp->update(sql);
}
}
//測試連接池連接
void testSqlPool(int n)
{
clock_t begin = clock();
std::thread t1(f, n);
t1.join();
clock_t end = clock();
std::cout << "單線程採用資料庫連接池,連接數量為:" << n << "的sql執行時間:" << (end - begin) << "ms" << std::endl;
}
main.cpp中調用
#include <iostream>
#include "Connect.h"
#include "mySqlPool.h"
#include "test.h"
int main()
{
testSqlPool(10);//單線程 採用資料庫連接池,連接數量為:10的sql執行時間:1745ms
testSqlPool(100);//單線程 採用資料庫連接池,連接數量為:100的sql執行時間:9779ms
testSqlPool(1000);//單線程 採用資料庫連接池,連接數量為:1000的sql執行時間 : 86016ms
return 0;
}
多線程的線程池
//test.h
//測試連接池連接 4線程
void testSqlPool4(int n)
{
int n2 = n / 4;
clock_t begin = clock();
std::thread t1(f, n2);
std::thread t2(f, n2);
std::thread t3(f, n2);
std::thread t4(f, n2);
t1.join();
t2.join();
t3.join();
t4.join();
clock_t end = clock();
std::cout << "四線程採用資料庫連接池,連接數量為:" << n << "的sql執行時間:" << (end - begin) << "ms" << std::endl;
}
main.cpp中調用
#include <iostream>
#include "Connect.h"
#include "mySqlPool.h"
#include "test.h"
int main()
{
testSqlPool4(100);//4條線程 採用資料庫連接池,連接數量為:100的sql執行時間 : 3715ms
testSqlPool4(1000);//4條線程 採用資料庫連接池,連接數量為:1000的sql執行時間 : 34686ms
return 0;
}
由上面測試數據可以得出,普通連接<單線程連接池<多線程連接池,連接池比普通連接還是優化很多的。
文章裡面如果有問題的請評論講出,希望可以多多包含一下新人不足,如果看完了還是對於代碼很陌生,可以下載來看一看。源碼地址