Python-flask中資料庫連接池DBUtils

来源:https://www.cnblogs.com/mengqingjian/archive/2018/01/05/8206477.html
-Advertisement-
Play Games

一、DBUtils DBUtils是Python的一個用於實現資料庫連接池的模塊。 連接池的三種模式： 第一種模式： 它的缺點：每一次請求反覆創建資料庫的鏈接，鏈接的次數太多 from flask import Flask from db import POOL import pymysql app ...


一、DBUtils

DBUtils是Python的一個用於實現資料庫連接池的模塊。

連接池的三種模式：

第一種模式：

            它的缺點：每一次請求反覆創建資料庫的鏈接，鏈接的次數太多

from flask import Flask
from db import POOL
import pymysql
app = Flask(__name__)
app.secret_key ='sdfsdfsdf'



@app.route('/index')
def index():
    # 第一步：缺點：每次請求反覆創建資料庫連接，連接數太多
    # conn = pymysql.connect()
    # cursor = conn.cursor()
    # cursor.execute('select * from tb where id > %s',[5,])
    # result = cursor.fetchall()
    # cursor.close()
    # conn.close()
    # print(result)
    return '執行成功'



if __name__ == '__main__':
    # app.__call__
    app.run()
模式一

第二種模式：

           它的缺點：不能支持併發

from flask import Flask
from db import POOL
import pymysql
app = Flask(__name__)
app.secret_key ='sdfsdfsdf'



@app.route('/index')
def index():
  # 第二步：缺點，不能支持併發
    # pymysql.threadsafety
    # with LOCK:
    #     cursor = CONN.cursor()
    #     cursor.execute('select * from tb where id > %s', [5, ])
    #     result = cursor.fetchall()
    #     cursor.close()

       return '執行成功'



if __name__ == '__main__':
    # app.__call__
    app.run()
模式二

第三種模式：

          它是基於DBUtils實現資料庫連接池

                  -為每個線程創建一個鏈接，該線程關閉時，不是真正的關閉，本線程再次調用時，還是使用的最開始的創建的鏈接，知道線程終止，資料庫鏈接才關閉

                  -創建一個連接池（10個鏈接），為所有線程提供鏈接，使用時來進行獲取，使用完畢時，再次放回到連接池。

from flask import Flask
from db import POOL
import pymysql
app = Flask(__name__)
app.secret_key ='sdfsdfsdf'



@app.route('/index')
def index():

 # 第三步：基於DBUtils實現數據連接池
    #         - 為沒個線程創建一個連接，該線程關閉時，不是真正關閉；本線程再次調用時，還是使用的最開始創建的連接。直到線程終止，資料庫連接才關閉。
    #         - 創建一個連接池(10個連接)，為所有線程提供連接，使用時來進行獲取，使用完畢後，再次放回到連接池。
    #         PS:
    conn = POOL.connection()
    cursor = conn.cursor()
    cursor.execute('select * from tb1')
    result = cursor.fetchall()
    conn.close()
    return '執行成功'



if __name__ == '__main__':
    # app.__call__
    app.run()
模式三

DBUtils的應用：

import time
import pymysql
import threading
from DBUtils.PooledDB import PooledDB, SharedDBConnection
POOL = PooledDB(
    creator=pymysql,  # 使用鏈接資料庫的模塊
    maxconnections=6,  # 連接池允許的最大連接數，0和None表示不限制連接數
    mincached=2,  # 初始化時，鏈接池中至少創建的空閑的鏈接，0表示不創建
    maxcached=5,  # 鏈接池中最多閑置的鏈接，0和None不限制
    maxshared=3,  # 鏈接池中最多共用的鏈接數量，0和None表示全部共用。PS: 無用，因為pymysql和MySQLdb等模塊的 threadsafety都為1，所有值無論設置為多少，_maxcached永遠為0，所以永遠是所有鏈接都共用。
    blocking=True,  # 連接池中如果沒有可用連接後，是否阻塞等待。True，等待；False，不等待然後報錯
    maxusage=None,  # 一個鏈接最多被重覆使用的次數，None表示無限制
    setsession=[],  # 開始會話前執行的命令列表。如：["set datestyle to ...", "set time zone ..."]
    ping=0,
    # ping MySQL服務端，檢查是否服務可用。# 如：0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always
    host='127.0.0.1',
    port=3306,
    user='root',
    password='123',
    database='pooldb',
    charset='utf8'
)

本地線程：

import threading
import time
# 本地線程對象
local_values = threading.local()

def func(num):

    """
    # 第一個線程進來，本地線程對象會為他創建一個
    # 第二個線程進來，本地線程對象會為他創建一個
    {
        線程1的唯一標識：{name:1},
        線程2的唯一標識：{name:2},
    }
    :param num: 
    :return: 
    """
    local_values.name = num # 4
    # 線程停下來了
    time.sleep(2)
    # 第二個線程： local_values.name，去local_values中根據自己的唯一標識作為key，獲取value中name對應的值
    print(local_values.name, threading.current_thread().name)


for i in range(5):
    th = threading.Thread(target=func, args=(i,), name='線程%s' % i)
    th.start()
本地線程

模式一：

"""
為每個線程創建一個連接，thread.local實現。


"""

from DBUtils.PersistentDB import PersistentDB
import pymysql

POOL = PersistentDB(
    creator=pymysql,  # 使用鏈接資料庫的模塊
    maxusage=None,  # 一個鏈接最多被重覆使用的次數，None表示無限制
    setsession=[],  # 開始會話前執行的命令列表。如：["set datestyle to ...", "set time zone ..."]
    ping=0,
    # ping MySQL服務端，檢查是否服務可用。# 如：0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always
    closeable=False,
    # 如果為False時， conn.close() 實際上被忽略，供下次使用，再線程關閉時，才會自動關閉鏈接。如果為True時， conn.close()則關閉鏈接，那麼再次調用pool.connection時就會報錯，因為已經真的關閉了連接（pool.steady_connection()可以獲取一個新的鏈接）
    threadlocal=None,  # 本線程獨享值得對象，用於保存鏈接對象，如果鏈接對象被重置
    host='127.0.0.1',
    port=3306,
    user='root',
    password='123',
    database='pooldb',
    charset='utf8'
)


def func():
    # conn = SteadyDBConnection()
    conn = POOL.connection()
    cursor = conn.cursor()
    cursor.execute('select * from tb1')
    result = cursor.fetchall()
    cursor.close()
    conn.close() # 不是真的關閉，而是假的關閉。 conn = pymysql.connect()   conn.close()

    conn = POOL.connection()
    cursor = conn.cursor()
    cursor.execute('select * from tb1')
    result = cursor.fetchall()
    cursor.close()
    conn.close()

import threading

for i in range(10):
    t = threading.Thread(target=func)
    t.start()
模式一

模式二：

import time
import pymysql
import threading
from DBUtils.PooledDB import PooledDB, SharedDBConnection
POOL = PooledDB(
    creator=pymysql,  # 使用鏈接資料庫的模塊
    maxconnections=6,  # 連接池允許的最大連接數，0和None表示不限制連接數
    mincached=2,  # 初始化時，鏈接池中至少創建的空閑的鏈接，0表示不創建


    maxcached=5,  # 鏈接池中最多閑置的鏈接，0和None不限制
    maxshared=3,  # 鏈接池中最多共用的鏈接數量，0和None表示全部共用。PS: 無用，因為pymysql和MySQLdb等模塊的 threadsafety都為1，所有值無論設置為多少，_maxcached永遠為0，所以永遠是所有鏈接都共用。
    blocking=True,  # 連接池中如果沒有可用連接後，是否阻塞等待。True，等待；False，不等待然後報錯
    maxusage=None,  # 一個鏈接最多被重覆使用的次數，None表示無限制
    setsession=[],  # 開始會話前執行的命令列表。如：["set datestyle to ...", "set time zone ..."]
    ping=0,
    # ping MySQL服務端，檢查是否服務可用。# 如：0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always
    host='127.0.0.1',
    port=3306,
    user='root',
    password='123',
    database='pooldb',
    charset='utf8'
)


def func():
    # 檢測當前正在運行連接數的是否小於最大鏈接數，如果不小於則：等待或報raise TooManyConnections異常
    # 否則
    # 則優先去初始化時創建的鏈接中獲取鏈接 SteadyDBConnection。
    # 然後將SteadyDBConnection對象封裝到PooledDedicatedDBConnection中並返回。
    # 如果最開始創建的鏈接沒有鏈接，則去創建一個SteadyDBConnection對象，再封裝到PooledDedicatedDBConnection中並返回。
    # 一旦關閉鏈接後，連接就返回到連接池讓後續線程繼續使用。

    # PooledDedicatedDBConnection
    conn = POOL.connection()

    # print(th, '鏈接被拿走了', conn1._con)
    # print(th, '池子里目前有', pool._idle_cache, '\r\n')

    cursor = conn.cursor()
    cursor.execute('select * from tb1')
    result = cursor.fetchall()
    conn.close()





    conn = POOL.connection()

    # print(th, '鏈接被拿走了', conn1._con)
    # print(th, '池子里目前有', pool._idle_cache, '\r\n')

    cursor = conn.cursor()
    cursor.execute('select * from tb1')
    result = cursor.fetchall()
    conn.close()


func()
模式二

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • JDK1.8中HashMap實現
    JDK1.8中的HashMap實現跟JDK1.7中的實現有很大差別。下麵分析JDK1.8中的實現，主要看put和get方法。 構造方法的時候並沒有初始化，而是在第一次put的時候初始化 putVal方法的主要邏輯是這樣的： 1、如果數組還沒有初始化（數組長度是0），則先初始化 2、通過hash方法計 ...
  • Java學習筆記4（方法）
    方法和c++中的函數類似，區別在於java的方法定義不限位置，而c++中的定義在主函數後面的函數調用前要聲明： 求矩形面積方法示例： 輸出：面積是：30 調用過程分析： 1.從main進入，開始執行程式 2.調用getArea方法，傳遞參數，得到返回值 3.輸出 調用過程記憶體分析： 1.程式運行時期 ...
  • K：括弧分隔符匹配問題
    相關介紹:  括弧分隔符匹配問題是指，判斷所輸入的字元串表達式中的括弧是否匹配的問題，例如1+（12+2）\ （1+2）便是一個括弧分隔符匹配的表達式，而(12+1) 4+(12/2]就是一個括弧分隔符不匹配的表達式  判斷一個表達式括弧分隔符是否匹配，其思路如下:依次讀取該表達 ...
  • Java學習筆記-枚舉類型
    枚舉類型 枚舉類型就是預先定義的一類常量集合，如一周的時間、水果的類型等。需要註意的幾點內容如下： 定義枚舉類時，Java預設繼承java.lang.Enum，所以定義的枚舉類不能繼承其他類型； 枚舉類中可以包含成員變數、成員函數，但枚舉常量的定義再所有field和method之前，並以“；”結束； ...
  • 01Python基礎_09異常
    1. try & except 原程式： 1 import math 2 3 while True: 4 text = raw_input('> ') 5 if text[0] == 'q': 6 break 7 x = float(text) 8 y = math.log10(x) 9 print ...
  • K：大數加法
    相關介紹:  在java中，整數是有最大上限的。所謂大數是指超過整數最大上限的數，例如18 452 543 389 943 209 789 324 233和8 123 534 323 432 323 432 123 212 443就是兩個大數，在java中這是無法用整型int變數或長整型l ...
  • Java學習筆記3（數組）
    1.數組的定義： 第一種： public class ArrayDemo{ public static void main(String[] args){ //定義數組 int [] arr = new int[3]; //數組中的元素預設值為0 System.out.println(arr[0]) ...
  • 博客之初體驗-----python初瞭解
    恢復內容開始 1.python2.x與python3.x的區別 (1) 2.x的預設編碼是ASSIC碼，不支持中文 (2) 3.x的預設編碼是UNICODE，支持中文 (3) 2.x版本與3.x版本是互不相容的 (4) 3.x的語法更劍明，易學 2.32bits系統and64bits系統 支持最大的 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類