09.Django-資料庫優化

来源:https://www.cnblogs.com/yanadoude/archive/2020/06/11/13094585.html
-Advertisement-
Play Games

Django查詢資料庫性能優化 現在有一張記錄用戶信息的UserInfo數據表,表中記錄了10個用戶的姓名,呢稱,年齡,工作等信息. models文件 from django.db import models class Job(models.Model): title=models.CharFie ...


Django查詢資料庫性能優化

現在有一張記錄用戶信息的UserInfo數據表,表中記錄了10個用戶的姓名,呢稱,年齡,工作等信息.

models文件

from django.db import models
    
class Job(models.Model):
    title=models.CharField(max_length=32)
    
class UserInfo(models.Model):
    username=models.CharField(max_length=32)
    nickname=models.CharField(max_length=32)
    job=models.ForeignKey(to="Job",to_field="id",null=True)

數據表中記錄:

另一張數據表記錄用戶工作的Job表,關聯用戶的工作欄位.

要查出每個用戶的用戶名,呢稱和工作等信息

def index(request):
    user_list=models.UserInfo.objects.all()
    
    print(user_list.query)      # 列印查詢時使用的語句
    print(type(user_list))      # 列印查詢結果的數據類型
    
    for user in user_list:
    	print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title))
    return render(request,'index.html')

列印信息:

SELECT "app01_userinfo"."id", "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user1-->user1-->python
user2-->user2-->linux
user3-->user3-->golang
user4-->user4-->python
user5-->user5-->linux
user6-->user6-->golang
user7-->user7-->python
user8-->user8-->linux
user9-->user9-->golang
user10-->user10-->linux

在服務端進行這些操作,這些查詢語句的性能是很低的,遍歷取出這10個用戶的姓名,呢稱,工作等信息要在兩張資料庫中執行11次查詢操作.

首先只從UserInfo表中查出所有的用戶記錄,需要執行一次查詢操作.

查詢Job數據表,每迴圈一次用戶信息的列表,都需要從Job表中查詢一次用戶的工作信息.

數據表中總共記錄了10條用戶記錄,所以還需要迴圈10次才能從Job表中查詢完成所有用戶的工作信息.所以一共需要執行11次資料庫查詢操作.

那有沒有什麼好的方法能夠提高資料庫查詢的效率呢???

def index(request):
    user_list=models.UserInfo.objects.values("username","nickname","job")
    
    print(user_list.query)      # 列印查詢時使用的語句
    print(type(user_list))      # 列印查詢結果的數據類型
    print("user_list:",user_list)
    
    for user in user_list:
    	print(user["username"], user["nickname"], user["job"])
    return render(request,'index.html')

運行程式,在服務端後臺列印信息:

SELECT "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [{'username': 'user1', 'nickname': 'user1', 'job': 1}, {'username': 'user2', 'nickname': 'user2', 'job': 2}, {'username': 'user3', 'nickname': 'user3', 'job': 3}, {'username': 'user4', 'nickname': 'user4', 'job': 1}, {'username': 'user5', 'nickname': 'user5', 'job': 2}, {'username': 'user6', 'nickname': 'user6', 'job': 3}, {'username': 'user7', 'nickname': 'user7', 'job': 1}, {'username': 'user8', 'nickname': 'user8', 'job': 2}, {'username': 'user9', 'nickname': 'user9', 'job': 3}, {'username': 'user10', 'nickname': 'user10', 'job': 2}]>
user1 user1 1
user2 user2 2
user3 user3 3
user4 user4 1
user5 user5 2
user6 user6 3
user7 user7 1
user8 user8 2
user9 user9 3
user10 user10 2

可以看到,查詢的結果user_list依然是一個QuerySet,但這個對象集合內部卻是一個字典.

而且這次的查詢只執行了兩次資料庫查詢操作.

通過這種方式,只需要兩次查詢就能得到想要的數據,優化了資料庫的查詢效率.

Django資料庫優化操作之select_related主動聯表查詢

上面的例子里,取對象集合的時候,難道只能查詢當前數據表,不能查詢其他數據表嗎??

當然不是,在這裡還可以使用select_related這個方法.

在第一次查詢的時候,在all()後面加上一個select_related來做主動的聯表查詢.

在創建這兩張數據表時,job在UserInfo數據表中是做為一個ForeignKey存在的,所以加上select_related後不僅只查詢到了UserInfo資料庫的記錄,同時也查詢了Job數據表中的記錄.

def index(request):
    user_list=models.UserInfo.objects.all().select_related("job")
    
    print(user_list.query)      # 列印查詢時使用的語句
    print(type(user_list))      # 列印查詢結果的數據類型
    print("user_list:",user_list)
    
    for user in user_list:
        print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title))
    return render(request,'index.html')

服務端列印結果

SELECT "app01_userinfo"."id", "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id", "app01_job"."id", "app01_job"."title" FROM "app01_userinfo" LEFT OUTER JOIN "app01_job" ON ("app01_userinfo"."job_id" = "app01_job"."id")
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1-->user1-->python
user2-->user2-->linux
user3-->user3-->golang
user4-->user4-->python
user5-->user5-->linux
user6-->user6-->golang
user7-->user7-->python
user8-->user8-->linux
user9-->user9-->golang
user10-->user10-->linux

查看列印出來的查詢語句,其中有"FROM "app01_userinfo" LEFT OUTER JOIN "app01_job" ON ("app01_userinfo"."job_id" = "app01_job"."id")"用來做聯表查詢,只需要一次就可以查詢所有的數據了.

同樣的,如果還想繼續聯表,例如在Job表中再加一個外鍵欄位desc,只需要在查詢語句中把desc加入進來就可以了

user_list=models.UserInfo.objects.all().select_related("job__desc")

這樣一來就把三張表聯繫起來做聯表查詢了,但是一定要確保所加的欄位為ForeignKey.

如果使用類似models.UserInfo.objects.all()語句進行查詢時,不要做跨表查詢,只查詢當前表中有的數據,否則查詢語句的性能會下降很多.

如果想查其他表中的數據,就加上select_related(ForeignKey欄位名);

如果想取多個ForeignKey欄位的數據,則可以使用select_related(ForeignKey欄位1,ForeignKey欄位2,...)

聯表查詢操作性能也會降低,select_related就是用來做主動聯表查詢的.

Django資料庫優化操作之perfetch_related非主動聯表查詢

perfetch_related方法是既非主動聯表查詢,又不進行很多查詢語句的一種折衷方案

修改視圖函數index

def index(request):
    user_list=models.UserInfo.objects.all().prefetch_related("job")
    
    print(user_list.query)      # 列印查詢時使用的語句
    print(type(user_list))      # 列印查詢結果的數據類型
    print("user_list:",user_list)
    
    for user in user_list:
        print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title))
    return render(request,'index.html')

後端列印結果

SELECT "app01_userinfo"."id", "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1-->user1-->python
user2-->user2-->linux
user3-->user3-->golang
user4-->user4-->python
user5-->user5-->linux
user6-->user6-->golang
user7-->user7-->python
user8-->user8-->linux
user9-->user9-->golang
user10-->user10-->linux

使用prefetch_related方法未聯表執行兩次查詢操作

先查詢用戶表中的所有數據,把用戶表中所有的job_id全部查詢出來,並執行去重操作;

結果查詢出用戶的3種工作,接下來執行"select"語句查詢"Job"數據表中的"title"欄位

這樣一來就只執行了兩次數據表的查詢操作

在prefetch_related方法中加入一個欄位"job",執行了兩次資料庫查詢操作;

如果再加一個欄位,則會再多加一次數據為操作操作.

Django資料庫優化操作之only方法

def index(request):
    user_list=models.UserInfo.objects.all().only("username")
    
    print(user_list.query)      # 列印查詢時使用的語句
    print(type(user_list))      # 列印查詢結果的數據類型
    print("user_list:",user_list)
    
    for user in user_list:
        print("%s-->%s" %(user.username,user.nickname))
    return render(request,'index.html')

服務端後臺列印信息

SELECT "app01_userinfo"."id", "app01_userinfo"."username" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1-->user1
user2-->user2
user3-->user3
user4-->user4
user5-->user5
user6-->user6
user7-->user7
user8-->user8
user9-->user9
user10-->user10

執行查詢操作的時候加上only方法,其查詢結果還是一個對象集合,但是從列印出的查詢語句可以看到,執行查詢操作時只查詢了用戶的id欄位和username欄位,並沒有查詢nickname欄位.

但是在後面的迴圈中,又可以列印用戶的nikename信息.為什麼呢,因為又執行了一次查詢的請求操作.由此得知,查詢操作使用了only方法,在only方法中加入哪個查詢欄位,在後面就使用哪個查詢欄位.

加only參數是從查詢結果中只取某個欄位,而另外一個defer方法則是從查詢結果中排除某個欄位

Django資料庫優化操作之defer方法

修改index視圖函數

def index(request):
    user_list=models.UserInfo.objects.all().defer("username")

    print(user_list.query)      # 列印查詢時使用的語句
    print(type(user_list))      # 列印查詢結果的數據類型
    print("user_list:",user_list)

    for user in user_list:
        print("%s" % user.nickname)
    return render(request,'index.html')

服務端列印信息

SELECT "app01_userinfo"."id", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1
user2
user3
user4
user5
user6
user7
user8
user9
user10

通過列印的查詢語句可以知道,使用defer方法後,只從資料庫中查詢了用戶的id欄位和用戶的nickname欄位操作,並沒有查詢username欄位,由此也可以提高Django查詢資料庫的性能.


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事
    一、前言 作者：Jack Cui 很多人學習python，不知道從何學起。很多人學習python，掌握了基本語法過後，不知道在哪裡尋找案例上手。很多已經做案例的人，卻不知道如何去學習更加高深的知識。那麼針對這三類人，我給大家提供一個好的學習平臺，免費領取視頻教程，電子書籍，以及課程的源代碼！QQ群： ...
  • Python 5 行代碼的神奇操作
    Python 語言實現功能直接了當，簡明扼要，今天咱們就來一起看看 Python 5 行代碼的神奇操作！ 1、古典兔子問題 很多人學習python，不知道從何學起。很多人學習python，掌握了基本語法過後，不知道在哪裡尋找案例上手。很多已經做案例的人，卻不知道如何去學習更加高深的知識。那麼針對這三 ...
  • 福利來啦，送給大家一個小游戲的源碼，不要錯過喲
    從小到大玩過很多的游戲，在我小時候，能玩游戲的地方不多，那時玩游戲都是偷摸玩的，只要是個游戲就覺得非常有趣，比較經典的有魂鬥羅，拳皇，超級瑪麗，貪吃蛇，俄羅斯方塊等游戲；發展到現在，玩游戲已經成為生活的一部分了，尤其是現在的很多游戲都已經網路社交化了，游戲種類也更加豐富了，沒事大家一起組隊玩個游戲還 ...
  • DES/3DES/AES 三種對稱加密演算法實現
    1. 簡單介紹 3DES（或稱為Triple DES）是三重數據加密演算法（TDEA，Triple Data Encryption Algorithm）塊密碼的通稱。它相當於是對每個數據塊應用三次DES加密演算法。由於電腦運算能力的增強，原版DES密碼的密鑰長度變得容易被暴力破解；3DES即是設計用來 ...
  • MyBatis中的$和#，用不好，準備走人！
    作者：程式猿的內心獨白 https://m.toutiaocdn.com/i6685496024770806280 這是一次代碼優化過程中發現的問題，在功能優化後發現部分數據查不到出來了，問題就在於一條sql上的#和$。 下圖為兩條sql： 從圖上可以看出 wwlr.LabelId in($) 和 ...
  • Flink 如何分流數據
    場景 分流方式 如何分流 使用Filter分流 使用Split分流 使用Side Output分流 場景 獲取流數據的時候,通常需要根據所需把流拆分出其他多個流,根據不同的流再去作相應的處理。 舉個例子:創建一個商品實時流,商品有季節標簽,需要對不同標簽的商品做統計處理,這個時候就需要把商品數據流根 ...
  • go .mod文件
    原始go.mod文件 module xxx go 1.14 報錯 i/o timeout go mod init workorder go mod init: go.mod already exists go mod tidy go: finding module for package githu ...
  • 學習Java 8 Stream Api (4) - Stream 終端操作之 collect
    上篇內容我們學習了Stream的大部分終端操作，我們這篇著重瞭解下Stream中重要的終端操作：collect。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類