【QT性能優化】QT性能優化之QT6框架高性能模型視圖代理框架千萬級數據表分頁查詢優化

来源:https://www.cnblogs.com/mtyxb/archive/2023/08/08/17614197.html
-Advertisement-
Play Games

QT性能優化之QT6框架高性能模型視圖代理框架千萬級數據表分頁查詢優化 簡介 本文介紹了QT模型視圖代理框架中的QT表格控制項和QT資料庫模塊中的QT資料庫查詢模型結合使用的一個應用實踐案例：QT高性能表格控制項分頁展示千萬行數據。本文介紹了這個應用實踐案例的運行效果和源代碼。這個應用實踐案例實測運行表 ...


QT性能優化之QT6框架高性能模型視圖代理框架千萬級數據表分頁查詢優化

簡介

本文介紹了QT模型視圖代理框架中的QT表格控制項和QT資料庫模塊中的QT資料庫查詢模型結合使用的一個應用實踐案例：QT高性能表格控制項分頁展示千萬行數據。本文介紹了這個應用實踐案例的運行效果和源代碼。這個應用實踐案例實測運行表明，QT表格控制項具備在3毫秒之內快速從1000萬數據記錄的SQLite資料庫的一個數據表中查詢讀取10000記錄的能力。 本文還介紹了QT表格控制項和QT資料庫模塊的一些總體情況。本文最後通過QT框架的源代碼調試運行分析了QT表格控制項的性能為什麼如此之高。

文章目錄

正文

QT高性能表格控制項分頁展示百萬行數據運行效果展示

系統配置

硬體配置： SSD。
操作系統： Windows。
資料庫系統：SQLite資料庫。
QT版本： QT。

1000萬條記錄的數據表中一次讀取1萬條記錄

實測結果：1000萬條記錄的數據表中一次讀取1萬條記錄，首次查詢耗時小於3毫秒(ms=千分之一秒)，後續查詢耗時小於1毫秒。採用整數主鍵查詢，主鍵在數據表中的位置對查詢性能沒有顯著影響。

在這裡插入圖片描述

QT高性能表格控制項1000萬條記錄的數據表中展示1萬條記錄

QT表格控制項+QT資料庫模塊：1000萬條記錄的數據表中一次讀取1萬條記錄

1000萬條記錄的數據表中一次讀取10萬條記錄

實測結果：1000萬條記錄的數據表中一次讀取10萬條記錄，首次查詢耗時小於3毫秒(ms=千分之一秒)，後續查詢耗時小於1毫秒。

在這裡插入圖片描述

QT高性能表格控制項1000萬條記錄的數據表中展示10萬條記錄

QT表格控制項+QT資料庫模塊：1000萬條記錄的數據表中一次展示10萬條記錄

1000萬條記錄的數據表中一次讀取100萬條記錄

實測結果：1000萬條記錄的數據表中一次讀取100萬條記錄，首次查詢耗時小於3毫秒(ms=千分之一秒)，後續查詢耗時小於1毫秒。

在這裡插入圖片描述

QT高性能表格控制項1000萬條記錄的數據表中展示100萬條記錄

QT表格控制項+QT資料庫模塊：1000萬條記錄的數據表中一次讀取100萬條記錄
使用QT 模型視圖代理框架實現1000完條記錄的數據表中讀取1000條記錄的運行效果的視頻參考如下：

視頻： QT性能優化之QT6框架高性能模型視圖代理框架千萬級數據表分頁查詢優化效果

QT能否撐得起千萬級數據表這樣的規模？看完補天雲這個實測視頻就有答案了！ QT性能優化之QT6框架高性能模型視圖代理框架千萬級數據表分頁查詢優化

QT高性能表格控制項分頁展示百萬行數據應用程式源代碼

為了減少本文的篇幅，在此只列舉了一部分關鍵代碼。

QT初始化數據表代碼：1000萬條記錄

幾個有關的常量。
在這裡插入圖片描述

QT高性能表格控制項性能測試程式用到的常數
在這裡插入圖片描述

QT高性能表格控制項性能測試程式

資料庫初始化代碼：

在這裡插入圖片描述

QT高性能表格控制項性能測試程式

在這裡插入圖片描述

QT高性能表格控制項性能測試程式
在這裡插入圖片描述

QT高性能表格控制項性能測試程式
在這裡插入圖片描述

QT高性能表格控制項性能測試程式

在這裡插入圖片描述

QT主界面代碼

以下是主視窗也就是QT表格控制項所在視窗的構造函數。

在這裡插入圖片描述

QT高性能表格控制項性能測試程式

在這裡插入圖片描述

QT高性能表格控制項性能測試程式

在這裡插入圖片描述

QT高性能表格控制項性能測試程式

在這裡插入圖片描述

QT高性能表格控制項性能測試程式

在這裡插入圖片描述
QT高性能表格控制項性能測試程式

QT表格控制項

QT圖形視圖框架整體介紹

下圖是QT助手API DOC中介紹的QT Model-View-Delegate(模型視圖代理)框架的整體結構。

在這裡插入圖片描述

QT模型視圖代理框架整體結構

圖中Model就是模型，View是視圖，Delegate是代理。三者之間的關係看圖已經很清楚了。其中，View用於用戶界面交互，包括數據展示的總體框架等；Model用於向View提供數據支持，包括查詢數據和保存數據(修改和插入)；Delegate用於具體展示數據和具體提供數據編輯功能的用戶交互界面。

QT表格控制項

QT模型視圖代理框架中提供了很多視圖類型，本文介紹的QT表格控制項QTableView就是一種視圖類型。這個類型提供了表格類型的界面常用的各種功能，包括對橫向表頭和縱向表頭以及單元格的控制和修飾。

在這裡插入圖片描述

QT表格控制項界面美化效果演示

QT表格視窗

QT還提供了另外一種視圖類型：QTableWidget類型，這個類型是QTableView類型的派生類型， 在QTableView的基礎上做了更多粗粒度的封裝的API介面，使得QTableWidget使用起來更加人性化，也就是符合大多數軟體工程師的常規思維；當然QTableWidget也屏蔽了一些QTableView的底層細節API 介面，也就是有一些QTableView的一些API在QTableWidget中被使用C++的一些基礎語法進行了屏蔽。

QT資料庫組件

QT資料庫模塊整體介紹

QT助手API DOC中介紹了QT資料庫模塊的整體情況。

在這裡插入圖片描述

QT資料庫模塊整體結構

QT資料庫模塊包含了用戶界面層(UI Layer)、SQL介面層(SQL API Layer)，和驅動程式層(Driver Layer)。

在QT應用程式中使用QT資料庫模塊，必須在項目文件中做如下配置。
對於CMake編譯構建管理工具：
在這裡插入圖片描述

QT資料庫模塊CMake編譯構建管理項目配置

對於qmake編譯構建管理工具：

在這裡插入圖片描述

QT資料庫模塊qmake編譯構建管理項目配置

用戶界面層(UI Layer)

這裡的UI可以理解成是資料庫模塊的普通應用開發者的API 介面；按照QT模型視圖代理框架的概念體系，這個UI也可以理解成是這些類型可能會放在用戶界面相關的程式代碼中去用，比如在與視圖有關的代碼中去調用這些API。
比如QSqlQueryModel經常作為模型類型在模型視圖代理框架中使用，當然也可以獨立使用。

SQL介面層(SQL API Layer)

QT資料庫模塊使用QSqlDatabase類型提供通用的資料庫的連接和SQL查詢操作的API介面。

驅動程式層(Driver Layer)

QT資料庫模塊使用QSqlDriver類型定義了一些資料庫的一些抽象的底層操作。特定資料庫相關的具體實現有特定資料庫對應的派生類提供。
QT 助手API DOC中描述了QT框架對特定資料庫的支持情況如下圖所示：

在這裡插入圖片描述

QT資料庫模塊驅動程式層

QT表格控制項的性能何以如此之高？

查詢和遍歷不是同一個概念

下麵是在進行SQLite資料庫查詢之後，對10000條記錄進行逐條記錄遍歷的代碼。

QT資料庫模塊查詢遍歷實例代碼
在這裡插入圖片描述

經實測運行上述代碼，遍歷10000條記錄耗時約30毫秒。

既然僅僅遍歷10000條記錄就耗時30毫秒，那麼QT表格控制項是如何做到只花了3毫秒就完成了資料庫查詢操作呢？

推測可能原因是QSqlQueryModel中並沒有直接的完整遍歷查詢結果中的10000條記錄，而是QTableView控制項中只遍歷了少量的數據記錄。當用戶拖動滾動條時，QTableView控制項再根據實際需求請求QSqlQueryModel去遍歷更多相應的數據記錄。因此看起來就像是QT表格控制項在小於1毫秒的時間之內就查詢到了10000條記錄，甚至100萬條記錄。

對預取數據的支持

本文作者經過調試QT源代碼後發現瞭如下源代碼：
在這裡插入圖片描述

QT模型視圖代理框架對數據預取的支持

這裡定義了QAbstractItemView類型的數據記錄的預取功能。每次當表格控制項QTableView的界面發生變化時，就可能觸發數據記錄預取函數prefetch()的調用執行，這個函數每次預取255條數據記錄。也就是說儘管執行SQL語句時從SQLite資料庫中查詢到了10000條記錄，甚至100萬條記錄，但是QTableView每次只從查詢結果中取出255條記錄。這樣搞當然極大的提升了包括QTableView在內的所有基於QAbstractItemView類型的視圖控制項的性能。

還有更多數據記錄嗎？

現在已經知道了QAbstractItemView每次只遍歷255條數據記錄，而QSqlQueryModel中的查詢結果記錄集中可能有10000條數據記錄，甚至100萬條數據記錄。因此模型自己必須知道查詢結果記錄集中是否還有更多數據記錄可以提供給QAbstractItemView視圖，當然實際上是提供給這個類型的派生類QTableView之類的視圖。

模型類的祖宗類QAbstractItemModel設計了兩個跟數據預取有關的虛函數。
在這裡插入圖片描述

QT模型視圖代理框架中模型類與數據預取有關的虛函數

當然，包括QSqlQueryModel在內的各種具體模型類都實現了這兩個虛函數，以此成為一個支持數據預取(prefetch)的模型類。canFetchMore()的作用是判斷是否還能獲取到更多的數據記錄，如果是則返回TRUE否則返回FALSE。fetchMore()的作用是具體獲取到更多的數據。

在這次調試實測過程中，創建了一個QSqlQueryModel的派生類ButianyunSqlQueryModel，用於觀測何時調用這兩個數據預取函數。

在這裡插入圖片描述

ButianyunSqlQueryModel實現了數據預取虛函數

下麵是調試過程中看到的函數調用棧。

在這裡插入圖片描述

QT模型視圖代理框架中對數據預取函數的調用棧

至此對與本文主題相關的表格控制項的調試分析工作已經完成。

總結

本文先通過一個具體應用實例(QT高性能表格控制項分頁展示百萬行數據)展示了從1000萬條SQLite數據記錄中查詢10000條記錄並快速顯示在QT表格控制項的實際運行效果，同時給出了這個實例的一些源代碼。然後介紹了QT表格控制項QTableView和QT資料庫組件的一些類型。後面又通過QT源碼調試分析了為什麼QT表格控制項的性能如此之高的底層邏輯。

推薦QT性能優化技術博客專欄：
QT性能優化

如果您認為這篇文章對您有所幫助，請您一定立即點贊+喜歡+收藏，本文作者將能從您的點贊+喜歡+收藏中獲取到創作新的好文章的動力。如果您認為作者寫的文章還有一些參考價值，您也可以關註這篇文章的作者。

C語言研發工程師 C++軟體工程師 QT開發工程師 界面美化 控制項美化 C/C++/QT/QT5精講系列視頻課程

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Go 變數
    在Go中，有不同的**變數類型**，例如： - `int` 存儲整數（整數），例如123或-123 - `float32` 存儲浮點數字，帶小數，例如19.99或-19.99 - `string` - 存儲文本，例如“ Hello World”。字元串值用雙引號括起來 - `bool` 存儲具有兩個 ...
  • 學好Elasticsearch系列-分詞器
    本文已收錄至Github，推薦閱讀 👉 [Java隨想錄](https://github.com/ZhengShuHai/JavaRecord) 微信公眾號：[Java隨想錄](https://mmbiz.qpic.cn/mmbiz_jpg/jC8rtGdWScMuzzTENRgicfnr91C5 ...
  • 零基礎嘗試搭建docker和nacos環境
    最近颱風肆虐，已進入我國24小時警戒線！颱風“卡努”到底要去哪兒？ 作為一個Python程式員，雖然我幫不上忙，但是時時關註一下還是可以的，順便祈禱一下臺風往東邊某個小日子過得不錯的小島吹。 於是我花了一分鐘，用Python寫了一個獲取天氣數據的代碼，然後進行數據分析，看看到底吹不吹的過去。 首先我 ...
  • python教程 入門學習筆記 第8天 安裝插件sublimeREPL 設置快捷鍵 BUG解答
    6、安裝插件sublimeREPL 需要安裝插件：sublimeREPL，才能在sublime編譯器中接受鍵盤輸入的信息，才能執行交互結果 插件安裝快捷鍵：ctrl+shift+P，打開插件安裝面板 輸入install後，選擇package control:install package 安裝插件管 ...
  • 桌面應用打包：pyinstaller
    在使用python開發一些小工具時，如果其他人電腦中沒有python環境或者沒有安裝相應的第三方庫，是沒辦法運行的，而要求對方安裝又不現實，尤其是對方不是技術人員，因此如何將一個獨立的python程式，使它成為成為一個不用考慮環境，雙擊即可運行的桌面應用呢？使用pyinstaller打包是一個不錯的... ...
  • SpringBoot入門
    # 基於python tornado實現的簡易圖床 項目地址 > 因為買了阿裡/騰訊的雲伺服器，但是使用雲存儲還需要收費，又加上家裡正好有一臺`nas`，又加上閑的沒事，所以搞了一個小腳本 > > 這個項目主要功能是為`typora`增加一個自定義圖床 > > 歡迎提出issues和pr，如果閑的沒 ...
  • 從零玩轉系列之微信支付實戰PC端支付微信取消介面搭建 | 技術創作特訓營第一期
    # 一、前言 [從零玩轉系列之微信支付實戰PC端支付微信取消介面搭建 | 技術創作特訓營第一期 ](​https://cloud.tencent.com/developer/article/2308342) halo各位大佬很久沒更新了最近在搞微信支付,因商戶號審核了我半個月和小程式認證也找了資料並 ...
  • Java後端07（Spring未完成）
    ## Spring ​ 涉及的設計模式：單例模式，簡單工廠模式，代理模式，觀察者模式，反射，註解。。。。。 ### Spring配置文件文件頭 ```xml ``` ### IOC 控制反轉 將創建對象的權力由開發者交 給 Spring（緩解對象和對象之間的耦合度） ​ 在傳統模式下，對象的創建和賦 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類