sql server編寫簡潔四則運算表達式腳本實現計算批次功能(C#等其它編程語言也能直接用此通用表達式)

来源:https://www.cnblogs.com/zhang502219048/archive/2019/07/02/11108723.html
-Advertisement-
Play Games

問題: 在資料庫編程開發中,有時會遇到數據量比較大的情況,如果直接大批量進行添加數據、修改數據、刪除數據,就會是比較大的事務,事務日誌也比較大,耗時久的話會對正常操作造成一定的阻塞。雖不至於達到刪庫跑路的程度,但也嚴重影響了用戶體驗,老是卡巴死機的感覺。這時我們可以對這個大批量操作進行分小批事務操作 ...


問題:
  在資料庫編程開發中,有時會遇到數據量比較大的情況,如果直接大批量進行添加數據、修改數據、刪除數據,就會是比較大的事務,事務日誌也比較大,耗時久的話會對正常操作造成一定的阻塞。雖不至於達到刪庫跑路的程度,但也嚴重影響了用戶體驗,老是卡巴死機的感覺。這時我們可以對這個大批量操作進行分小批事務操作處理,使每批時間比較短,減少阻塞。大而化小,小而化了。舉個例子:如果大批事務需要跑5分鐘,那就阻塞了5分鐘;如果分成10個小批,每小批0.5分鐘,那就降低了長時間阻塞的幾率,提高了用戶體驗。
  把目光放寬廣一點,其實不只是在資料庫編程,有時候我們也需要在其他編程語言中,實現分批處理的邏輯,例如使用C#對大批量Excel數據進行處理。
  對於如何求批次這個問題,我們當然是希望有統一的計算公式,不管是什麼編程語言都通用的,而不是換種編程語言,就得根據不同編程語言的語法重新實現這個演算法。以達到快速開發目的,一次寫的表達式,去到哪裡都能通用。
  而求批次(或求分頁數)這個問題有點像初中代數的求解:
  已知總數據量a,每批(或每頁)數據量為b,求所需批次(或所需總頁數)x?
  假設a為388888,b為10000。

解決方案:
方法1(不推薦)
如果是資料庫編程,可能大部分人的思維習慣就是:
先用a / b得出除得盡部分,例如這裡是38;
然後再用case when去判斷a % b除不盡部分也就是餘數是否為0,如果不為0,則批次加1,例如這裡是8888,雖然不夠10000,但是也不在38個批次之內,需要在第39批次。
使用T-SQL實現:@a / @b + case when @a % @b > 0 then 1 else 0 end
缺點:

  • 很明顯這樣的表達式比較長,不是很簡潔。
  • 而且如果改用C#實現,可是不支持case when的,得重新修改表達式實現功能。

方法2(推薦):
可以直接根據四則運算,表達式為(@a + @b - 1) / @b
這個表達式,是博主自己想到的方法,解釋如下:
由於序號是從1開始,第1批是從1到10000,而不是從0到9999,所以這裡@a - 1,就是為了從編程習慣的角度由序號0開始;
而 + @b則是因為,0到9999中任意一個數字,除以每批數據量10000的話,都是 < 1,但實際是當1批了,需要加回。

優點:

  • 單純使用四則運算,無需case when等條件判斷,代碼簡潔。
  • 方便代碼移植到C#等其他語言,只需要把參數改成相應C#變數之類,無需把case when改成C#能支持的if之類條件判斷。

方法3推薦
可以直接根據四則運算,表達式為(@a - 1) / @b + 1
這個表達式,也是博主自己想到的方法,解釋如下:
由於序號是從1開始,第1批是從1到10000,而不是從0到9999,所以這裡@a - 1,就是為了從編程習慣的角度由序號0開始;
而 + 1則是因為,0到9999中任意一個數字,除以每批數據量10000的話,都是 < 1,但實際是當1批了,需要加回。
優點:

  • 單純使用四則運算,無需case when等條件判斷,代碼簡潔。
  • 方便代碼移植到C#等其他語言,只需要把參數改成相應C#變數之類,無需把case when改成C#能支持的if之類條件判斷。

方法2和方法3,從代數的角度看,關係式是等價的:
方法2關係式去掉括弧後是:@a / @b + 1 - 1 / @b
方法3關係式去掉括弧後是:@a / @b - 1 / @b + 1

腳本:

/*
    問題:已知總數據量a,每批數據量為b,求所需批次x?假設a為388888,b為10000。
    腳本來源:https://www.cnblogs.com/zhang502219048/p/11108723.html
*/
declare @a int = 388888,
        @b int = 10000,
        @x1 int,
        @x2 int,
        @x3 int

--方法1(不推薦):除了四則運算外,還有取模運算,而case when條件判斷更是使腳本變得長而複雜,也不利於移植到其他編程語言
select @x1 = @a / @b + case when @a % @b > 0 then 1 else 0 end

--方法2(推薦):只使用四則運算就實現
select @x2 = (@a + @b - 1) / @b

--方法3(推薦):只使用四則運算就實現
select @x3 = (@a - 1) / @b + 1

--查看計算結果
select @x1 as x1, @x2 as x2, @x3 as x3

在博主的上一篇技術博文《sql server使用公用表表達式CTE通過遞歸方式編寫通用函數自動生成連續數字和日期》,說明瞭怎麼批量生成連續數字,我們就直接生成10W數據量來驗證一下本篇博文《sql server編寫簡潔四則運算表達式腳本實現計算批次功能(C#等其它編程語言也能直接用此通用表達式)》所述的計算批次表達式是否正確。
問題擴展到:
已知總數據量a,每批數據量為b,求每條數據所屬批次x?假設a為100000,b為1000。
驗證腳本:

/*
    問題:已知總數據量a,每批數據量為b,求每條數據所屬批次x?假設a為100000,b為1000。
    作者:zhang502219048
    腳本來源:https://www.cnblogs.com/zhang502219048/p/11108723.html
    腳本基於:https://www.cnblogs.com/zhang502219048/p/11108991.html
*/
declare @a int = 100000,
        @b int = 1000

select vid
    --方法1(不推薦):除了四則運算外,還有取模運算,而case when條件判斷更是使腳本變得長而複雜,也不利於移植到其他編程語言
    , x1 = vid / @b + case when vid % @b > 0 then 1 else 0 end
    --方法2(推薦):只使用四則運算就實現
    , x2 = (vid + @b - 1) / @b
    --方法3(推薦):只使用四則運算就實現
    , x3 = (vid - 1) / @b + 1
into #t
from fun_ConcatStringsToTable(1,@a)

--查看所有數據和所屬批次
select * from #t
--檢查批次計算結果是否一致
select distinct case when x1 = x2 and x2 = x3 then 'Right!' else 'Wrong!' end as Result
from #t

drop table #t

驗證腳本運行結果:


總結:
博主對於計算批次的新思路就介紹到這裡,大家如果覺得有用的話可以直接拿來用,是不是覺得很方便呢?感覺為批次計算的演算法註入了新的思想,標新立異。

【轉載請註明博文來源:https://www.cnblogs.com/zhang502219048/p/11108723.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、rpm 簡介 這是一個資料庫管理工具,可以通過讀取資料庫,判斷軟體是否已經安裝,如果已經安裝可以讀取出來所有文件的所在位置等,並可以實現刪除這些文件。 rpm:RPM is Redhat Package Manager(遞歸縮寫) rpm可以完成的操作 安裝軟體 卸載軟體 查詢軟體信息 升級、降 ...
  • 參考文章:https://www.jianshu.com/p/97c35d569aa3 因為Ubuntu自帶的源伺服器在國外,下載和更新軟體的時候速度很慢,不穩定,所以需要將源更新為國內的源。國內的源比較多,常用的就是阿裡的源。 1.備份原有源文件,方便在替換出問題時回滾 2.更改sources.l ...
  • 作用 實現對不同伺服器時間的同步校準 NTP時間服務 第一步 安裝 第二步 設置 進入配置文件 然後刪除裡面的所有內容。並插入以下代碼 第三部 重啟NTP服務 第四部 檢查NTP服務狀態 第五部 客戶端下載NTP客戶端服務 第六步 啟動測試 [root@localhost ~]# date -s " ...
  • 一 Kubernetes證書 1.1 TLS Kubernetes系統的各個組件需要使用TLS證書對其通信加密以及授權認證,建議在部署之前先生成相關的TLS證書。 1.2 CA證書創建方式 kubernetes 系統各個組件需要使用TLS證書對通信進行加密,通常可通過以下工具生產自建證書: open ...
  • 顯示屏幕(LCD)模塊提供屏幕相關功能介面,調用者為上層應用模塊(含 init、狀態機、ui),上下文依賴關係,如圖 3 7 所示。 系統框架為 linux+Huawei LiteOS 雙系統架構,媒體業務部署在 Huawei LiteOS 端,為了上電快速預覽,需要屏幕需部署在 Huawei Li ...
  • 本博客代碼運行環境 什麼是MQ 本教程pdf及代碼下載地址:代碼:https://download.csdn.net/download/zpcandzhj/10585077教程:https://download.csdn.net/download/zpcandzhj/10585092 RabbitM ...
  • 1、整數類型 I.有符號整型 (1) Tinyint:單位元組整形,系統採用一個位元組來保存的整形:一個位元組 = 8位,最大能表示的數值是0-255. (2) Smallint:雙位元組整形,系統採用兩個位元組來保存的整形:能表示0-65535之間 (3) Mediumint:三位元組整形,採用三個位元組來保存 ...
  • 一、Oracle歷史 於1977年拉里埃里森和他三個朋友成立了軟體研發公司,併在之後給中央情報局開發了命名為Oracle而出名,併在之後將公司名改為Oracle。1989年以甲骨文命名進入中國。 Oracle以數據存儲量大、處理速度快、安全性高一級容錯性強等特點。 二、Oracle的安裝(windo ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...