讀發佈!設計與部署穩定的分散式系統(第2版)筆記11_無限長的結果集

来源:https://www.cnblogs.com/lying7/archive/2023/06/25/17501821.html
-Advertisement-
Play Games

![](https://img2023.cnblogs.com/blog/3076680/202306/3076680-20230624223008408-1032311269.png) # 1. 無限長的結果集是導致響應緩慢的常見原因 ## 1.1. 當違反穩態模式時,就可能產生無限長的結果集 # ...


1. 無限長的結果集是導致響應緩慢的常見原因

1.1. 當違反穩態模式時,就可能產生無限長的結果集

1.2. 當調用方允許另一個系統支配調用時,就會出現一個無限長的結果集

2. 資料庫突然返回500萬行,而不是通常的100多行時會發生什麼?

2.1. 在用戶失去興趣後的很長時間內,還在一個while迴圈中打轉

2.2. 除非應用程式明確限制了其可以處理的結果數量,否則系統就可能會耗盡記憶體

3. 早期的社交媒體網站假定每個用戶的連接數量將會呈現鐘形曲線一樣的分佈,但事實上是一個冪律分佈

3.1. 如果使用鐘形曲線分散式關係進行測試,則永遠不會期望能載入一個其關係數量比平均值多幾百萬倍的實體

3.2. 但是當使用冪律分佈時,肯定會出現這種情況

4. 某表從不會超過1000行,但DBA發現,它位於最大系統開銷查詢列表之首

4.1. 高CPU使用率看起來像是垃圾回收造成的

4.2. 這個通常很小的表,當時竟然擁有超過1000萬行的記錄

4.2.1. 由於在開發過程中的數據集往往很小,因此應用程式開發工程師可能永遠不會體驗到這樣的負面後果

4.3. 避免這台應用程式伺服器查詢中缺少LIMIT子句所造成的災難

4.4. sql

-- Microsoft SQL Server

SELECT TOP 15 colspec FROM tablespec
-- Oracle(since 8i)
SELECT colspec FROM tablespec
WHERE rownum <= 15
-- MySQL and PostgreSQL
SELECT colspec FROM tablespec
LIMIT 15

5. 解決方案

5.1. 在所有API或協議中,調用方應該始終指出準備接受的響應數目

5.2. 註意所有可能會累積無限子記錄的資料庫關係

5.2.1. 標準的SQL語法限定結果集的大小

5.3. 可以先對完整的結果集進行查詢,但在達到最大行數後,就跳出處理迴圈

5.3.1. 給應用程式伺服器提供一些額外的穩定性,但代價是浪費了資料庫的系統容量

5.4. 使用切合實際的數據量

5.5. 在前端發送分頁請求

5.6. 不要依賴數據生產者

5.6.1. 由於系統某個其他部分的作用,這個數量可能會在沒有警告的情況下發生變化

5.6.2. 合理的數量只能是“零”“一”和“許多”

5.6.3. 除非單單查詢某一行,否則就有可能返回太多結果

5.6.4. 要想對創建的數據量加以限制,不要依賴數據生產者

5.7. 在其他應用程式級別的協議中使用返回數量限制機制

5.7.1. 服務調用、RMI、DCOM、XML-RPC以及任何其他類型的請求-回覆調用,都容易返回巨量的對象,從而消耗太多記憶體


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • ![file](https://img2023.cnblogs.com/other/3195851/202306/3195851-20230625185718639-2144905227.jpg) > 近日,Apache SeaTunnel 正式發佈 2.3.2 版本。此時距離上一版本 2.3.1 ...
  • 摘要:本文將介紹如何在 Docker 環境下搭建 MS SQL Server 的主從同步,幫助讀者瞭解主從同步的原理和實現方式,進而提高數據的可靠性和穩定性。 一、前言 在當今信息化的時代,數據的安全性和穩定性顯得尤為重要。資料庫是許多企業和組織存儲和管理數據的核心,因此如何保證資料庫的高可用性和數 ...
  • ## case1(表鎖的讀-寫-讀阻塞) 上篇文檔中提到過 >WRITE locks normally have higher priority than READ locks to ensure that updates are processed as soon as possible. Thi ...
  • 很多小微型應用程式也需要一些數據處理和計算能力,如果集成一個資料庫就顯得太沉重了,這種情況下 SQLite 是一個不錯的選擇,它架構簡單,集成方便,可持久化存儲數據,並提供 SQL 實現計算能力。 但是,對於某些較複雜的場景,SQLite 仍有不足之處。 ...
  • 開心一刻 今天答應準時回家和老婆一起吃晚飯,但臨時有事加了會班,回家晚了點 回到家,本以為老婆會很生氣,但老婆卻立即從廚房端出了熱著的飯菜 老婆:還沒吃飯吧,去洗下,來吃飯吧 我洗好,坐下吃飯,內心感動十分;老婆坐旁邊深情的看著我 老婆:你知道誰最愛你嗎 我毫不猶豫道:你 老婆:誰最關心你? 我:你 ...
  • # 引言 在當今互聯網時代,數據的規模和複雜性不斷增長,傳統關係型資料庫面臨著無法滿足高併發和大規模數據存儲需求的挑戰。為瞭解決這一問題,開源社區涌現出了一系列分散式資料庫解決方案,其中TiDB作為一種新興的分散式資料庫引起了廣泛的關註。本文將介紹TiDB的基本概念、特點以及適用的應用場景。 TiD ...
  • ### 背景 在項目中有集成低代碼平臺的想法,經過多方對比最後選擇了 amis,主要是需要通過 amis 進行頁面配置,導出 json 供移動端和 PC 端進行渲染,所以接下來講一下近兩周研究 amis 的新的以及一些簡單經驗,供大家參考. ### 什麼是 amis amis 是一個低代碼前端框架, ...
  • ![](https://img2023.cnblogs.com/blog/3076680/202306/3076680-20230625162750165-109306308.png) # 1. “模式採用量”絕不是好的質量指標 ## 1.1. 應該形成一種“面向恢復”的思維模式 ## 1.2. 良 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...