ES 25 - Elasticsearch的分頁查詢及其深分頁問題 (deep paging)

来源:https://www.cnblogs.com/shoufeng/archive/2019/08/09/11329664.html
-Advertisement-
Play Games

Elasticsearch 如何進行分頁查詢? 如果起始頁、頁大小很大會有性能上的損耗嗎? 本文從分頁查詢開始, 引出其deep paging (即深層分頁) 問題, 並分析其優劣, 給出解決方法. ...


目錄

1 分頁查詢方法

  • 在GET請求中拼接from和size參數
// 查詢10條數據, 預設從第0條數據開始
GET book_shop/_search?size=10
// 從第0條數據開始(包括第0條), 查詢10條數據
GET book_shop/_search?from=0&size=10
// 從第5條數據開始(包括第5條), 查詢10條數據
GET book_shop/_search?from=5&size=10

2 分頁查詢的deep paging問題

deep paging, 就是深層分頁搜索:

分頁搜索的深度越深, 協調節點(負責分發查詢、彙總結果的ES節點)上要存儲的數據就越多, 協調節點對這些數據整體排序後, 再取對應頁的數據.

這個過程既耗費網路資源, 也耗費記憶體和CPU資源.

應該儘可能避免deep paging操作. —— 方法類似於Solr的游標, 後續補充.

版權聲明

作者: 馬瘦風(https://healchow.com)

出處: 博客園 馬瘦風的博客(https://www.cnblogs.com/shoufeng)

感謝閱讀, 如果文章有幫助或啟發到你, 點個[

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、查看磁碟分區使用狀況 df [選項] 其中,-l是預設選項 -a 會顯示出包括0位元組分區在內的所有文件系統分區 -t 後須跟一個參數,這個參數為文件系統的名字,用來在系統中查找屬於該文件系統的分區 -x 後也須文件系統名作為參數,需要註意的是,若和其他參數混合使用,x需要出現在最後,例如 二、統 ...
  • --方法1.PLSQL代碼塊 SQL> set serveroutput onSQL> declare 2 v_sal emp_pl.sal%type; 3 begin 4 v_sal :=get_sal(7902); 5 dbms_output.put_line('7902的工資是'||v_sal ...
  • PostgreSQL是一個功能強大的開源對象關係資料庫管理系統(ORDBMS),在開源資料庫使用上與MySQL各領風騷。但也有不少人質疑postgresql的未來,正所謂,贊揚或批判一種資料庫都必須先瞭解它,然後才可有話語權。為了更多的瞭解postgresql,我們就先部署一套實例作為瞭解它的基礎。 ...
  • 0 學習路線的知識點概括 學習電腦組成原理,就是學習電腦是如何協調運行的 電腦組成原理的英文叫Computer Organization Organization 意"組織機構"。 該組織機構能夠進行各種計算、控制、讀取輸入,進行輸出,達成各種強大的功能。 把整個電腦組成原理的知識點拆分成了 ...
  • 拿一個小規模的5節點ES集群做冷熱分離嘗試,它上面已經有60多個索引,有些索引按月、每月生成一個索引,隨著數據的不斷寫入,歷史數據(只需保留三個月數據,三個月之前的數據視為歷史數據)越來越占磁碟空間和記憶體資源,影響搜索響應時間。因此想把集群中節點分成2種類型,一種是hot節點,配置大記憶體和SSD,用 ...
  • 1、根據類全名定位對應類型ID select Local_ID,FullName from ubf_md_class where FullName like '命名空間' 2、根據類型ID定位對應數據表欄位屬性 select Local_ID,Local_Class_ID,Name,Length f ...
  • /** 為了清晰化的顯示:所有固定命令都是用大寫格式顯示 SQL語法分類:DML,DDL,DCL (1)DML(Data Manipulation Language ,資料庫操作語言): 數據:增加,修改,刪除 (2)DDL(Data Definition Language,資料庫定義語言 ): 數 ...
  • 最詳細的Oracle安裝步驟就在這裡,話不多說直接給大家上安裝Oracle的詳細教程 如果沒有安裝包,可以先點擊下載下載地址:http://download.oracle.com/otn/nt/oracle11g/112010/win64_11gR2_database_1of2.ziphttp:// ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...