ElasticSearch固然好用,但這些南牆不能撞

来源:https://www.cnblogs.com/88223100/archive/2023/03/24/ElasticSearch-is-easy-to-use-but-these-south-walls-cannot-be-hit.html
-Advertisement-
Play Games

一、管理方式 ElasticSearch作為最常用的搜索引擎組件,在系統架構中發揮極其重要的能力,可以極大的提升數據的載入和檢索效率;但不可否認的是,在長期的應用實踐中,也發現很多不好處理的流程和場景; 從直觀感覺上說,業務中對索引的使用主要涉及如圖的幾個流程,其核心也就是索引的結構維護與數據的流動 ...


一、管理方式

ElasticSearch作為最常用的搜索引擎組件,在系統架構中發揮極其重要的能力,可以極大的提升數據的載入和檢索效率;但不可否認的是,在長期的應用實踐中,也發現很多不好處理的流程和場景;

圖片

 

從直觀感覺上說,業務中對索引的使用主要涉及如圖的幾個流程,其核心也就是索引的結構維護與數據的流動管理兩個模塊;

 

如果數據結構比較簡單且體量小,那麼使用起來可能很順手;如果數據主體複雜且會動態擴展,並且體量偏大,那麼就很容易踩中一些比較坑的點;

 

比如:索引中欄位一旦有誤,調整的流程十分複雜;數據流向索引中的方式,需要根據場景靈活選擇;以及數據查詢時的深度分頁問題;下麵將圍繞這些問題來總結下應對策略;

 

順帶補充一句,其實很多組件在應用的時候都有不太符合預期的地方,所以在集成時可以考慮編寫自定義的管理程式,來解決使用時可能存在的問題;

 

二、結構維護

對於ES索引的結構維護,數據主體如果相對簡單的話,可以考慮手動管理,但實際上使用索引時,通常主體結構都比較複雜,欄位個數超過三五十都很常見,所以基於流程化的管理很有必要;

圖片

 

結構映射:將需要構建索引的主體結構,在欄位庫中統一維護,值得註意的是欄位名稱和類型,欄位可以與關係型資料庫的查詢一致,但是不同組件類型的描述不一樣,尤其對ES來說,如果欄位類型不合理,會影響搜索的使用;

 

索引結構:在實際的業務場景中,欄位的信息是會動態變化的,這就會給索引結構的維護帶來很多麻煩,欄位的增減都好管理,但是如果涉及類型的變動,則存在索引重建的過程,會導致數據多次重新調度,這也是風險較高的操作;

 

程式維護:這種結構維護的機制,其核心目的是把整個流程進行程式化管理,避免人工進行干預,以此來確保索引結構的穩定擴展;

 

不得不提的一個經驗教訓,曾經在管理業務日誌的索引結構時,出現過一次誤刪動作,好在可以重新構建和數據備份恢復,但是依舊給心裡留下了幾釐米的陰影,此後也將維護流程徹底程式化,避免失誤動作發生;

 

三、數據調度

1、同步方案

數據的調度管理,其本質就是將數據從一個容器向另一個容器搬運或者拷貝,其核心操作就是讀和寫兩個動作,但是為了讓流程具備容錯和穩定性,通常需要做策略和方案的設計;

 

圖片

 

同步雙寫:對數據的實時性要求極高,通常在一個事務中完成數據的雙寫動作,保證數據層面的強一致性;

 

非同步解耦:在完成資料庫的寫動作之後,基於MQ消息解耦索引的寫入,流程存在輕微的延遲,如果消費失敗會導致數據缺失;

 

定時任務:通過任務調度的方式,以指定的時間周期執行新增數據的同步機制,存在明顯的時效問題;

 

組件同步:採用合適的同步組件,比如官方提供的組件或者一些第三方開源的組件,在原理上與任務同步類似;

 

數據同步的選型方案有多種,如何選擇完全看具體的場景,在過往的使用過程中,對於核心業務會採用同步雙寫,對於內部的活動類業務會採用非同步的方式,對於業務日誌會採用任務調度,對於系統的監控或執行日誌則多是依賴同步組件;

 

2、中斷和恢復

無論採用何種方式將數據同步到索引中,都不得不面對一個靈魂問題,如果流程突然異常中斷,恢復後如何保證索引數據不丟失?這個問題適應於很多複雜的流程;

 

圖片

 

容錯性是衡量一個複雜流程的核心指標,比如在索引數據同步的過程,需要短暫性的暫停,或者流程被迫中斷時,都應該具備恢復後自動修複索引中數據缺失的能力;

 

ES實踐中一個非常經典的問題,修改索引的結構時需要進行索引重建,此時要將當前索引遷入臨時索引中,在完成索引結構調整之後,需要從臨時索引中遷回數據,在此過程中,可以對服務交互的索引名稱動態調整;

 

圖片

 

當然也可以直接使用臨時索引作為交互索引,避免一次遷移動作,這種動態的識別需要在服務中嵌入,在整個reindex過程中要避免手動干預,個人還是更相信程式的安全性和準確性;

 

四、刷新策略

在向ES索引中寫數據時,存在三種不同的數據刷新機制,查看6.8版本的設置中,參數refresh_interval設置的是1s時間,即執行寫入動作1秒後數據才可以被搜索到,避免頻繁寫入消耗過多的資源;

 

NONE:預設的刷新策略,請求提交之後不會等待數據刷新,降低資源消耗但數據實時性低;

 

IMMEDIATE:請求提交後立即刷新索引,數據的實時性很高但是資源消耗過大,API文檔中建議測試使用;

 

WAIT_UNTIL:請求提交之後會等待索引刷新完成才會結束,相對來說是一種比較平衡的策略;

 

刷新機制對於索引的數據維護來說,主要在增刪改的動作中,對即時查詢有直接的影響,至於如何選擇還是要結合具體的場景,尤其與同步方案關聯密切,也可以在索引交互中動態維護策略,來應對不時之需;

 

五、深度分頁

 

對於數據查詢來說,幾乎都存在分頁的需求,在常見的應用中,不斷下拉的功能都是存在最大的極限值;

 

ES中常用From/Size進行分頁查詢,但是存在一個限制,在索引的設置中存在max_result_window分頁深度的限制,6.8版本預設值是10000條,即10000之後的數據無法使用From/Size翻頁;

 

先從實際應用場景來分析,大多數的翻頁需求最多也就前10頁左右,所以從這個角度考慮,ES的翻頁限制在合理區間,在實踐中也存在對部分索引調高的情況,暫未出現明顯問題;

 

再從技術角度來思考一下,如果翻頁的參數過大意味著更多的數據過濾,那計算資源的占用也會升高,ES引擎的強大在於搜索能力,檢索出符合要求的數據即可;

 

圖片

 

不管是ES還是其它類似的分散式存儲組件,甚至是MySQL分庫分表模式,其本質都是數據分佈在不同服務節點的不同數據片上;常規的執行原理都是給請求分配一個主節點,協調各個節點執行相同的查詢,並完成結果彙總和響應,深度分頁時計算資源的占用自然非常高;

 

如果一定需要深度分頁,在6.8的版本中提供了Scroll或Search-After兩種其他的方式,用法參考相關文檔即可。

 

>>>>
參考源碼
  • 編程文檔:

    https://gitee.com/cicadasmile/butte-java-note

  • 應用倉庫:

    https://gitee.com/cicadasmile/butte-flyer-parent

 

作者丨 知了一笑 

本文來自博客園,作者:古道輕風,轉載請註明原文鏈接:https://www.cnblogs.com/88223100/p/ElasticSearch-is-easy-to-use-but-these-south-walls-cannot-be-hit.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • windows安裝redis及配置教程,附網盤資源 鏈接:https://pan.baidu.com/s/1KvcyY27_q7aI2hQ7QRsEGA?pwd=iidx 一、windows系統安裝及配置 解壓文件,準備開始配置、安裝服務。 1.1、註冊redis的windows服務 在該文件夾中打 ...
  • windows安裝mysql8免安裝版教程,附網盤資源 鏈接:https://pan.baidu.com/s/1_qagfA-i7CbeWG3urIAlgw?pwd=iidx 提取碼:iidx 一、前言 本次使用的mysql版本為mysql8.0.32,安裝的系統為windows系統。使用免安裝的方 ...
  • 本文分享自華為雲社區《選擇KV資料庫最重要的是什麼?》,作者:GaussDB 資料庫 。 經常有客戶提到KV資料庫,但卻偏偏“不要Redis”。比如有個做安全威脅分析平臺的客戶,他們明確表示自己對可靠性要求非常高,需要的不是開源Redis這種記憶體緩存庫,而是KV資料庫。 雖然最後我也沒問清楚他們業務 ...
  • 一、工具介紹 YCSB 於 2010 年開源,YCSB是雅虎開源的NoSQL測試工具,通常用來對noSQL資料庫進行性能,註意此工具僅支持varchar和text類型,且列的長度可以增加,預設是10列,可以根據自己的需要增加列長。運行一個壓力測試需要 6 步: 配置需要測試的資料庫 選擇合適的資料庫 ...
  • 在MySQL中,如果訪問/連接MySQL資料庫時遇到“ERROR 2003 (HY000): Can't connect to MySQL server on 'xxx.xxx.xxx.xxx:xxx' (111)”這個錯誤,我們應該從哪些方面進行考慮和排查問題呢? 下圖是我總結整理的一個思維導圖, ...
  • 生產者創建消息。在其他基於發佈與訂閱的消息系統中,生產者可能被稱為發佈者 或 寫入者。 一般情況下,一個消息會被髮布到一個特定的主題上。生產者在預設情況下把消息均衡地分佈到主題的所有分區上,而並不關心特定消息會被寫到哪個分區。不過,在某些情況下,生產者會把消息直接寫到指定的分區。這通常是通過消息鍵和 ...
  • ChunJun 是一款穩定、易用、高效、批流一體的數據集成框架,⽀持海量數據的同步與計算。ChunJun 既可以採集靜態的數據,比如 MySQL,HDFS 等,也可以採集實時變化的數據,比如 binlog,Kafka 等。同時 ChunJun 也是一個支持原生 FlinkSQL 所有語法和特性的計算 ...
  • 資料庫設計 一、資料庫設計概述 資料庫的生命周期 從資料庫演變過程的角度來看,資料庫的生命周期可分為兩個階段: 資料庫分析與設計階段 需求分析 概念設計 邏輯設計 物理設計 資料庫實現與操作階段 資料庫的實現 操作與監督 修改與調整 資料庫設計的目標 滿足應用功能需求:主要是指用戶當前與可預知的將來 ...
一周排行
    -Advertisement-
    Play Games
  • 周末,寫點簡單的水一下。 新版本的vs創建項目的時候可以選擇自帶一個swagger。然而這隻是基本的swagger功能。 幾個介面無所謂啦,隨著介面越來越多,就這麼丟給你,一時間也會懵逼,所以這篇文章要做的有兩個功能。 給swagger文檔添加註釋 給swagger添加切換“版本”的功能(也可以理解 ...
  • 大家好,我是沙漠盡頭的狼。 本文首發於Dotnet9,介紹使用Lib.Harmony庫攔截第三方.NET庫方法,達到不修改其源碼並能實現修改方法邏輯、預期行為的效果,並且不限於只攔截public訪問修飾的類及方法,行文目錄: 什麼是方法攔截? 示常式序攔截 非public方法怎麼攔截? 總結 1. ...
  • 問題代碼: xmal:一個按鈕+一個顯示框 1 <Button Width="100" Height="50" Margin="10" Click="Button_Click">test</Button> 2 <TextBox x:Name="display" Width="300" Height= ...
  • 前置條件 ​ 阿裡雲伺服器一臺(可在購買伺服器時勾選安裝寶塔選項,免去後面的寶塔安裝) ​ 設置阿裡雲伺服器密碼並登陸伺服器 ​ 以下操作均在伺服器Linux中進行(使用遠程連接工具登錄) 寶塔登錄 登錄阿裡雲伺服器在Linux命令行中輸入bt,查看寶塔信息 ​ 根據寶塔信息提供的網站登陸寶塔服務( ...
  • GetTokenInformation 用於檢索進程或線程的令牌(Token)信息。Token是一個數據結構,其包含有關進程或線程的安全上下文,代表當前用戶或服務的安全標識符和許可權信息。GetTokenInformation函數也可以用來獲取這些安全信息,通常用於在運行時檢查某個進程或線程的許可權或安... ...
  • matplotlib 在1.0版本之前其實是不支持3D圖形繪製的。 後來的版本中,matplotlib加入了3D圖形的支持,不僅僅是為了使數據的展示更加生動和有趣。更重要的是,由於多了一個維度,擴展了其展示數據分佈和關係的能力,可以一次從三個維度來比較數據。 下麵介紹在matplotlib中繪製各類 ...
  • 編寫一個App就能編譯發佈到iOS、Android和Web等各大平臺的跨平臺技術,各大廠商一直都有研究和發佈對應技術產品,目前最熱門的莫過於Flutter框架了。而Dart作為其唯一的編程語言,今天我們開始來體驗一下…… ...
  • 實現基本的線程池 前提:我們要實現的線程池有如下功能: 基本的線程池模型 能提交和運行任務 能正常關閉線程池 線程的拒絕策略 線程池擴容 縮容線程池 代碼地址: 1、線程池的介紹? 線程池是什麼? 線程池是一種利用池化技術來管理線程的一種技術。 當沒有線程池的時候,我們如何創建線程? 繼承Threa ...
  • SDRAM基本信息 儲存能力計算 4X16X4=256(Mbit),註意不是MByte SDRAM控制 sdram包含兩個部分:sdram_ctrl、fifo_ctrl。 sdram_ctrl:其頂層為SDRAM的控制模塊內部實例化了5個模塊,有初始化、自刷新、寫和讀模塊,還有一個仲裁模塊對這四個不 ...
  • 歡迎訪問我的GitHub 這裡分類和彙總了欣宸的全部原創(含配套源碼):https://github.com/zq2599/blog_demos 本篇概覽 欣宸正在為接下新的Java雲原生實戰系列原創做準備,既然是實戰,少不了一套雲原生環境,以下內容是必不可少的: linux操作系統 kuberne ...