Elasticsearch 寫入優化,從 3000 到 8000/s,讓你的 ES 飛起來。。。

来源:https://www.cnblogs.com/javastack/archive/2022/05/13/16267475.html
-Advertisement-
Play Games

背景 基於elasticsearch-5.6.0 機器配置:3個雲ecs節點,16G,4核,機械硬碟 優化前,寫入速度平均3000條/s,一遇到壓測,寫入速度驟降,甚至es直接頻率gc、oom等;優化後,寫入速度平均8000條/s,遇到壓測,能在壓測結束後30分鐘內消化完數據,各項指標回歸正常。 生 ...


背景

  • 基於elasticsearch-5.6.0
  • 機器配置:3個雲ecs節點,16G,4核,機械硬碟

優化前,寫入速度平均3000條/s,一遇到壓測,寫入速度驟降,甚至es直接頻率gc、oom等;優化後,寫入速度平均8000條/s,遇到壓測,能在壓測結束後30分鐘內消化完數據,各項指標回歸正常。

生產配置

這裡我先把自己優化的結果貼出來,後面有參數的詳解:

elasticsearch.yml中增加如下設置

indices.memory.index_buffer_size: 20%
indices.memory.min_index_buffer_size: 96mb

# Search pool
thread_pool.search.size: 5
thread_pool.search.queue_size: 100
# 這個參數慎用!強制修改cpu核數,以突破寫線程數限制
# processors: 16
# Bulk pool
#thread_pool.bulk.size: 16
thread_pool.bulk.queue_size: 300
# Index pool
#thread_pool.index.size: 16
thread_pool.index.queue_size: 300

indices.fielddata.cache.size: 40%

discovery.zen.fd.ping_timeout: 120s
discovery.zen.fd.ping_retries: 6
discovery.zen.fd.ping_interval: 30s

索引優化配置:

PUT /_template/elk
{
      "order": 6,
      "template": "logstash-*",    #這裡配置模板匹配的Index名稱
      "settings": {
        "number_of_replicas" : 0,    #副本數為0,需要查詢性能高可以設置為1
        "number_of_shards" :   6,    #分片數為6, 副本為1時可以設置成5
         "refresh_interval": "30s",
         "index.translog.durability": "async",
        "index.translog.sync_interval": "30s"

      }
}

優化參數詳解

精細設置全文域: string類型欄位預設會分詞,不僅會額外占用資源,而且會影響創建索引的速度。所以,把不需要分詞的欄位設置為not_analyzed

禁用_all欄位: 對於日誌和apm數據,目前沒有場景會使用到

副本數量設置為0: 因為我們目前日誌數據和apm數據在es只保留最近7天的量,全量日誌保存在hadoop,可以根據需要通過spark讀回到es – 況且副本數量是可以隨時修改的,區別分片數量

使用es自動生成id: es對於自動生成的id有優化,避免了版本查找。因為其生成的id是唯一的

設置index.refresh_interval: 索引刷新間隔,預設為1s。因為不需要如此高的實時性,我們修改為30s – 擴展學習:刷新索引到底要做什麼事情

設置段合併的線程數量:

curl -XPUT 'your-es-host:9200/nginx_log-2018-03-20/_settings' -d '{ 
   "index.merge.scheduler.max_thread_count" : 1
}'

段合併的計算量龐大,而且還要吃掉大量磁碟I/O。合併在後臺定期操作,因為他們可能要很長時間才能完成,尤其是比較大的段

機械磁碟在併發I/O支持方面比較差,所以我們需要降低每個索引併發訪問磁碟的線程數。這個設置允許max_thread_count + 2個線程同時進行磁碟操作,也就是設置為1允許三個線程

擴展學習:什麼是段(segment)?如何合併段?為什麼要合併段?(what、how、why)另外,ES 系列面試題和答案全部整理好了,微信搜索​Java技術棧,在後臺發送:面試,​可以線上閱讀。

1.設置非同步刷盤事務日誌文件:

"index.translog.durability": "async",
"index.translog.sync_interval": "30s"

對於日誌場景,能夠接受部分數據丟失。同時有全量可靠日誌存儲在hadoop,丟失了也可以從hadoop恢復回來

2.elasticsearch.yml中增加如下設置:

indices.memory.index_buffer_size: 20%
indices.memory.min_index_buffer_size: 96mb

已經索引好的文檔會先存放在記憶體緩存中,等待被寫到到段(segment)中。緩存滿的時候會觸發段刷盤(吃i/o和cpu的操作)。預設最小緩存大小為48m,不太夠,最大為堆記憶體的10%。對於大量寫入的場景也顯得有點小。

擴展學習:數據寫入流程是怎麼樣的(具體到如何構建索引)?

1.設置index、merge、bulk、search的線程數和隊列數。例如以下elasticsearch.yml設置:

# Search pool
thread_pool.search.size: 5
thread_pool.search.queue_size: 100
# 這個參數慎用!強制修改cpu核數,以突破寫線程數限制
# processors: 16
# Bulk pool
thread_pool.bulk.size: 16
thread_pool.bulk.queue_size: 300
# Index pool
thread_pool.index.size: 16
thread_pool.index.queue_size: 300

2.設置filedata cache大小,例如以下elasticsearch.yml配置:

indices.fielddata.cache.size: 15%

filedata cache的使用場景是一些聚合操作(包括排序),構建filedata cache是個相對昂貴的操作。所以儘量能讓他保留在記憶體中

然後日誌場景聚合操作比較少,絕大多數也集中在半夜,所以限制了這個值的大小,預設是不受限制的,很可能占用過多的堆記憶體

擴展學習:什麼是filedata?構建流程是怎樣的?為什麼要用filedata?(what、how、why)

1.設置節點之間的故障檢測配置,例如以下elasticsearch.yml配置:

discovery.zen.fd.ping_timeout: 120s
discovery.zen.fd.ping_retries: 6
discovery.zen.fd.ping_interval: 30s

大數量寫入的場景,會占用大量的網路帶寬,很可能使節點之間的心跳超時。並且預設的心跳間隔也相對過於頻繁(1s檢測一次)

此項配置將大大緩解節點間的超時問題

後記

這裡僅僅是記錄對我們實際寫入有提升的一些配置項,沒有針對個別配置項做深入研究。

擴展學習後續填坑。基本都遵循(what、how、why)原則去學習。

版權聲明:本文為CSDN博主「無影V隨風」的原創文章,遵循CC 4.0 BY-SA版權協議,轉載請附上原文出處鏈接及本聲明。原文鏈接:https://blog.csdn.net/wmj2004/article/details/80804411

近期熱文推薦:

1.1,000+ 道 Java面試題及答案整理(2022最新版)

2.勁爆!Java 協程要來了。。。

3.Spring Boot 2.x 教程,太全了!

4.別再寫滿屏的爆爆爆炸類了,試試裝飾器模式,這才是優雅的方式!!

5.《Java開發手冊(嵩山版)》最新發佈,速速下載!

覺得不錯,別忘了隨手點贊+轉發哦!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.“new”有什麼不對勁? 在我們沒有接觸到工廠模式(簡單工廠、工廠方法模式、抽象工廠模式)之前,我們實例化對象唯一的方法就是通過“new”關鍵字來完成。但是,大量的使用“new”關鍵字來實例化對象會違背一些設計原則,因為代碼與具體的類型綁在一起,從而導致過多的依賴於細節而非抽象,這樣代碼就很難適 ...
  • 到目前為止,我們知道Spring創建Bean對象有5中方法,分別是: 使用FactoryBean的getObject方法創建 使用BeanPostProcessor的子介面InstantiationAwareBeanPostProcessor的postProcessBeforeInstantiati ...
  • package com.exception.demo01;public class demo01 { public static void main(String[] args) { try{new demo01().a();}//StackOverflowError異常 catch (Throwa ...
  • 介紹:本文用的經典的前後端分離開源項目ruoyi Gitee鏈接地址:https://gitee.com/y_project/RuoYi 一、拉取項目: 利用Git把項目拉取到本地,也可以直接利用idea工具拉取,如圖點擊Get from VCS 填入遠程倉庫地址url,點擊clonde 等待一段時 ...
  • 博客推行版本更新,成果積累制度,已經寫過的博客還會再次更新,不斷地琢磨,高質量高數量都是要追求的,工匠精神是學習必不可少的精神。因此,大家有何建議歡迎在評論區踴躍發言,你們的支持是我最大的動力,你們敢投,我就敢肝 ...
  • 本文緊接上文的AQS源碼,如果對於ReentrantLock沒有基礎可以先閱讀我的上一篇文章學習ReentrantLock的源碼 ReentrantLock鎖重入原理 重入加鎖其實就是將AQS的state進行加一操作 然後釋放鎖資源將AQS的state進行減一操作 當state為0時才會徹底的釋放鎖 ...
  • 目錄 一.簡介 二.效果演示 三.源碼下載 四.猜你喜歡 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 基礎 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 轉場 零基礎 O ...
  • 鑒於本屆諸多同學在一開始接觸到軟體構造課程時出現了對於Github的使用以及對於文件目錄的設置等諸多問題,本人雖然很菜,但是願意寫本篇博客以記錄一些前置內容的操作方法,如有謬誤,敬請指正!謝謝! ...
一周排行
    -Advertisement-
    Play Games
  • 分組和樹形結構是不一樣的。 樹形結構是以遞歸形式存在。分組是以鍵值對存在的形式,類似於GroupBy這樣的形式。 舉個例子 ID NAME SEX Class 1 張三 男 1 2 李四 女 2 3 王二 男 1 當以Sex為分組依據時則是 Key Value 男 1 張三 男 1 3 王二 男 1 ...
  • NetCore中將SQLServer資料庫備份為Sql腳本 描述: 最近寫項目收到了一個需求, 就是將SQL Server資料庫備份為Sql腳本, 如果是My Sql之類的還好說, 但是在網上搜了一大堆, 全是教你怎麼操作SSMS的, 就很d疼! 解決方案: 通過各種查找資料, 還有一些老哥的幫助, ...
  • 我的Notion Clowd.Squirrel Squirrel.Windows 是一組工具和適用於.Net的庫,用於管理 Desktop Windows 應用程式的安裝和更新。 Squirrel.Windows 對 Windows 應用程式的實現語言沒有任何要求,甚至無需服務端即可完成增量更新。 ...
  • 轉載請註明來源 https://www.cnblogs.com/brucejiao/p/16188865.html 謝謝! 轉載請註明來源 https://www.cnblogs.com/brucejiao/p/16188865.html 謝謝! 轉載請註明來源 https://www.cnblog ...
  • 1. Netty源碼研究筆記(3)——Channel系列 依舊是通過先縱向再橫向的研究方法,在開篇中,我們發現不管是Sever還是Client,最終的啟動是通過調用channel的對應方法來完成的,而這個動作實際在channel綁定的eventLoop中執行。 接下來,我們繼續EchoSever、E ...
  • 大家好,今天給大家介紹一款輕量、快速、穩定可編排的組件式規則引擎框架LiteFlow。 一、LiteFlow的介紹 LiteFlow官方網站和代碼倉庫地址 官方網站:https://yomahub.com/liteflow Gitee托管倉庫:https://gitee.com/dromara/li ...
  • 我使用Spring AOP實現了用戶操作日誌功能 今天答辯完了,復盤了一下系統,發現還是有一些東西值得拿出來和大家分享一下。 需求分析 系統需要對用戶的操作進行記錄,方便未來溯源 首先想到的就是在每個方法中,去實現記錄的邏輯,但是這樣做肯定是不現實的,首先工作量大,其次違背了軟體工程設計原則(開閉原 ...
  • 《零基礎學Java》 繪製幾何圖形 Java可以分別使用 Graphics 和 Graphics2D 繪製圖形,Graphics類 使用不同的方法繪製不同的圖形(drawLine()方法可f以繪製線、drawRect()方法用於繪製矩形、drawOval()方法用於繪製橢圓形)。 Graphics類 ...
  • 本期教程人臉識別第三方平臺為虹軟科技,本文章講解的是人臉識別RGB活體追蹤技術,免費的功能很多可以自行搭配,希望在你看完本章課程有所收穫。 ...
  • 很多人都喜歡使用黑色的主題樣式,包括我自己,使用了差不多三年的黑色主題,但是個人覺得在進行視窗轉換的時候很廢眼睛。 比如IDEA是全黑的,然後需要看PDF或者WORD又變成白色的了,這樣來回切換導致眼睛很累,畢竟現在網頁以及大部分軟體的界面都是白色的。那麼還是老老實實的使用原來比較順眼的模式吧。 1 ...