分散式搜索elasticsearch配置文件詳解

来源:http://www.cnblogs.com/zr520/archive/2016/11/16/6068698.html
-Advertisement-
Play Games

elasticsearch的config文件夾裡面有兩個配置文件:elasticsearch.yml和logging.yml,第一個是es的基本配置文件,第二個是日誌配置文件,es也是使用log4j來記錄日誌的,所以logging.yml里的設置按普通log4j配置文件來設置就行了。下麵主要講解下e ...


elasticsearch的config文件夾裡面有兩個配置文件:elasticsearch.yml和logging.yml,第一個是es的基本配置文件,第二個是日誌配置文件,es也是使用log4j來記錄日誌的,所以logging.yml里的設置按普通log4j配置文件來設置就行了。下麵主要講解下elasticsearch.yml這個文件中可配置的東西。

cluster.name: elasticsearch
配置es的集群名稱,預設是elasticsearch,es會自動發現在同一網段下的es,如果在同一網段下有多個集群,就可以用這個屬性來區分不同的集群。

node.name: "Franz Kafka"
節點名,預設隨機指定一個name列表中名字,該列表在es的jar包中config文件夾里name.txt文件中,其中有很多作者添加的有趣名字。

node.master: true
指定該節點是否有資格被選舉成為node,預設是true,es是預設集群中的第一臺機器為master,如果這台機掛了就會重新選舉master。

node.data: true
指定該節點是否存儲索引數據,預設為true。

index.number_of_shards: 5
設置預設索引分片個數,預設為5片。

index.number_of_replicas: 1
設置預設索引副本個數,預設為1個副本。

path.conf: /path/to/conf
設置配置文件的存儲路徑,預設是es根目錄下的config文件夾。

path.data: /path/to/data
設置索引數據的存儲路徑,預設是es根目錄下的data文件夾,可以設置多個存儲路徑,用逗號隔開,例:
path.data: /path/to/data1,/path/to/data2

path.work: /path/to/work
設置臨時文件的存儲路徑,預設是es根目錄下的work文件夾。

path.logs: /path/to/logs
設置日誌文件的存儲路徑,預設是es根目錄下的logs文件夾

path.plugins: /path/to/plugins
設置插件的存放路徑,預設是es根目錄下的plugins文件夾

bootstrap.mlockall: true
設置為true來鎖住記憶體。因為當jvm開始swapping時es的效率會降低,所以要保證它不swap,可以把ES_MIN_MEM和ES_MAX_MEM兩個環境變數設置成同一個值,並且保證機器有足夠的記憶體分配給es。同時也要允許elasticsearch的進程可以鎖住記憶體,Linux下可以通過`ulimit -l unlimited`命令。

network.bind_host: 192.168.0.1
設置綁定的ip地址,可以是ipv4或ipv6的,預設為0.0.0.0。


network.publish_host: 192.168.0.1
設置其它節點和該節點交互的ip地址,如果不設置它會自動判斷,值必須是個真實的ip地址。

network.host: 192.168.0.1
這個參數是用來同時設置bind_host和publish_host上面兩個參數。

transport.tcp.port: 9300
設置節點間交互的tcp埠,預設是9300。

transport.tcp.compress: true
設置是否壓縮tcp傳輸時的數據,預設為false,不壓縮。

http.port: 9200
設置對外服務的http埠,預設為9200。

http.max_content_length: 100mb
設置內容的最大容量,預設100mb

http.enabled: false
是否使用http協議對外提供服務,預設為true,開啟。

gateway.type: local
gateway的類型,預設為local即為本地文件系統,可以設置為本地文件系統,分散式文件系統,Hadoop的HDFS,和amazon的s3伺服器,其它文件系統的設置方法下次再詳細說。

gateway.recover_after_nodes: 1
設置集群中N個節點啟動時進行數據恢復,預設為1。

gateway.recover_after_time: 5m
設置初始化數據恢復進程的超時時間,預設是5分鐘。

gateway.expected_nodes: 2
設置這個集群中節點的數量,預設為2,一旦這N個節點啟動,就會立即進行數據恢復。

cluster.routing.allocation.node_initial_primaries_recoveries: 4
初始化數據恢復時,併發恢複線程的個數,預設為4。

cluster.routing.allocation.node_concurrent_recoveries: 2
添加刪除節點或負載均衡時併發恢複線程的個數,預設為4。

indices.recovery.max_size_per_sec: 0
設置數據恢復時限制的帶寬,如入100mb,預設為0,即無限制。

indices.recovery.concurrent_streams: 5
設置這個參數來限制從其它分片恢複數據時最大同時打開併發流的個數,預設為5。

discovery.zen.minimum_master_nodes: 1
設置這個參數來保證集群中的節點可以知道其它N個有master資格的節點。預設為1,對於大的集群來說,可以設置大一點的值(2-4)

discovery.zen.ping.timeout: 3s
設置集群中自動發現其它節點時ping連接超時時間,預設為3秒,對於比較差的網路環境可以高點的值來防止自動發現時出錯。

discovery.zen.ping.multicast.enabled: false
設置是否打開多播發現節點,預設是true。

discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]
設置集群中master節點的初始列表,可以通過這些節點來自動發現新加入集群的節點。

下麵是一些查詢時的慢日誌參數設置
index.search.slowlog.level: TRACE
index.search.slowlog.threshold.query.warn: 10s
index.search.slowlog.threshold.query.info: 5s
index.search.slowlog.threshold.query.debug: 2s
index.search.slowlog.threshold.query.trace: 500ms

index.search.slowlog.threshold.fetch.warn: 1s
index.search.slowlog.threshold.fetch.info: 800ms
index.search.slowlog.threshold.fetch.debug:500ms
index.search.slowlog.threshold.fetch.trace: 200ms

 

參考資料:http://www.searchtech.pro/articles/2013/02/18/1361194291548.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 最近在學hibernate,常見的教程都是搭配mysql,因為公司本地電腦用的是pg,所以就嘗試著做個pg的小demo. 自己也是邊學邊寫,只當是加深印象.話不多說,直接開始; 一) 準備工作; 1) 本地安裝postgresql ,這個不多說,自己去網上下載; 註: 本次使用的為pg 9.4 2) ...
  • 前端: php後臺接收並查詢: 2.或者: 有$_GET 或者 $_POST ...
  • 1.新的未跟蹤文件 新創建的README文件沒有進行任何跟蹤 $ git status On branch master Untracked files: (use "git add <file>..." to include in what will be committed) README no ...
  • Python地鐵的到站流程及原理(個人理解) 今天坐地鐵看著站牌就莫名的想如果用Python寫其工作原理 是不是很簡單就小試牛刀了下大佬們勿噴純屬小弟個人理解 首先來看看地鐵上顯示的站牌如下: 就想這首先站點固定的名稱固定的站點名稱長度可知道,這不是符合列表嘛[第一站,第二站,。。。,最後一站] 把 ...
  • 英文文檔: staticmethod(function) Return a static method for function. A static method does not receive an implicit first argument. The @staticmethod form ...
  • 英文文檔: sorted(iterable[, key][, reverse]) Return a new sorted list from the items in iterable. Has two optional arguments which must be specified as ke ...
  • 變數分為哪些 成員變數:類裡面,方法外面定義的變數 + 實例變數:沒有用static修飾的變數,屬於對象;存在期:創建實例~銷毀實例;作用域:與該實例的生存範圍相同 + 類變數:用static修飾的變數,屬於類;存在期:類的準備階段~銷毀該類;作用域:與類的生存範圍相同 局部變數: + 形參:方法簽 ...
  • ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...