Elasticsearch安裝配置

来源:https://www.cnblogs.com/leohahah/archive/2019/01/23/10310083.html
-Advertisement-
Play Games

文檔地址: https://www.elastic.co/guide/en/elasticsearch/reference/6.5/setup.html 官方頁面提供自0.9版本以來的說明文檔,由於我下載的是6.5.4版本,因此通過6.5版本的文檔進行安裝配置。 本文的安裝測試環境為Red Had ...


文檔地址:

https://www.elastic.co/guide/en/elasticsearch/reference/6.5/setup.html

官方頁面提供自0.9版本以來的說明文檔,由於我下載的是6.5.4版本,因此通過6.5版本的文檔進行安裝配置。

本文的安裝測試環境為Red Had Linux 6.5,關於elastic對各系統的支持度,參見:https://www.elastic.co/support/matrix

Java版本:

要求至少java 8,官方推薦的版本為:1.8.0_131 or a later version in the Java 8 release series

你可以通過修改JAVA_HOME參數指定java版本。

一、下載和安裝、啟動:

本文使用的6.5.4版本下載地址為:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.tar.gz

[root@python ~]# tar -zxf elasticsearch-6.5.4.tar.gz
[root@python ~]# cd elasticsearch-6.5.4
[root@python elasticsearch-6.5.4]# ./bin/elasticsearch
[2019-01-11T09:25:52,573][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [unknown] uncaught exception in thread [main]
org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:140) ~[elasticsearch-6.5.4.jar:6.5.4]
    at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:127) ~[elasticsearch-6.5.4.jar:6.5.4]
    at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[elasticsearch-6.5.4.jar:6.5.4]
    at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[elasticsearch-cli-6.5.4.jar:6.5.4]
    at org.elasticsearch.cli.Command.main(Command.java:90) ~[elasticsearch-cli-6.5.4.jar:6.5.4]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:93) ~[elasticsearch-6.5.4.jar:6.5.4]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:86) ~[elasticsearch-6.5.4.jar:6.5.4]
Caused by: java.lang.RuntimeException: can not run elasticsearch as root
    at org.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:103) ~[elasticsearch-6.5.4.jar:6.5.4]
    at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:170) ~[elasticsearch-6.5.4.jar:6.5.4]
    at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:333) ~[elasticsearch-6.5.4.jar:6.5.4]
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:136) ~[elasticsearch-6.5.4.jar:6.5.4]
    ... 6 more

通常我們把此解壓目錄稱作:$ES_HOME,以上錯誤表示不能以超級用戶root啟動es,我們新建一個用戶即可:

[root@python elasticsearch-6.5.4]# useradd es
[root@python elasticsearch-6.5.4]# passwd es
[root@python ~]# mv elasticsearch-6.5.4 /home/es/
[root@python es]# chown -R es.es elasticsearch-6.5.4/
[root@python elasticsearch-6.5.4]# su - es
[es@python ~]$ echo "export ES_HOME=/home/es/elasticsearch-6.5.4" >> .bashrc
[es@python ~]$ echo "export PATH=$ES_HOME/bin:$PATH" >> .bashrc
[es@python ~]$ elasticsearch
......
[2019-01-11T09:32:31,567][INFO ][o.e.l.LicenseService ] [lejuhty] license [47723c44-43e9-49af-85db-0909d8bb47e3] mode [basic] - valid

至此es已經啟動,通過config目錄中的elasticsearch.yml文件我們可以修改es的啟動埠,預設是9200。

接下來檢查下es是否正常啟動,除了通過ps -ef|grep elasic之外,我們執行:

[es@python elasticsearch-6.5.4]$ curl 'http://localhost:9200'
{
  "name" : "lejuhty",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "qSwz2X0EQU25G85c9H4Q0Q",
  "version" : {
    "number" : "6.5.4",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "d2ef93d",
    "build_date" : "2018-12-17T21:17:40.758843Z",
    "build_snapshot" : false,
    "lucene_version" : "7.5.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}
--可以看到es已經正常運行

以上的es運行方式可以通過ctrl-c或者關閉視窗來關閉,平時我們可以通過守護進程的方式在後臺啟動es:

./bin/elasticsearch -d -p pid

p表示啟動之後es的pid會被記錄入一個名為pid的文件中,關閉時只要kill這個文件中記錄的pid就可以了。

ES啟動後會預設開放2個埠,9200和9300,前者用於REST API或curl等基於http協議的RESTFUL請求,後者多用於集群節點之間的tcp交流。由於ES本身提供的快捷API命令和針對各編程語言的介面全都是RESTFUL風格編寫的,因此對於ES的訪問幾乎只能從9200埠進行,對於9300埠目前還瞭解不多待看到分散式集群時再解釋。

下圖中的::1:port表示ipv6的loopback address,添加了::ffff首碼表示ipv4地址的ipv6映射,被稱作ipv4-mapped ipv6 address(下圖2所示的映射方式),例如::ffff:127.0.0.1:9200表示ipv6中的本地迴環地址,相當於ipv4中的127.0.0.1,但是不同於::1:9200此映射的ipv6地址是可以接受ipv4連接請求的。

此外雖然配置文件中預設註釋了network.host=127.0.0.1,但ES其實是預設綁定此loopback IP的,因此不修改network.host只能本地連接,但是修改network.host後又必須對系統配置作出修改,原因參見第二部分中系統配置部分的解釋。

二、配置Elasticsearch:

關於config目錄下各個配置文件的功能及其具體的配置項解釋,參考官方頁面:https://www.elastic.co/guide/en/elasticsearch/reference/6.5/settings.html

這裡先簡短的說明一些文件的功用:

  • elasticsearch.yml for configuring Elasticsearch 
  • jvm.options for configuring Elasticsearch JVM settings 
  • log4j2.properties for configuring Elasticsearch logging

ES的配置可以主要分為兩大部分:

    1.系統配置部分

    這部分比較好理解,ES的良好運行需要進行一些系統配置,其中官網列出的必須要進行的配置包含:

    swap可能會拖慢ES的性能,因此建議關閉swap,關閉swap的各種方式參考鏈接內容即可。

    此配置在windows上無需配置,在Linux上需要修改如下用戶limit配置:

es      hard    nofile      65536
es      soft    nofile      65536

    在/etc/sysctl.conf中添加如下記錄即可:

vm.max_map_count=262144
    同樣的,修改用戶limit,確保ulimit -u至少為4096即可。

    以上兩個系統配置項用到的較少,一個是DNS緩存的問題,只有DNS變動較大時需要設置緩存超時時間。另一個是ES運行所需的JNA文件會被放在/tmp目錄的文件夾下,因此/tmp目錄如果是額外mount的盤,那麼可能需要設置正確的許可權才能避免出現找不到shared object的錯誤。

    一般來說如果這些項配置錯誤,那麼只會以warning的形式出現在log中,但是一旦你修改了ES網路相關的參數,例如network.host,那麼ES就認為你將要從開發模式轉為生產模式,ES會開啟一個名為bootstrap checks的檢查,日誌顯示為:“bound or publishing to a non-loopback address, enforcing bootstrap checks”,此時warnings將會以exception形式出現在log中,這些exceptions將會導致ES無法啟動,這是ES為了防止你因配置錯誤導致數據丟失而做的一項預防措施,因此在轉向生產時,請務必為ES正確配置系統參數。

    這裡我再重覆一遍,對elasticsearch.yml中network.host的更改,會導致ES認為你將要部署的是生產伺服器,此時錯誤的系統配置將會導致ES啟動後自動關閉。

    2.ES的配置部分

    ES本身的配置主要包含一些諸如PATH,Cluster name等等參數。其中一些必須配置的參數配置方法參見如下鏈接列表:

    設置logs和data的路徑,無需多說。     預設是elasticsearch,你可以自定義,只有cluster.name相同的節點才能在同一個集群下。     node.name即節點名,自定義即可,如果每個伺服器作為一個集群的一個節點,將其設置為$HOSTNAME即可。     預設情況下ES綁定的是本地迴環IP,因此如果要搭建集群會或外提供服務,可以將此配置修改為對應的IP。     主要用於集群的投票,這點熟悉其他軟體投票規則的都比較熟了,不再多說。

    ES預設使用1G的heap,Xms,Xmx都是1g,為保證生產上記憶體足夠,可以適當加大,修改jvm.options文件即可,例如:

-Xms4g 
-Xmx4g
    主要用於出現記憶體泄露時進行memory dump,此目錄可以在jvm.options文件中修改:-XX:HeapDumpPath=     暫時用不到,這個日誌預設會開,但是達到2G的上限就會自動關閉了,不關註。

    ES的臨時文件位置,預設是$ES_TMPDIR,一般$ES_TMPDIR不設置,所以預設其實是/tmp,當然你可以在jvm.options文件中修改-Djava.io.tmpdir項來直接指定位置,最好還是export一個$ES_TMPDIR吧。

此外需要註意的是ES並無內置的安全認證模塊,因此安全性暫需要依靠第三方軟體或者bind ip+防火牆來實現。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本文收錄在容器技術學習系列文章總目錄 1、使用kubectl 1.1 介紹 kubectl用於運行Kubernetes集群命令的管理工具。 1.2 語法 command:指定要在一個或多個資源執行的操作,例如操作create,get,describe,delete。TYPE:指定資源類型Resour ...
  • Oracle創建函數的方法如下: 舉個例子: 調用一下 並輸出結果: ...
  • 資料庫類型 一、版本介紹和選擇 PerconaDB 主流版本 企業版本 在Linux中啟動資料庫 二、MYSQL的體繫結構 MYSQL C/S結構 實例: 1、mysqld 的三層結構 2、MySQL的邏輯結構 三、MySQL安裝 1、 https://www.mysql.com/ MySQL官網 ...
  • ### 1. MYBATIS簡介 MYBATIS是持久層框架,大大的簡化了持久層開發。 當使用MYBATIS框架時,開發人員不必再編寫繁瑣的JDBC代碼,只需要定義好每個功能對應的抽象方法與需要執行的SQL語句即可! ### 2. 基本使用 #### 2.1. 添加依賴 需要在`pom.xml`中添 ...
  • 行列之間的互相轉換是ETL中的常見需求,在Spark SQL中,行轉列有內建的PIVOT函數可用,沒什麼特別之處。而列轉行要稍微麻煩點。本文整理了2種可行的列轉行方法,供參考。 本文鏈接:https://www.cnblogs.com/hhelibeb/p/10310369.html 測試數據準備 ...
  • 1.今天系統出現BUG,經過兩個小時的排查,發現是存儲過程中的SELECT @@IDENTITY的值發生錯亂,導致的系統BUG,經過百度,發現這個函數貌似和觸發器有衝突,一旦插入的表有觸發器的話,@@IDENTITY的值就不對了,建議用函數SCOPE_IDENTITY()來替換;可參考SqlServ ...
  • 在學習Elasticsearch的過程中想找一些可以系統的描述es操作的文章,但是官網沒有中文頁面,ES中文指南的排版和翻譯又很突兀和不協調,因此決定自己看一遍官方的maunal總結一下,由於沒時間把所有章節全部翻一遍,所以寫一篇學習筆記以便完成初步的學習。 概念總覽: 在描述ES的基本操作之前,首 ...
  • Kibana可以方便的操作Elasticsearch,事實上Elasticsearch、Logstash、Kibana三者是被合稱為ELK的一套數據分散式存儲、分析、可視化的工具。只是隨著Elasticsearch地位愈加突出以至於快被人們使用成了一套單獨的資料庫,本文目前只簡單的看下Kibana操 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...