文檔地址: https://www.elastic.co/guide/en/elasticsearch/reference/6.5/setup.html 官方頁面提供自0.9版本以來的說明文檔,由於我下載的是6.5.4版本,因此通過6.5版本的文檔進行安裝配置。 本文的安裝測試環境為Red Had ...
文檔地址:
https://www.elastic.co/guide/en/elasticsearch/reference/6.5/setup.html
官方頁面提供自0.9版本以來的說明文檔,由於我下載的是6.5.4版本,因此通過6.5版本的文檔進行安裝配置。
本文的安裝測試環境為Red Had Linux 6.5,關於elastic對各系統的支持度,參見:https://www.elastic.co/support/matrix
Java版本:
要求至少java 8,官方推薦的版本為:1.8.0_131 or a later version in the Java 8 release series
你可以通過修改JAVA_HOME參數指定java版本。
一、下載和安裝、啟動:
本文使用的6.5.4版本下載地址為:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.tar.gz
[root@python ~]# tar -zxf elasticsearch-6.5.4.tar.gz [root@python ~]# cd elasticsearch-6.5.4 [root@python elasticsearch-6.5.4]# ./bin/elasticsearch [2019-01-11T09:25:52,573][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [unknown] uncaught exception in thread [main] org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:140) ~[elasticsearch-6.5.4.jar:6.5.4] at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:127) ~[elasticsearch-6.5.4.jar:6.5.4] at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[elasticsearch-6.5.4.jar:6.5.4] at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[elasticsearch-cli-6.5.4.jar:6.5.4] at org.elasticsearch.cli.Command.main(Command.java:90) ~[elasticsearch-cli-6.5.4.jar:6.5.4] at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:93) ~[elasticsearch-6.5.4.jar:6.5.4] at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:86) ~[elasticsearch-6.5.4.jar:6.5.4] Caused by: java.lang.RuntimeException: can not run elasticsearch as root at org.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:103) ~[elasticsearch-6.5.4.jar:6.5.4] at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:170) ~[elasticsearch-6.5.4.jar:6.5.4] at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:333) ~[elasticsearch-6.5.4.jar:6.5.4] at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:136) ~[elasticsearch-6.5.4.jar:6.5.4] ... 6 more
通常我們把此解壓目錄稱作:$ES_HOME,以上錯誤表示不能以超級用戶root啟動es,我們新建一個用戶即可:
[root@python elasticsearch-6.5.4]# useradd es [root@python elasticsearch-6.5.4]# passwd es [root@python ~]# mv elasticsearch-6.5.4 /home/es/ [root@python es]# chown -R es.es elasticsearch-6.5.4/ [root@python elasticsearch-6.5.4]# su - es [es@python ~]$ echo "export ES_HOME=/home/es/elasticsearch-6.5.4" >> .bashrc [es@python ~]$ echo "export PATH=$ES_HOME/bin:$PATH" >> .bashrc [es@python ~]$ elasticsearch ...... [2019-01-11T09:32:31,567][INFO ][o.e.l.LicenseService ] [lejuhty] license [47723c44-43e9-49af-85db-0909d8bb47e3] mode [basic] - valid
至此es已經啟動,通過config目錄中的elasticsearch.yml文件我們可以修改es的啟動埠,預設是9200。
接下來檢查下es是否正常啟動,除了通過ps -ef|grep elasic之外,我們執行:
[es@python elasticsearch-6.5.4]$ curl 'http://localhost:9200' { "name" : "lejuhty", "cluster_name" : "elasticsearch", "cluster_uuid" : "qSwz2X0EQU25G85c9H4Q0Q", "version" : { "number" : "6.5.4", "build_flavor" : "default", "build_type" : "tar", "build_hash" : "d2ef93d", "build_date" : "2018-12-17T21:17:40.758843Z", "build_snapshot" : false, "lucene_version" : "7.5.0", "minimum_wire_compatibility_version" : "5.6.0", "minimum_index_compatibility_version" : "5.0.0" }, "tagline" : "You Know, for Search" } --可以看到es已經正常運行
以上的es運行方式可以通過ctrl-c或者關閉視窗來關閉,平時我們可以通過守護進程的方式在後臺啟動es:
./bin/elasticsearch -d -p pid
p表示啟動之後es的pid會被記錄入一個名為pid的文件中,關閉時只要kill這個文件中記錄的pid就可以了。
ES啟動後會預設開放2個埠,9200和9300,前者用於REST API或curl等基於http協議的RESTFUL請求,後者多用於集群節點之間的tcp交流。由於ES本身提供的快捷API命令和針對各編程語言的介面全都是RESTFUL風格編寫的,因此對於ES的訪問幾乎只能從9200埠進行,對於9300埠目前還瞭解不多待看到分散式集群時再解釋。
下圖中的::1:port表示ipv6的loopback address,添加了::ffff首碼表示ipv4地址的ipv6映射,被稱作ipv4-mapped ipv6 address(下圖2所示的映射方式),例如::ffff:127.0.0.1:9200表示ipv6中的本地迴環地址,相當於ipv4中的127.0.0.1,但是不同於::1:9200此映射的ipv6地址是可以接受ipv4連接請求的。
此外雖然配置文件中預設註釋了network.host=127.0.0.1,但ES其實是預設綁定此loopback IP的,因此不修改network.host只能本地連接,但是修改network.host後又必須對系統配置作出修改,原因參見第二部分中系統配置部分的解釋。
二、配置Elasticsearch:
關於config目錄下各個配置文件的功能及其具體的配置項解釋,參考官方頁面:https://www.elastic.co/guide/en/elasticsearch/reference/6.5/settings.html
這裡先簡短的說明一些文件的功用:
- elasticsearch.yml for configuring Elasticsearch
- jvm.options for configuring Elasticsearch JVM settings
- log4j2.properties for configuring Elasticsearch logging
ES的配置可以主要分為兩大部分:
1.系統配置部分
這部分比較好理解,ES的良好運行需要進行一些系統配置,其中官網列出的必須要進行的配置包含:
swap可能會拖慢ES的性能,因此建議關閉swap,關閉swap的各種方式參考鏈接內容即可。此配置在windows上無需配置,在Linux上需要修改如下用戶limit配置:
es hard nofile 65536 es soft nofile 65536
在/etc/sysctl.conf中添加如下記錄即可:
vm.max_map_count=262144同樣的,修改用戶limit,確保ulimit -u至少為4096即可。
以上兩個系統配置項用到的較少,一個是DNS緩存的問題,只有DNS變動較大時需要設置緩存超時時間。另一個是ES運行所需的JNA文件會被放在/tmp目錄的文件夾下,因此/tmp目錄如果是額外mount的盤,那麼可能需要設置正確的許可權才能避免出現找不到shared object的錯誤。
一般來說如果這些項配置錯誤,那麼只會以warning的形式出現在log中,但是一旦你修改了ES網路相關的參數,例如network.host,那麼ES就認為你將要從開發模式轉為生產模式,ES會開啟一個名為bootstrap checks的檢查,日誌顯示為:“bound or publishing to a non-loopback address, enforcing bootstrap checks”,此時warnings將會以exception形式出現在log中,這些exceptions將會導致ES無法啟動,這是ES為了防止你因配置錯誤導致數據丟失而做的一項預防措施,因此在轉向生產時,請務必為ES正確配置系統參數。
這裡我再重覆一遍,對elasticsearch.yml中network.host的更改,會導致ES認為你將要部署的是生產伺服器,此時錯誤的系統配置將會導致ES啟動後自動關閉。
2.ES的配置部分
ES本身的配置主要包含一些諸如PATH,Cluster name等等參數。其中一些必須配置的參數配置方法參見如下鏈接列表:
設置logs和data的路徑,無需多說。 預設是elasticsearch,你可以自定義,只有cluster.name相同的節點才能在同一個集群下。 node.name即節點名,自定義即可,如果每個伺服器作為一個集群的一個節點,將其設置為$HOSTNAME即可。 預設情況下ES綁定的是本地迴環IP,因此如果要搭建集群會或外提供服務,可以將此配置修改為對應的IP。 主要用於集群的投票,這點熟悉其他軟體投票規則的都比較熟了,不再多說。ES預設使用1G的heap,Xms,Xmx都是1g,為保證生產上記憶體足夠,可以適當加大,修改jvm.options文件即可,例如:
-Xms4g -Xmx4g主要用於出現記憶體泄露時進行memory dump,此目錄可以在jvm.options文件中修改:-XX:HeapDumpPath= 暫時用不到,這個日誌預設會開,但是達到2G的上限就會自動關閉了,不關註。
ES的臨時文件位置,預設是$ES_TMPDIR,一般$ES_TMPDIR不設置,所以預設其實是/tmp,當然你可以在jvm.options文件中修改-Djava.io.tmpdir項來直接指定位置,最好還是export一個$ES_TMPDIR吧。
此外需要註意的是ES並無內置的安全認證模塊,因此安全性暫需要依靠第三方軟體或者bind ip+防火牆來實現。