Docker安裝ElasticSearch 以及使用LogStash實現索引庫和資料庫同步

-Advertisement-

1：下載 ElasticSearch 鏡像 2：創建 ElasticSearch 容器：啟動成功後在瀏覽器地址欄輸入：http://宿主機ip:9200 出現如下，表示啟動成功 3：但是如果 Java 使用 9300 埠連接ES 會出現如下錯誤 4：修改docker容器中的配置文件：進入 co ...

1：下載 ElasticSearch 鏡像

docker pull docker.io/elasticsearch:5.6.8

2：創建 ElasticSearch 容器：

docker  run  -di  --name=my_es  -p  9200:9200  -p  9300:9300  elasticsearch:5.6.8

啟動成功後在瀏覽器地址欄輸入：http://宿主機ip:9200 出現如下，表示啟動成功

3：但是如果 Java 使用 9300 埠連接ES 會出現如下錯誤

NoNodeAvailableException[None of the configured nodes are available:
[{#transport#‐1}{exvgJLR‐RlCNMJy‐hzKtnA}{192.168.184.135}{192.168.184.135:9300}]]
at org.elasticsearch.client.transport.TransportClientNodesService.ensureNodes AreAvailable
at org.elasticsearch.client.transport.TransportClientNodesService.execute
at org.elasticsearch.client.transport.TransportProxyClient.execute

4：修改docker容器中的配置文件：

docker  exec  -it  my_es  /bin/bash

進入 config 文件夾有一個 elasticsearch.yml 文件，但是發現 vim / vi 命令失效（因為是在docker容器中）

5 ：首先退出容器，然後執行命令，拷貝配置文件到宿主機（必須保證容器中的ES是啟動狀態）：

docker  cp  my_es:/usr/share/elasticsearch/config/elasticsearch.yml /usr/share/elasticsearch.yml

6：停止和刪除原來創建的容器

docker stop elasticsearch:5.6.8
docker rm my_es

7：重新執行創建容器命令（重點：掛載文件）

docker run -di --name=my_es -p 9200:9200 -p 9300:9300 -v /usr/share/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml  elasticsearch:5.6.8

8：修改 /usr/share/elasticsearch.yml 將 transport.host: 0.0.0.0 前的 # 去掉後保存文件退出。 其作用是允許任何ip地址訪問 elasticsearch 開發測試階段可以這麼做，生產環境下指定具體的IP

9：重啟後發現重啟啟動失敗了（純宿主機問題），這與我們剛纔修改的配置有關，因為elasticsearch在啟動的時候會進行一些檢查，比如最多打開的文件的個數以及虛擬記憶體區域數量等等

10：系統調優

（1）修改 /etc/security/limits.conf 追加內容

* soft nofile 65536
* hard nofile 65536

說明：nofile是單個進程允許打開的最大文件個數 soft nofile 是軟限制 hard nofile是硬限制

（2）修改 /etc/sysctl.conf 追加內容

vm.max_map_count=655360

說明：限制一個進程可以擁有的VMA(虛擬記憶體區域)的數量

11：執行下麵命令修改內核參數馬上生效：sysctl ‐p 重新啟動虛擬機，再次啟動容器，發現已經可以啟動並遠程訪問

使用 RestApi 操作 ElasticSearch

  （PUT）創建索引：http://localhost:9200/index_name
  （GET）查詢所有：http://localhost:9200/index_name/type_name/_search
  （GET）根據id查詢：http://localhost:9200/index_name/type_name/1
  （GET）條件查詢：http://localhost:9200/index_name/type_name/_search?q=title:Spring
  （GET）模糊查詢：http://localhost:9200/index_name/type_name/_search?q=title:*spring*
  （DELETE）刪除：http://localhost:9200/index_name/type_name/1
  （POST）新增類型和文檔：http://localhost:9200/index_name/type_name
    {
      "title": "Spring框架",
      "content" : "Spring框架是由於軟體開發的複雜性而創建的"
    }
  （PUT）修改id不存在新增：http://localhost:9200/type_name/article/1
    {
      "title": "Spring框架",
      "content" : "Spring框架是由於軟體開發的複雜性而創建的"
    }

安裝IK分詞器

docker  cp  ik  my_es:/usr/share/elasticsearch/plugins

預設分詞：http://127.0.0.1:9200/_analyze?analyzer=chinese&pretty=true&text=我是程式員
最少切分：http://127.0.0.1:9200/_analyze?analyzer=ik_smart&pretty=true&text=我是程式員
最細切分：http://127.0.0.1:9200/_analyze?analyzer=ik_max_word&pretty=true&text=我是程式員

定製辭彙
（1）：elasticsearch-5.6.8\plugins\ik\config  文件夾下創建文件名 xxx.dic
（2）：修改 IKAnalyzer.cfg.xml 文件：<entry key="ext_dict">xxx.dic</entry>

使用 ElasticSearch Head 連接ES會出現跨域問題的解決方法：在 elasticsearch.yml 文件添加

http.cors.enabled: true
http.cors.allow-origin: "*"

使用 LogStash 實現索引庫和資料庫同步

（1）：安裝 LogStash （直接解壓）

  （2）：啟動命令：logstash -e 'input { stdin { } } output { stdout {} }'

  （3）：配置同步 創建 xxx.conf 文件：

      input {
        jdbc {
            # mysql jdbc connection string to our backup databse
            jdbc_connection_string => "jdbc:mysql://192.168.2.130:3306/article?characterEncoding=UTF8"
            # the user we wish to excute our statement as
            jdbc_user => "root"
            jdbc_password => "root"
            # the path to our downloaded jdbc driver
            jdbc_driver_library => "D:\logstash-5.6.8\mysqletc\mysql-connector-java-5.1.46.jar"
            # the name of the driver class for mysql
            jdbc_driver_class => "com.mysql.jdbc.Driver"
            jdbc_paging_enabled => "true"
            jdbc_page_size => "50"
            #以下對應著要執行的sql的絕對路徑。
            #statement_filepath => ""
            statement => "select id, title, content, state FROM tb_article"
            #定時欄位 各欄位含義（由左至右）分、時、天、月、年，全部為*預設含義為每分鐘都更新（測試結果，不同的話請留言指出）
            schedule => "* * * * *"
        }
      }

      output {
        elasticsearch {
            #ESIP地址與埠
            hosts => "127.0.0.1:9200"
            #ES索引名稱（自己定義的）
            index => "tensquare_article"
            #自增ID編號
            document_id => "%{id}"
            document_type => "article"
        }
        stdout {
            #以JSON格式輸出
            codec => json_lines
        }
      }

  啟動 logstash：logstash -f conf.xml

ElaticSearch配套軟體（安裝包，Head，LogStash，Node,js）：

鏈接：https://pan.baidu.com/s/1JhL75TGtxkVXplZqrluAWw 
提取碼：7a69

您的分享是我們最大的動力!