ElasticSearch和ElasticSearch Head環境搭建和數據模擬

首先elasticsearch-6.0.0\bin目錄下運行elasticsearch服務

修改elasticsearch-6.0.0\elasticsearch.yml文件

在文件最後加入下麵代碼，設置跨域

http.cors.enabled: true 
http.cors.allow-origin: "*"

補充X-Pack安裝配置

http.cors.allow-methods : OPTIONS, HEAD, GET, POST, PUT, DELETE

http.cors.allow-headers : X-Requested-With,X-Auth-Token,Content-Type, Content-Length

然後用淘寶吃NPM鏡像CNPM Start啟動elasticsearch head

訪問 http://localhost:9100/ 即可自動連接到elasticsearch 9200

一、使用python快速像ES服務添加測試索引數據，分普通插入和批量插入兩種，數據分析時使用python來處理的場景還是很多的

運行前先要搭建好基本的Python環境和pip，然後使用pip install 命令安裝所需import的包

1、普通插入：

#coding:utf-8
from datetime import datetime
from elasticsearch import Elasticsearch

es = Elasticsearch( "localhost:9200" ) 
data = {
    "@timestamp" :datetime.now().strftime("%Y-%m-%dT%H:%M:%S.000+0800"),
    "http_code" :"404",
    "count" :"10"
}

es.index(index="http_code", doc_type="error_code", body=data)

 2、批量插入：

#coding:utf-8
from datetime import datetime
from elasticsearch import Elasticsearch
import elasticsearch.helpers
import random

es = Elasticsearch( "localhost:9200" ) 
package = []
for i in range( 10 ):
    row = {
		"@timestamp" :datetime.now().strftime("%Y-%m-%dT%H:%M:%S.000+0800"),
		"http_code" :"404",
        "count" : random.randint(1, 100)
    }
    package.append( row )

actions = [
    {
        '_op_type': 'index',
        '_index': "http_code",  
        '_type': "error_code",  
        '_source': d
    }
    for d in package
]    

elasticsearch.helpers.bulk(es, actions)

插入後效果：

通過ElasticSearch Head做最基本的查詢：

二、使用Postman來模擬請求插入數據

新建一個Post請求，http://127.0.0.1:9200/tdb/ttable 

tdb相當於新增的資料庫，ttable相當於具體要新增數據的表

批量插入的話可以使用JQuery編寫Post請求或者使用前端工具設置批量新增

預告：

搭建可視化的Kinaba環境

使用logstash來實時同步MySQL數據

使用docker快速搭建ELK環境

使用NetCore向ES快速寫數據的設計

NetCore結合ES億級數據的實踐