第一步:環境匹配 1)elasticsearch 2.3.3 成功安裝部署 2)mysql安裝成功,增刪改查無誤~~。 3)要保證elasticsearch-jdbc的版本要與elasticsearch的版本是一致的(下麵的內容會提示下載)。否則會報錯,無法進行之後的步驟。 (例如elasticse ...
第一步:環境匹配
1)elasticsearch 2.3.3 成功安裝部署
2)mysql安裝成功,增刪改查無誤~~。
3)要保證elasticsearch-jdbc的版本要與elasticsearch的版本是一致的(下麵的內容會提示下載)。否則會報錯,無法進行之後的步驟。
(例如elasticsearch-jdbc-2.3.3.0-dist.zip(對應的你的elaseticsearh-2.3.3)
4)(linux 64位centos下安裝jdk1.8)(我的是CentOS release 6.5 (Final) )
推薦JDK的版本為1.8最好(我一開始是1.7的報錯)--Exception in thread "main" java.lang.UnsupportedClassVersionError: org/xbib/tools/Runner : Unsupported major.minor version 52.0
因為jdk 1.7版本是version 51 而1.6 的是version 50 因此需要安裝1.8的版本(version 52)為最佳。否則還沒有開始就已經結束了!!!~~
rpm -qa|grep jdk //檢查之前的版本
java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64 //之前的版本
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64 //刪除它
下載jdk
網址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
選擇
選中Accept License Agreement, 然後打相應的版本點擊下載,在這裡只介紹源碼安裝
centos下安裝jdk1.8
1.解壓文件
tar -zxvf jdk-8u101-linux-x64.tar.gz
2.把解壓的文件目錄移動到/usr/local下
mv jdk1.8.0_101 /usr/local
3.配置環境變數
vi /etc/profile
放在最後即可
#set java JDK
export JAVA_HOME=/usr/local/jdk1.8.0_101/
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
4.使profile馬上生效:
source /etc/profile
5.檢查配置是否成功
java -version
第二步:下載JDBC工具
選擇你需要的版本進行下載。(例如elasticsearch-jdbc-2.3.3.0-dist.zip(對應的你的elaseticsearh-2.3.3) ,下載尾碼為dist.zip的即可)
地址:
http://xbib.org/repository/org/xbib/elasticsearch/importer/elasticsearch-jdbc/
第三步:導入linux下的目錄
解壓下載的文件unzip elasticsearch-jdbc-2.3.3.0-dist.zip (也可以windows下解壓好再導入Linux下就無需此條命令了,推薦工具winscp(用它可以把文件在windows與Linux兩個平臺間互相拖動數據哦),玩linux必備的工具 還有xshell(用法的話自己摸索百度一下咯~~!))
我放在預設的根目錄下:/elasticsearch-jdbc-2.3.3.0
第四步:同步導入數據的關鍵,新建腳本
cd /elasticsearch-jdbc-2.3.3.0/bin/ (在bin目錄下建立我們的新腳本)
vi import_es.sh
#!/bin/sh
bin=/elasticsearch-jdbc-2.3.3.0/bin
lib=/elasticsearch-jdbc-2.3.3.0/lib
echo '{
"type" : "jdbc",
"jdbc": {
"elasticsearch.autodiscover":true,
"elasticsearch.cluster":"ffcs-test",集群名字:#預設elasticsearch, 詳見elasticsearch.yml
"url":"jdbc:mysql://localhost:3306/test", #mysql資料庫地址,3306是預設埠,test是資料庫名
"user":"root", #mysql用戶名
"password":"123456", #mysql密碼
"sql":"select * from ffcs", #ffcs是資料庫表名
"index" : "test", #自定義索引名
"type" : "ffcs" #自定義類型名
}
}' | java \
-cp "${lib}/*" \
-Dlog4j.configurationFile=${bin}/log4j2.xml \
org.xbib.tools.Runner \
org.xbib.tools.JDBCImporter
註:複製時其中的#漢字不能複製進去,否則會出現各種莫名狀況
之後可以把你寫的json內容到www.json.cn驗證是夠正確,若不正確後面又會報錯啦
{
"type" : "jdbc",
"jdbc": {
"elasticsearch.autodiscover":true,
"elasticsearch.cluster":"ffcs-test",
"url":"jdbc:mysql://localhost:3306/test",
"user":"root",
"password":"123456",
"sql":"select * from ffcs",
"index" : "test",
"type" : "ffcs"
}
}
就是上面的內容 去網站上解析檢查看看你自己寫的是否有錯誤,避免執行腳本的時候出現不必要的錯誤
為 import_es.sh 添加可執行許可權。
chmod a+x import_es.sh //(a+x 是給所有人加上可執行許可權,包括所有者,所屬組,和其他人 o+x 只是給其他人加上可執行許可權)
執行腳本:./import_es.sh
第五步:檢測數據是否新增成功
curl 'localhost:9200/_cat/indices?pretty' //索引是否有新增呢??
curl -XGET 'http://localhost:9200/test/ffcs/_search?pretty' //抓取顯示數據
通過各種條件查詢
curl 'localhost:9200/test/ffcs/_search?pretty' -d '
{
"filter":{"term":{"name":"john"}}
}'
curl 'localhost:9200/test/ffcs/_search?pretty' -d '
{
"filter":{"term":{"id":"5"}}
}'
以上都可以就說明你大功告成了哦~~
我之前也嘗試過elasticsearch-1.7.1的版本結果出現錯誤
[ERROR][importer.jdbc.source.standard][pool-2-thread-1] while opening read connection: jdbc:mysql://localhost:3306/test No suitable driver found for jdbc:mysql://localhost:3306/test
java.sql.SQLException: No suitable driver found for jdbc:mysql://localhost:3306/test
找不到適合的驅動。。。
這樣的情況的話index和type都可以成功建立~,可是裡面是沒數據的哦~~NULL.
(希望能幫助到你們!!~~)