asp.net core系列 75 Elasticsearch與中文分詞配置

一. elasticsearch on windows 1.下載地址： https://www.elastic.co/cn/downloads/elasticsearch 如果瀏覽器下載文件慢，建議使用迅雷下載，速度很快。下載版本為7.5.2 2. 修改配置文件下載後解壓，找到config\jvm ...

一. elasticsearch on windows

　　1.下載地址：

　　　　https://www.elastic.co/cn/downloads/elasticsearch

　　　　如果瀏覽器下載文件慢，建議使用迅雷下載，速度很快。下載版本為7.5.2

　　2. 修改配置文件

　　　　下載後解壓，找到config\jvm.options，分配JVM堆記憶體大小，原則上是分配總記憶體的50%給 elasticsearch，但不要超過30.5GB，原因是64位定址會導致性能下降。將預設1g改成512m, 個人電腦當預設1g時，windows安裝會出現：HeapDumpOnOutOfMemoryError

　3. windows安裝

　　　　　打開cmd執行以下命令

　　　　　E:\elasticsearch-7.5.2\bin>elasticsearch-service.bat install

　4.啟動服務

　　　　由於elasticsearch比較耗記憶體，預設安裝服務設置啟動方式為手動，除非真的使用windwos作為伺服器，手動啟動服務後，瀏覽器查看：http://localhost:9200/，出現以下代表成功

　　　　name：為集群中的節點名稱，預設值為當前機器名稱。

　　　　cluster_name:集群的名稱，預設為elasticsearch。

　　　查看健康狀態：http://localhost:9200/_cat/health?v

　　　　查看所有索引：http://localhost:9200/_cat/indices?v

　　5. 其它配置

　　　　elasticsearch.yml文件

　　　　　　transport.port :節點與節點通信的埠，預設為9300

　　　　　　http.port:elasticsearch 開放的Rest介面的埠，預設為9200

　　　　　　network.host 預設為192.168.0.1，要設置為0.0.0.0,綁定所有本地地址，或者直接設置一個可供外網訪問的地址

二. Kibana on windows

　　1.下載地址

　　　　https://www.elastic.co/cn/downloads/kibana

　　　　如果瀏覽器下載文件慢，建議使用迅雷下載，速度很快。下載版本為7.5.2　

　　2.修改配置文件

　　　　在config\kibana.yml文件中，預設連接elasticsearch地址是：elasticsearch.hosts: ["http://localhost:9200"]，如果elasticsearch和kibana都在同一臺機器，則不需要修改。

　　3. 啟動

　　　　Kibana不同於Elasticsearch，Kibana官方並沒有提供安裝為系統服務的方法。在bin目錄下雙擊kibana.bat文件。暫用控制台作為宿主。在瀏覽器運行http://localhost:5601/

　　　　首頁右下角單擊，左邊的導航欄會展開，如下所示：

　　　　可以將sample flight data 飛行記錄數據和sample web logs web日誌記錄，這二個樣例數據導入，方便學習。

　　　　在左邊的導航欄Dev Tools 中，可以調用 elasticsearch api 來進行操作，如下所示：

　　4.kibana其它配置

　　　　4.1 kibana.yml修改為中文

　　　　　　#i18n.locale: "en"
　　　　　　 i18n.locale: "zh-CN"

三.分析器安裝

　　IK 是中文分析器中比較有名的，分詞包括兩種: ik_smart和ik_max_word。二種區別在於提取詞項的粒度，前者提取的粒度最粗，後者最細。elsaticsearch預設並不支持ik,需要安裝。版本與elsaticsearch保持一致，這裡下載v7.5.2。下載地址：https://github.com/medcl/elasticsearch-analysis-ik/releases elasticsearch-analysis-ik-7.5.2.zip

　　在plugins下，新建一個ik文件夾，解壓放入，重啟ES，如下所示：

　　(打開kibana的Dev Tools測試)IK中文分析器測試，ik_max_word測試如下：

　　 IK中文分析器測試，ik_smart測試如下：

四.IK擴展詞典

　　3.1 本地配置自定義詞典

　　　　如下圖，先建一個txt文件，文本格式為 UTF8 編碼，重命名為mydict.dic文件，添加自定義詞典

　　　　將dic新文件路徑配置到IKAnalyzer.cfg.xml中，如下所示：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 擴展配置</comment>
    <!--用戶可以在這裡配置自己的擴展字典 -->
    <entry key="ext_dict">custom/mydict.dic</entry>
     <!--用戶可以在這裡配置自己的擴展停止詞字典-->
    <entry key="ext_stopwords"></entry>
    <!--用戶可以在這裡配置遠程擴展字典 -->
    <!-- <entry key="remote_ext_dict">words_location</entry> -->
    <!--用戶可以在這裡配置遠程擴展停止詞字典-->
    <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

　　　　置後，重啟es服務，再使用分詞器測試如下所示：

五.IK熱更新詞庫

　　官方給出建議：可以將需自動更新的熱詞放在一個 UTF-8 編碼的 .txt 文件里，放在 nginx 或其他簡易 http server 下，當 .txt 文件修改時，http server 會在客戶端請求該文件時自動返回相應的 Last-Modified 和 ETag。可以另外做一個工具來從業務系統提取相關辭彙，並更新這個 .txt 文件。

　　下麵使用iis作為http伺服器，新建一個站點，站點下有一個hotword.txt 文件，應用池托管為v 4.0經典模式。去掉壓縮不然lk程式監視器讀取不到。再就是設置http響應頭，因為該 http 請求需要返回兩個頭部(header)，一個是 Last-Modified，一個是 ETag，這兩者都是字元串類型，只要有一個發生變化，該插件就會去抓取新的分詞進而更新詞庫。配圖如下所示：

　　將伺服器txt文件路徑配置到IKAnalyzer.cfg.xml中，如下所示：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 擴展配置</comment>
    <!--用戶可以在這裡配置自己的擴展字典 -->
    <!--<entry key="ext_dict"></entry>-->
     <!--用戶可以在這裡配置自己的擴展停止詞字典-->
  <!--<entry key="ext_stopwords"></entry>-->
    <!--用戶可以在這裡配置遠程擴展字典 -->
     <entry key="remote_ext_dict">http://localhost:8088/hotword.txt</entry> 
    <!--用戶可以在這裡配置遠程擴展停止詞字典-->
  <!--  <entry key="remote_ext_stopwords"></entry>-->
</properties>

　　hotword.txt配置如下所示：

　　　重啟es伺服器，在Log/elasticsearch.log中可以看到載入的詞列表，如下所示：

[2020-02-18T10:46:47,129][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] try load config from D:\有啦\elasticsearch-7.5.2\plugins\ik\config\IKAnalyzer.cfg.xml
[2020-02-18T10:46:47,206][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] [Dict Loading] http://localhost:8088/hotword.txt
[2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 新冠
[2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 新冠肺炎
[2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 盛吉芳
[2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 首提
[2020-02-18T10:46:47,214][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 哈哈
[2020-02-18T10:46:47,214][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] reload ik dict finished.

　　　測試分詞，如下所示：

參考文獻

　　analysis-ik