asp.net core系列 75 Elasticsearch與中文分詞配置

来源:https://www.cnblogs.com/MrHSR/archive/2020/02/18/12258466.html
-Advertisement-
Play Games

一. elasticsearch on windows 1.下載地址: https://www.elastic.co/cn/downloads/elasticsearch 如果瀏覽器下載文件慢,建議使用迅雷下載,速度很快。下載版本為7.5.2 2. 修改配置文件 下載後解壓,找到config\jvm ...


一. elasticsearch on windows

  1.下載地址:

    https://www.elastic.co/cn/downloads/elasticsearch

    如果瀏覽器下載文件慢,建議使用迅雷下載,速度很快。下載版本為7.5.2

  2. 修改配置文件

    下載後解壓,找到config\jvm.options,分配JVM堆記憶體大小,原則上是分配總記憶體的50%給 elasticsearch,但不要超過30.5GB,原因是64位定址會導致性能下降。將預設1g改成512m,  個人電腦當預設1g時,windows安裝會出現:HeapDumpOnOutOfMemoryError

    

  3. windows安裝

     打開cmd執行以下命令

     E:\elasticsearch-7.5.2\bin>elasticsearch-service.bat install

 4.啟動服務

    由於elasticsearch比較耗記憶體,預設安裝服務設置啟動方式為手動,除非真的使用windwos作為伺服器, 手動啟動服務後,瀏覽器查看:http://localhost:9200/,出現以下代表成功

     

    name:為集群中的節點名稱,預設值為當前機器名稱。

    cluster_name:集群的名稱,預設為elasticsearch。

      查看健康狀態:http://localhost:9200/_cat/health?v

    查看所有索引:http://localhost:9200/_cat/indices?v

  5. 其它配置

    elasticsearch.yml文件

      transport.port :節點與節點通信的埠,預設為9300

      http.port:elasticsearch 開放的Rest介面的埠,預設為9200

      network.host 預設為192.168.0.1,要設置為0.0.0.0,綁定所有本地地址,或者直接設置一個可供外網訪問的地址

 

二. Kibana on windows

  1.下載地址

    https://www.elastic.co/cn/downloads/kibana

    如果瀏覽器下載文件慢,建議使用迅雷下載,速度很快。下載版本為7.5.2 

  2.修改配置文件

    在config\kibana.yml文件中,預設連接elasticsearch地址是:elasticsearch.hosts: ["http://localhost:9200"], 如果elasticsearch和kibana都在同一臺機器,則不需要修改。

  3. 啟動

    Kibana不同於Elasticsearch,Kibana官方並沒有提供安裝為系統服務的方法。在bin目錄下雙擊kibana.bat文件。暫用控制台作為宿主。在瀏覽器運行http://localhost:5601/

    首頁右下角單擊,左邊的導航欄會展開,如下所示:

    

    可以將sample flight data 飛行記錄數據和sample web logs  web日誌記錄,這二個樣例數據導入,方便學習。

     在左邊的導航欄Dev Tools 中,可以調用 elasticsearch api 來進行操作,如下所示:

  4.kibana其它配置

    4.1 kibana.yml修改為中文

      #i18n.locale: "en"
        i18n.locale: "zh-CN"

 

 三.分析器安裝

  IK 是中文分析器中比較有名的,分詞包括兩種: ik_smart和ik_max_word。二種區別在於提取詞項的粒度,前者提取的粒度最粗,後者最細。elsaticsearch預設並不支持ik,需要安裝。版本與elsaticsearch保持一致,這裡下載v7.5.2。下載 地址:https://github.com/medcl/elasticsearch-analysis-ik/releases    elasticsearch-analysis-ik-7.5.2.zip

  在plugins下,新建一個ik文件夾,解壓放入,重啟ES,如下所示:

 

  (打開kibana的Dev Tools測試)IK中文分析器測試,ik_max_word測試如下:

   IK中文分析器測試,ik_smart測試如下:

 

四.IK擴展詞典

  3.1 本地配置自定義詞典

     如下圖,先建一個txt文件,文本格式為 UTF8 編碼,重命名為mydict.dic文件,添加自定義詞典

    將dic新文件路徑配置到IKAnalyzer.cfg.xml中,如下所示:

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 擴展配置</comment>
    <!--用戶可以在這裡配置自己的擴展字典 -->
    <entry key="ext_dict">custom/mydict.dic</entry>
     <!--用戶可以在這裡配置自己的擴展停止詞字典-->
    <entry key="ext_stopwords"></entry>
    <!--用戶可以在這裡配置遠程擴展字典 -->
    <!-- <entry key="remote_ext_dict">words_location</entry> -->
    <!--用戶可以在這裡配置遠程擴展停止詞字典-->
    <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

    置後,重啟es服務,再使用分詞器測試如下所示:

    

 

五.IK熱更新詞庫

    官方給出建議:可以將需自動更新的熱詞放在一個 UTF-8 編碼的 .txt 文件里,放在 nginx 或其他簡易 http server 下,當 .txt 文件修改時,http server 會在客戶端請求該文件時自動返回相應的 Last-Modified 和 ETag。可以另外做一個工具來從業務系統提取相關辭彙,並更新這個 .txt 文件。

    下麵使用iis作為http伺服器,新建一個站點,站點下有一個hotword.txt 文件,應用池托管為v 4.0經典模式。去掉壓縮不然lk程式監視器讀取不到。 再就是設置http響應頭,因為該 http 請求需要返回兩個頭部(header),一個是 Last-Modified,一個是 ETag,這兩者都是字元串類型,只要有一個發生變化,該插件就會去抓取新的分詞進而更新詞庫。配圖如下所示:

 

 

   將伺服器txt文件路徑配置到IKAnalyzer.cfg.xml中,如下所示:

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 擴展配置</comment>
    <!--用戶可以在這裡配置自己的擴展字典 -->
    <!--<entry key="ext_dict"></entry>-->
     <!--用戶可以在這裡配置自己的擴展停止詞字典-->
  <!--<entry key="ext_stopwords"></entry>-->
    <!--用戶可以在這裡配置遠程擴展字典 -->
     <entry key="remote_ext_dict">http://localhost:8088/hotword.txt</entry> 
    <!--用戶可以在這裡配置遠程擴展停止詞字典-->
  <!--  <entry key="remote_ext_stopwords"></entry>-->
</properties>

  hotword.txt配置如下所示:

 

    重啟es伺服器,在Log/elasticsearch.log中可以看到載入的詞列表,如下所示:

[2020-02-18T10:46:47,129][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] try load config from D:\有啦\elasticsearch-7.5.2\plugins\ik\config\IKAnalyzer.cfg.xml
[2020-02-18T10:46:47,206][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] [Dict Loading] http://localhost:8088/hotword.txt
[2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 新冠
[2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 新冠肺炎
[2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 盛吉芳
[2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 首提
[2020-02-18T10:46:47,214][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 哈哈
[2020-02-18T10:46:47,214][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] reload ik dict finished.

   測試分詞,如下所示:

 

 

參考文獻

  analysis-ik

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在 C 中存在一個名叫靜態類型檢查的機制,這個機制可以讓編譯器幫助我們把類型不服的用法找出來,從而使得應用程式在運行期間加少一些類型檢查的操作。但是有時候我們還是需要進行運行期類型檢查,比如我們在設計框架時將方法的參數類型定義為 object ,那麼這時我們就有很大的可能需要將 object 類型的 ...
  • 本筆記摘抄自:https://www.cnblogs.com/PatrickLiu/p/7772184.html,記錄一下學習過程以備後續查用。 一、引言 今天我們要講結構型設計模式的第五個模式--外觀模式。先從名字上來理解一下外觀模式,當看到“外觀”這個詞時,很容易想到“外表”這個詞語,兩者有著 ...
  • 《C# 6.0 本質論》 [作者] (美) Mark Michaelis (美) Eric Lippert[譯者] (中) 周靖 龐燕[出版] 人民郵電出版社[版次] 2017年02月 第5版[印次] 2017年02月 第1次 印刷[定價] 108.00元 【前言】 成功學習 C# 的關鍵在於,要盡 ...
  • 項目gitHub地址 點我跳轉 今天給大家帶來一個C#裡面的時間工具類,具體的直接看下麵代碼 1 using System; 2 3 namespace ToolBox.DateTimeTool 4 { 5 public static class DateTimeExtend 6 { 7 /// < ...
  • 一、前言 Entity Framework(後面簡稱EF)作為微軟家的ORM,自然而然從.NET Framework延續到了.NET Core。 二、程式包管理器控制台 為了能夠在控制臺中使用命令行來操作EF,需要先安裝Microsoft.EntityFrameworkCore.Tools。 安裝 ...
  • 本筆記摘抄自:https://www.cnblogs.com/PatrickLiu/p/7743118.html,記錄一下學習過程以備後續查用。 一、引言 今天我們要講結構型設計模式的第四個模式--組合模式。當我們談到這個模式的時候,有一個物件和這個模式很像,那就是“俄羅斯套娃”。“俄羅斯套娃”是 ...
  • Regex.Replace("<!--(.|[\r\n])*?-->",string.Empty) ...
  • 最近因為” 新冠” 疫情在家辦公,學習了 ASP.NET Core MVC 網站的一些知識,記錄如下。 ...
一周排行
    -Advertisement-
    Play Games
  • 概述:在C#中,++i和i++都是自增運算符,其中++i先增加值再返回,而i++先返回值再增加。應用場景根據需求選擇,首碼適合先增後用,尾碼適合先用後增。詳細示例提供清晰的代碼演示這兩者的操作時機和實際應用。 在C#中,++i 和 i++ 都是自增運算符,但它們在操作上有細微的差異,主要體現在操作的 ...
  • 上次發佈了:Taurus.MVC 性能壓力測試(ap 壓測 和 linux 下wrk 壓測):.NET Core 版本,今天計劃準備壓測一下 .NET 版本,來測試並記錄一下 Taurus.MVC 框架在 .NET 版本的性能,以便後續持續優化改進。 為了方便對比,本文章的電腦環境和測試思路,儘量和... ...
  • .NET WebAPI作為一種構建RESTful服務的強大工具,為開發者提供了便捷的方式來定義、處理HTTP請求並返迴響應。在設計API介面時,正確地接收和解析客戶端發送的數據至關重要。.NET WebAPI提供了一系列特性,如[FromRoute]、[FromQuery]和[FromBody],用 ...
  • 原因:我之所以想做這個項目,是因為在之前查找關於C#/WPF相關資料時,我發現講解圖像濾鏡的資源非常稀缺。此外,我註意到許多現有的開源庫主要基於CPU進行圖像渲染。這種方式在處理大量圖像時,會導致CPU的渲染負擔過重。因此,我將在下文中介紹如何通過GPU渲染來有效實現圖像的各種濾鏡效果。 生成的效果 ...
  • 引言 上一章我們介紹了在xUnit單元測試中用xUnit.DependencyInject來使用依賴註入,上一章我們的Sample.Repository倉儲層有一個批量註入的介面沒有做單元測試,今天用這個示例來演示一下如何用Bogus創建模擬數據 ,和 EFCore 的種子數據生成 Bogus 的優 ...
  • 一、前言 在自己的項目中,涉及到實時心率曲線的繪製,項目上的曲線繪製,一般很難找到能直接用的第三方庫,而且有些還是定製化的功能,所以還是自己繪製比較方便。很多人一聽到自己畫就害怕,感覺很難,今天就分享一個完整的實時心率數據繪製心率曲線圖的例子;之前的博客也分享給DrawingVisual繪製曲線的方 ...
  • 如果你在自定義的 Main 方法中直接使用 App 類並啟動應用程式,但發現 App.xaml 中定義的資源沒有被正確載入,那麼問題可能在於如何正確配置 App.xaml 與你的 App 類的交互。 確保 App.xaml 文件中的 x:Class 屬性正確指向你的 App 類。這樣,當你創建 Ap ...
  • 一:背景 1. 講故事 上個月有個朋友在微信上找到我,說他們的軟體在客戶那邊隔幾天就要崩潰一次,一直都沒有找到原因,讓我幫忙看下怎麼回事,確實工控類的軟體環境複雜難搞,朋友手上有一個崩潰的dump,剛好丟給我來分析一下。 二:WinDbg分析 1. 程式為什麼會崩潰 windbg 有一個厲害之處在於 ...
  • 前言 .NET生態中有許多依賴註入容器。在大多數情況下,微軟提供的內置容器在易用性和性能方面都非常優秀。外加ASP.NET Core預設使用內置容器,使用很方便。 但是筆者在使用中一直有一個頭疼的問題:服務工廠無法提供請求的服務類型相關的信息。這在一般情況下並沒有影響,但是內置容器支持註冊開放泛型服 ...
  • 一、前言 在項目開發過程中,DataGrid是經常使用到的一個數據展示控制項,而通常表格的最後一列是作為操作列存在,比如會有編輯、刪除等功能按鈕。但WPF的原始DataGrid中,預設只支持固定左側列,這跟大家習慣性操作列放最後不符,今天就來介紹一種簡單的方式實現固定右側列。(這裡的實現方式參考的大佬 ...