ElasticSearch 分詞器，瞭解一下

来源:https://www.cnblogs.com/wupeixuan/archive/2020/03/08/12444528.html
-Advertisement-
Play Games

這篇文章主要來介紹下什麼是 Analysis ，什麼是分詞器，以及 ElasticSearch 自帶的分詞器是怎麼工作的，最後會介紹下中文分詞是怎麼做的。 首先來說下什麼是 Analysis： 什麼是 Analysis？ 顧名思義，文本分析就是 把全文本轉換成一系列單詞（term/token）的過程 ...


這篇文章主要來介紹下什麼是 Analysis ，什麼是分詞器，以及 ElasticSearch 自帶的分詞器是怎麼工作的，最後會介紹下中文分詞是怎麼做的。

首先來說下什麼是 Analysis：

什麼是 Analysis？

顧名思義，文本分析就是把全文本轉換成一系列單詞（term/token）的過程，也叫分詞。在 ES 中，Analysis 是通過分詞器（Analyzer） 來實現的，可使用 ES 內置的分析器或者按需定製化分析器。

舉一個分詞簡單的例子：比如你輸入 Mastering Elasticsearch，會自動幫你分成兩個單詞，一個是 mastering，另一個是 elasticsearch，可以看出單詞也被轉化成了小寫的。

再簡單瞭解了 Analysis 與 Analyzer 之後，讓我們來看下分詞器的組成：

分詞器的組成

分詞器是專門處理分詞的組件，分詞器由以下三部分組成：

  • Character Filters：針對原始文本處理，比如去除 html 標簽
  • Tokenizer：按照規則切分為單詞，比如按照空格切分
  • Token Filters：將切分的單詞進行加工，比如大寫轉小寫，刪除 stopwords，增加同義語

分詞器的組成

同時 Analyzer 三個部分也是有順序的，從圖中可以看出，從上到下依次經過 Character Filters，Tokenizer 以及 Token Filters，這個順序比較好理解，一個文本進來肯定要先對文本數據進行處理，再去分詞，最後對分詞的結果進行過濾。

其中，ES 內置了許多分詞器：

  • Standard Analyzer - 預設分詞器，按詞切分，小寫處理
  • Simple Analyzer - 按照非字母切分（符號被過濾），小寫處理
  • Stop Analyzer - 小寫處理，停用詞過濾（the ，a，is）
  • Whitespace Analyzer - 按照空格切分，不轉小寫
  • Keyword Analyzer - 不分詞，直接將輸入當做輸出
  • Pattern Analyzer - 正則表達式，預設 \W+
  • Language - 提供了 30 多種常見語言的分詞器
  • Customer Analyzer - 自定義分詞器

接下來會對以上分詞器進行講解，在講解之前先來看下很有用的 API：_analyzer API：

Analyzer API

它可以通過以下三種方式來查看分詞器是怎麼樣工作的：

  • 直接指定 Analyzer 進行測試
GET _analyze
{
    "analyzer": "standard",
    "text" : "Mastering Elasticsearch , elasticsearch in Action"
}
  • 指定索引的欄位進行測試
POST books/_analyze
{
    "field": "title",
    "text": "Mastering Elasticesearch"
}
  • 自定義分詞進行測試
POST /_analyze
{
    "tokenizer": "standard", 
    "filter": ["lowercase"],
    "text": "Mastering Elasticesearch"
}

再瞭解了 Analyzer API 後，讓我們一起看下 ES 內置的分詞器：

ES 分詞器

首先來介紹下 Stamdard Analyzer 分詞器：

Stamdard Analyzer

Stamdard Analyzer

它是 ES 預設的分詞器，它會對輸入的文本按詞的方式進行切分，切分好以後會進行轉小寫處理，預設的 stopwords 是關閉的。

下麵使用 Kibana 看一下它是怎麼樣進行工作的，在 Kibana 的開發工具（Dev Tools）中指定 Analyzer 為 standard，並輸入文本 In 2020, Java is the best language in the world.，然後我們運行一下：

GET _analyze
{
  "analyzer": "standard",
  "text": "In 2020, Java is the best language in the world."
}

運行結果如下：

{
  "tokens" : [
    {
      "token" : "in",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "2020",
      "start_offset" : 3,
      "end_offset" : 7,
      "type" : "<NUM>",
      "position" : 1
    },
    {
      "token" : "java",
      "start_offset" : 9,
      "end_offset" : 13,
      "type" : "<ALPHANUM>",
      "position" : 2
    },
    {
      "token" : "is",
      "start_offset" : 14,
      "end_offset" : 16,
      "type" : "<ALPHANUM>",
      "position" : 3
    },
    {
      "token" : "the",
      "start_offset" : 17,
      "end_offset" : 20,
      "type" : "<ALPHANUM>",
      "position" : 4
    },
    {
      "token" : "best",
      "start_offset" : 21,
      "end_offset" : 25,
      "type" : "<ALPHANUM>",
      "position" : 5
    },
    {
      "token" : "language",
      "start_offset" : 26,
      "end_offset" : 34,
      "type" : "<ALPHANUM>",
      "position" : 6
    },
    {
      "token" : "in",
      "start_offset" : 35,
      "end_offset" : 37,
      "type" : "<ALPHANUM>",
      "position" : 7
    },
    {
      "token" : "the",
      "start_offset" : 38,
      "end_offset" : 41,
      "type" : "<ALPHANUM>",
      "position" : 8
    },
    {
      "token" : "world",
      "start_offset" : 42,
      "end_offset" : 47,
      "type" : "<ALPHANUM>",
      "position" : 9
    }
  ]
}

可以看出是按照空格、非字母的方式對輸入的文本進行了轉換，比如對 Java 做了轉小寫，對一些停用詞也沒有去掉，比如 in。

其中 token 為分詞結果；start_offset 為起始偏移；end_offset 為結束偏移；position 為分詞位置。

下麵來看下 Simple Analyzer 分詞器：

Simple Analyzer

Simple Analyzer

它只包括了 Lower Case 的 Tokenizer，它會按照非字母切分，非字母的會被去除，最後對切分好的做轉小寫處理，然後接著用剛纔的輸入文本，分詞器換成 simple 來進行分詞，運行結果如下：

{
  "tokens" : [
    {
      "token" : "in",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "java",
      "start_offset" : 9,
      "end_offset" : 13,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "is",
      "start_offset" : 14,
      "end_offset" : 16,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "the",
      "start_offset" : 17,
      "end_offset" : 20,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "best",
      "start_offset" : 21,
      "end_offset" : 25,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "language",
      "start_offset" : 26,
      "end_offset" : 34,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "in",
      "start_offset" : 35,
      "end_offset" : 37,
      "type" : "word",
      "position" : 6
    },
    {
      "token" : "the",
      "start_offset" : 38,
      "end_offset" : 41,
      "type" : "word",
      "position" : 7
    },
    {
      "token" : "world",
      "start_offset" : 42,
      "end_offset" : 47,
      "type" : "word",
      "position" : 8
    }
  ]
}

從結果中可以看出，數字 2020 被去除掉了，說明非字母的的確會被去除，所有的詞也都做了小寫轉換。

現在，我們來看下 Whitespace Analyzer 分詞器：

Whitespace Analyzer

Whitespace Analyzer

它非常簡單，根據名稱也可以看出是按照空格進行切分的，下麵我們來看下它是怎麼樣工作的：

{
  "tokens" : [
    {
      "token" : "In",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "2020,",
      "start_offset" : 3,
      "end_offset" : 8,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "Java",
      "start_offset" : 9,
      "end_offset" : 13,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "is",
      "start_offset" : 14,
      "end_offset" : 16,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "the",
      "start_offset" : 17,
      "end_offset" : 20,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "best",
      "start_offset" : 21,
      "end_offset" : 25,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "language",
      "start_offset" : 26,
      "end_offset" : 34,
      "type" : "word",
      "position" : 6
    },
    {
      "token" : "in",
      "start_offset" : 35,
      "end_offset" : 37,
      "type" : "word",
      "position" : 7
    },
    {
      "token" : "the",
      "start_offset" : 38,
      "end_offset" : 41,
      "type" : "word",
      "position" : 8
    },
    {
      "token" : "world.",
      "start_offset" : 42,
      "end_offset" : 48,
      "type" : "word",
      "position" : 9
    }
  ]
}

可以看出，只是按照空格進行切分，2020 數字還是在的，Java 的首字母還是大寫的，, 還是保留的。

接下來看 Stop Analyzer 分詞器：

Stop Analyzer

Stop Analyzer

它由 Lowe Case 的 Tokenizer 和 Stop 的 Token Filters 組成的，相較於剛纔提到的 Simple Analyzer，多了 stop 過濾，stop 就是會把 the，a，is 等修飾詞去除，同樣讓我們看下運行結果：

{
  "tokens" : [
    {
      "token" : "java",
      "start_offset" : 9,
      "end_offset" : 13,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "best",
      "start_offset" : 21,
      "end_offset" : 25,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "language",
      "start_offset" : 26,
      "end_offset" : 34,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "world",
      "start_offset" : 42,
      "end_offset" : 47,
      "type" : "word",
      "position" : 8
    }
  ]
}

可以看到 in is the 等詞都被 stop filter過濾掉了。

接下來看下 Keyword Analyzer：

Keyword Analyzer

Keyword Analyzer

它其實不做分詞處理，只是將輸入作為 Term 輸出，我們來看下運行結果：

{
  "tokens" : [
    {
      "token" : "In 2020, Java is the best language in the world.",
      "start_offset" : 0,
      "end_offset" : 48,
      "type" : "word",
      "position" : 0
    }
  ]
}

我們可以看到，沒有對輸入文本進行分詞，而是直接作為 Term 輸出了。

接下來看下 Pattern Analyzer：

Pattern Analyzer

Pattern Analyzer

它可以通過正則表達式的方式進行分詞，預設是用 \W+ 進行分割的，也就是非字母的符合進行切分的，由於運行結果和 Stamdard Analyzer 一樣，就不展示了。

Language Analyzer

ES 為不同國家語言的輸入提供了 Language Analyzer 分詞器，在裡面可以指定不同的語言，我們用 english 進行分詞看下：

{
  "tokens" : [
    {
      "token" : "2020",
      "start_offset" : 3,
      "end_offset" : 7,
      "type" : "<NUM>",
      "position" : 1
    },
    {
      "token" : "java",
      "start_offset" : 9,
      "end_offset" : 13,
      "type" : "<ALPHANUM>",
      "position" : 2
    },
    {
      "token" : "best",
      "start_offset" : 21,
      "end_offset" : 25,
      "type" : "<ALPHANUM>",
      "position" : 5
    },
    {
      "token" : "languag",
      "start_offset" : 26,
      "end_offset" : 34,
      "type" : "<ALPHANUM>",
      "position" : 6
    },
    {
      "token" : "world",
      "start_offset" : 42,
      "end_offset" : 47,
      "type" : "<ALPHANUM>",
      "position" : 9
    }
  ]
}

可以看出 language 被改成了 languag，同時它也是有 stop 過濾器的，比如 in,is 等詞也被去除了。

最後，讓我們看下中文分詞：

中文分詞

中文分詞有特定的難點，不像英文，單詞有自然的空格作為分隔，在中文句子中，不能簡單地切分成一個個的字，而是需要分成有含義的詞，但是在不同的上下文，是有不同的理解的。

比如以下例子：

在這些，企業中，國有，企業，有十個/在這些，企業，中國，有企業，有十個
各國，有，企業，相繼，倒閉/各，國有，企業，相繼，倒閉
羽毛球，拍賣，完了/羽毛球拍，賣，完了

那麼，讓我們來看下 ICU Analyzer 分詞器，它提供了 Unicode 的支持，更好的支持亞洲語言！

我們先用 standard 來分詞，以便於和 ICU 進行對比。

GET _analyze
{
  "analyzer": "standard",
  "text": "各國有企業相繼倒閉"
}

運行結果就不展示了，分詞是一個字一個字切分的，明顯效果不是很好，接下來用 ICU 進行分詞，分詞結果如下：

{
  "tokens" : [
    {
      "token" : "各國",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "<IDEOGRAPHIC>",
      "position" : 0
    },
    {
      "token" : "有",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "<IDEOGRAPHIC>",
      "position" : 1
    },
    {
      "token" : "企業",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "<IDEOGRAPHIC>",
      "position" : 2
    },
    {
      "token" : "相繼",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "<IDEOGRAPHIC>",
      "position" : 3
    },
    {
      "token" : "倒閉",
      "start_offset" : 7,
      "end_offset" : 9,
      "type" : "<IDEOGRAPHIC>",
      "position" : 4
    }
  ]
}

可以看到分成了各國，有，企業，相繼，倒閉，顯然比剛纔的效果好了很多。

還有許多中文分詞器，在這裡列舉幾個：

IK：

jieba：

THULAC：

大家可以自己安裝下，看下它中文分詞效果。

總結

本文主要介紹了 ElasticSearch 自帶的分詞器，學習了使用 _analyzer API 去查看它的分詞情況，最後還介紹下中文分詞是怎麼做的。

參考文獻

Elasticsearch頂尖高手系列

Elasticsearch核心技術與實戰

https://www.elastic.co/guide/en/elasticsearch/reference/7.1/indices-analyze.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/analyzer-anatomy.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 同步windows10的時間 同步地址+防火牆設置
    windows10下的時間同步地址，以及防火牆應該放行的程式 ...
  • 操作系統-用戶級線程
    1. 多進程是操作系統的基本圖像 2. 是否可以資源不動而切換指令序列 兩個函數共用同一份數據的時候，可以用線程來運行它們，想java裡面的多線程就行 把進程的切換分成兩個部分，一個是指令的切換，一個是映射表(記憶體)的切換，現在只需知道指令的切換，也就是線程的切換 3. 切換線程是否實用？ 4. 如 ...
  • RHCSA 認證學習筆記
    紅帽認證系統管理員（Red Hat Certified System Administrator）：具備紅帽Linux環境所需的核心系統管理技能。 ...
  • K8s深入瞭解
    Ingress控制器介紹 安裝部署traefik 創建traefik的web ui的ingress規則 ingress實驗 hostPath實驗 PV和PVC 研究的方向 重啟k8s二進位安裝(kubeadm)需要重啟組件 ...
  • K8s初識
    k8s系統架構 從系統架構來看，k8s分為2個節點 Master 控制節點 指揮官 Node 工作節點 幹活的 1.Master節點組成 API Server ：提供k8s API介面 主要處理Rest操作以及更新Etcd中的對象 是所有資源增刪改查的唯一入口。 Scheduler：資源調度器 根據 ...
  • ELK日誌收集
    ELk簡介 基本架構圖 傳統日誌分析需求(面試) 1.找出訪問網站頻次最高的 IP 排名前十 2.找出訪問網站排名前十的 URL 3.找出中午 10 點到 2 點之間 www 網站訪問頻次最高的 IP 4.對比昨天這個時間段和今天這個時間段訪問頻次有什麼變化 5.對比上周這個時間和今天這個時間的區別 ...
  • nbd 相關概念及操作
    周五(3月6號)筆者發現有台物理機上掛載了一個並非常用的nbd設備，估計是之前人做的測試留下來的，決定卸載它，順帶瞭解了下nbd的設備信息。 什麼是nbd 全稱是network block device，類似於nfs，遠程設備可以掛載，只不過掛載的不再是文件系統，而是塊設備。 nbd一般分為clie ...
  • Could not find archived log for sequence 587 thread 1 under default destinations SQL
    最近遇到這個問題，其實提示很簡單了。 去oracle 論壇看下，有人回覆了 Extract was off for two long. All redo logs have been switched. You have to provide archive logs to Oracle defau ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類