使用Lucene.Net做一個簡單的搜索引擎-全文索引

来源:https://www.cnblogs.com/seriawei/archive/2020/02/29/lucene-net.html
-Advertisement-
Play Games

Lucene.Net Lucene.net是Lucene的.net移植版本，是一個開源的全文檢索引擎開發包，即它不是一個完整的全文檢索引擎，而是一個全文檢索引擎的架構，提供了完整的查詢引擎和索引引擎。 Lucene.net是Apache軟體基金會贊助的開源項目，基於Apache License協議。 ...


Lucene.Net

Lucene.net是Lucene的.net移植版本，是一個開源的全文檢索引擎開發包，即它不是一個完整的全文檢索引擎，而是一個全文檢索引擎的架構，提供了完整的查詢引擎和索引引擎。

Lucene.net是Apache軟體基金會贊助的開源項目，基於Apache License協議。

Lucene.net並不是一個爬行搜索引擎，也不會自動地索引內容。我們得先將要索引的文檔中的文本抽取出來，然後再將其加到Lucene.net索引中。標準的步驟是先初始化一個Analyzer、打開一個IndexWriter、然後再將文檔一個接一個地加進去。一旦完成這些步驟，索引就可以在關閉前得到優化，同時所做的改變也會生效。這個過程可能比開發者習慣的方式更加手工化一些，但卻在數據的索引上給予你更多的靈活性，而且其效率也很高。

官網：http://lucenenet.apache.org/

GitHub: https://github.com/apache/lucenenet

添加nuget包引用

首先我們要在項目中引用Lucene.Net的相關引用，不同的語言要使用的分析器（Analyzer）是不一樣的，這裡我們使用Lucene.Net.Analysis.SmartCn來做示例，用於分析中文。當前Lucene.Net.Analysis.SmartCn包還未發佈正式版，所以搜索時要勾選“包括預發行版本”：

 

 

 

IndexWriter

IndexWriter用於將文檔索引起來，它會使用對應的分析器（Analyzer）來將文檔中的文字進行拆分索引並且將索引存到Index_Data目錄：

static IndexWriter GetIndexWriter()
{
    var dir = FSDirectory.Open("Index_Data");
    Analyzer analyzer = new SmartChineseAnalyzer(LuceneVersion.LUCENE_48);
    var indexConfig = new IndexWriterConfig(LuceneVersion.LUCENE_48, analyzer);
    IndexWriter writer = new IndexWriter(dir, indexConfig);
    return writer;
}

有了IndexWriter，我們就可以將文檔索引進來了：

 

static void WriteDocument(string url, string title, string keywords, string description)
{
    using (var writer = GetIndexWriter())
    {
        writer.DeleteDocuments(new Term("url", url));

        Document doc = new Document();
        doc.Add(new StringField("url", url, Field.Store.YES));

        TextField titleField = new TextField("title", title, Field.Store.YES);
        titleField.Boost = 3F;

        TextField keywordField = new TextField("keyword", keywords, Field.Store.YES);
        keywordField.Boost = 2F;

        TextField descriptionField = new TextField("description", description, Field.Store.YES);
        descriptionField.Boost = 1F;

        doc.Add(titleField);
        doc.Add(keywordField);
        doc.Add(descriptionField);
        writer.AddDocument(doc);
        writer.Flush(triggerMerge: true, applyAllDeletes: true);
        writer.Commit();
    }
}

對代碼做一些簡單的說明，在實例化一個Document後，需要在Document裡面添加一些欄位：

  • StringField：將該欄位索引，但不會做語意拆分
  • TextField：索引器會對該欄位進行拆分後再索引
  • Boost：即權重，比如標題（3F）和關鍵字（2F）都匹配的話，以標題為優先排在前面

現在我們已經可以將文檔索引起來了，我們將索引一個頁面：

WriteDocument("https://www.zkea.net/index", 
            "紙殼CMS開源免費可視化設計內容管理系統", 
            "紙殼CMS，ZKEACMS，可視化設計，可視化CMS", 
            "紙殼CMS（ZKEACMS）是開源的建站系統，您可以直接使用它來做為您的企業網站，門戶網站或者個人網站，博客");

Index_Data目錄將會生成一些索引文件：

 

 

 

 

有了索引，接下來要做的就是搜索了。

IndexSearcher

因為用戶在搜索的時候並不單單隻輸入關鍵字，很可能輸入的是詞、句，所以在搜索之前，我們還要對搜索語句進行分析，拆解出裡面的關鍵詞後再進行搜索。

static List<string> GetKeyWords(string q)
{
    List<string> keyworkds = new List<string>();
    Analyzer analyzer = new SmartChineseAnalyzer(LuceneVersion.LUCENE_48);
    using (var ts = analyzer.GetTokenStream(null, q))
    {
        ts.Reset();
        var ct = ts.GetAttribute<Lucene.Net.Analysis.TokenAttributes.ICharTermAttribute>();

        while (ts.IncrementToken())
        {
            StringBuilder keyword = new StringBuilder();
            for (int i = 0; i < ct.Length; i++)
            {
                keyword.Append(ct.Buffer[i]);
            }
            string item = keyword.ToString();
            if (!keyworkds.Contains(item))
            {
                keyworkds.Add(item);
            }
        }
    }
    return keyworkds;
}

拆分好用戶輸入的詞句後，接下來使用IndexSearcher並使用組合條件進行搜索：

 

static void Search(string q)
{
    IndexReader reader = DirectoryReader.Open(FSDirectory.Open("Index_Data"));
    
    var searcher = new IndexSearcher(reader);
    
    var keyWordQuery = new BooleanQuery();
    foreach (var item in GetKeyWords(q))
    {
        keyWordQuery.Add(new TermQuery(new Term("title", item)), Occur.SHOULD);
        keyWordQuery.Add(new TermQuery(new Term("keyword", item)), Occur.SHOULD);
        keyWordQuery.Add(new TermQuery(new Term("description", item)), Occur.SHOULD);
    }
    var hits = searcher.Search(keyWordQuery, 200).ScoreDocs;

    foreach (var hit in hits)
    {
        var document = searcher.Doc(hit.Doc);
        Console.WriteLine("Url:{0}", document.Get("url"));
        Console.WriteLine("Title:{0}", document.Get("title"));
        Console.WriteLine("Keyword:{0}", document.Get("keyword"));
        Console.WriteLine("Description:{0}", document.Get("description"));
    }
}

接下來我們來試著搜索一下：

 

 

 

完整代碼

這裡只是一個簡單的示例，有關於更多，可以查看Lucene.Net的官方文檔。

using Lucene.Net.Analysis;
using Lucene.Net.Analysis.Cn.Smart;
using Lucene.Net.Documents;
using Lucene.Net.Index;
using Lucene.Net.Search;
using Lucene.Net.Store;
using Lucene.Net.Util;
using System;
using System.Collections.Generic;
using System.Text;

namespace ConsoleApp
{
    class Program
    {
        static void Main(string[] args)
        {
            WriteDocument("https://www.zkea.net/index", 
                "紙殼CMS開源免費可視化設計內容管理系統", 
                "紙殼CMS，ZKEACMS，可視化設計，可視化CMS", 
                "紙殼CMS（ZKEACMS）是開源的建站系統，您可以直接使用它來做為您的企業網站，門戶網站或者個人網站，博客");

            Search("可視化CMS");
        }
        static void WriteDocument(string url, string title, string keywords, string description)
        {
            using (var writer = GetIndexWriter())
            {
                writer.DeleteDocuments(new Term("url", url));

                Document doc = new Document();
                doc.Add(new StringField("url", url, Field.Store.YES));

                TextField titleField = new TextField("title", title, Field.Store.YES);
                titleField.Boost = 3F;

                TextField keywordField = new TextField("keyword", keywords, Field.Store.YES);
                keywordField.Boost = 2F;

                TextField descriptionField = new TextField("description", description, Field.Store.YES);
                descriptionField.Boost = 1F;

                doc.Add(titleField);
                doc.Add(keywordField);
                doc.Add(descriptionField);
                writer.AddDocument(doc);
                writer.Flush(triggerMerge: true, applyAllDeletes: true);
                writer.Commit();
            }
        }
        static IndexWriter GetIndexWriter()
        {
            var dir = FSDirectory.Open("Index_Data");
            Analyzer analyzer = new SmartChineseAnalyzer(LuceneVersion.LUCENE_48);
            var indexConfig = new IndexWriterConfig(LuceneVersion.LUCENE_48, analyzer);
            IndexWriter writer = new IndexWriter(dir, indexConfig);
            return writer;
        }

        static List<string> GetKeyWords(string q)
        {
            List<string> keyworkds = new List<string>();
            Analyzer analyzer = new SmartChineseAnalyzer(LuceneVersion.LUCENE_48);
            using (var ts = analyzer.GetTokenStream(null, q))
            {
                ts.Reset();
                var ct = ts.GetAttribute<Lucene.Net.Analysis.TokenAttributes.ICharTermAttribute>();

                while (ts.IncrementToken())
                {
                    StringBuilder keyword = new StringBuilder();
                    for (int i = 0; i < ct.Length; i++)
                    {
                        keyword.Append(ct.Buffer[i]);
                    }
                    string item = keyword.ToString();
                    if (!keyworkds.Contains(item))
                    {
                        keyworkds.Add(item);
                    }
                }
            }
            return keyworkds;
        }
        static void Search(string q)
        {
            IndexReader reader = DirectoryReader.Open(FSDirectory.Open("Index_Data"));
            
            var searcher = new IndexSearcher(reader);
            
            var keyWordQuery = new BooleanQuery();
            foreach (var item in GetKeyWords(q))
            {
                keyWordQuery.Add(new TermQuery(new Term("title", item)), Occur.SHOULD);
                keyWordQuery.Add(new TermQuery(new Term("keyword", item)), Occur.SHOULD);
                keyWordQuery.Add(new TermQuery(new Term("description", item)), Occur.SHOULD);
            }
            var hits = searcher.Search(keyWordQuery, 200).ScoreDocs;

            foreach (var hit in hits)
            {
                var document = searcher.Doc(hit.Doc);
                Console.WriteLine("Url:{0}", document.Get("url"));
                Console.WriteLine("Title:{0}", document.Get("title"));
                Console.WriteLine("Keyword:{0}", document.Get("keyword"));
                Console.WriteLine("Description:{0}", document.Get("description"));
            }
        }
    }
}

原文鏈接：http://www.zkea.net/codesnippet/detail/lucene-net.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 詳解 繼承（下）—— super關鍵字 與 多態
    接上篇博文—— "《詳解 繼承（上）—— 工具的抽象與分層》" 廢話不多說，進入正題： 本人在上篇“故弄玄虛”，用super();解決了問題，這是為什麼呢？ 答曰：子類中所有的構造方法 預設 都會訪問父類中 空參數的構造方法 (拓展：由於這個原理，我們今後所做的“ 工具類 ”都必須要帶上無參構造) ...
  • 詳解 繼承（上）—— 工具的抽象與分層
    本篇博文講解的知識點比較實用，但是，相關知識點太多，所以本人將內容分為上下兩冊， 那麼，本人就不多廢話，直接進入主題進行講解了！ 說到“繼承”，大家可能都會想到我們日常中對於這個詞的定義：將先人的 物品 或 意志 傳承給後人，而後人也可以“擇優繼承”，併在先人的基礎上產生 新的物品 或 新的意志。 ...
  • python基礎入門之五 —— 元組
    1、格式 （數據1,數據2,數據3,...） 定義元組使用小括弧，且逗號隔開各個數據，數據可以是不同的數據類型。 元組和列表的區別：元組存儲的數據不能修改 2、定義的類型 單數據元組和多數據元組 t1 = (1, 2) print(type(t1)) # tuple 多數據元組 t2 = (1,) ...
  • ElasticSearch實戰系列五: ElasticSearch的聚合查詢基礎使用教程之度量(Metric)聚合
    Title:ElasticSearch實戰系列四: ElasticSearch的聚合查詢基礎使用教程之度量(Metric)聚合 前言 在上上一篇中介紹了 "ElasticSearch實戰系列三: ElasticSearch的JAVA API使用教程" ，介紹了ElasticSearch Java A ...
  • 詳解 泛型 與 自動拆裝箱
    [toc] 泛型： 首先，本人來介紹一下 什麼是泛型 ： 泛型概述 : 是一種把類型明確的工作 推遲到創建對象 或者 調用方法的時候 才去 明確的特殊的類型 。 參數化類型 ，把類型當作參數一樣的傳遞。 通俗一點來講：泛型 是JAVA 中一種十分強大的機制，因為它能夠完成在 未知元素類型 的情況下對 ...
  • 論JDK5/7/8版本都做出了哪些革新
    在Java發展的里程碑上，有三個版本做出的改動，是革命性的 為什麼說是革命性的呢？ 因為這三個版本所推出的有些新機制，在之後的Java框架開發、新類的產生等等中， 都被廣泛使用了。 那麼，這三個版本的JDK，都有哪些新特性呢？ 現在，右轉哥就來帶你剖析這三個版本的JDK的新特性： [toc] 首先是 ...
  • Spring個人筆記
    xml配置 1.xml基本結構： 其中id是bean字元串，bean的唯一標識符，相當於對象名，class是bean類名的完全限定路徑 2.別名 起別名有兩種方式， 1.通過alias 2.通過bean中的name屬性 用bean中name更高級，可以起多個別名 IoC創建對象方式 1.通過無參構造 ...
  • C#面向對象--屬性
    一、屬性（Property）作為類和結構的成員，是對欄位的一種封裝方式，實際上是一種特殊的方法，被稱為訪問器（Accessor），從而隱藏實現和驗證代碼，有助於提高欄位讀取和賦值的安全性和靈活性； 1.屬性訪問器包含兩種類型：用於讀取並返回值的get訪問器，用於賦值新值的set屬性訪問器；通常將欄位 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類