使用Lucene.Net做一個簡單的搜索引擎-全文索引

来源:https://www.cnblogs.com/seriawei/archive/2020/02/29/lucene-net.html
-Advertisement-
Play Games

Lucene.Net Lucene.net是Lucene的.net移植版本，是一個開源的全文檢索引擎開發包，即它不是一個完整的全文檢索引擎，而是一個全文檢索引擎的架構，提供了完整的查詢引擎和索引引擎。 Lucene.net是Apache軟體基金會贊助的開源項目，基於Apache License協議。 ...


Lucene.Net

Lucene.net是Lucene的.net移植版本，是一個開源的全文檢索引擎開發包，即它不是一個完整的全文檢索引擎，而是一個全文檢索引擎的架構，提供了完整的查詢引擎和索引引擎。

Lucene.net是Apache軟體基金會贊助的開源項目，基於Apache License協議。

Lucene.net並不是一個爬行搜索引擎，也不會自動地索引內容。我們得先將要索引的文檔中的文本抽取出來，然後再將其加到Lucene.net索引中。標準的步驟是先初始化一個Analyzer、打開一個IndexWriter、然後再將文檔一個接一個地加進去。一旦完成這些步驟，索引就可以在關閉前得到優化，同時所做的改變也會生效。這個過程可能比開發者習慣的方式更加手工化一些，但卻在數據的索引上給予你更多的靈活性，而且其效率也很高。

官網：http://lucenenet.apache.org/

GitHub: https://github.com/apache/lucenenet

添加nuget包引用

首先我們要在項目中引用Lucene.Net的相關引用，不同的語言要使用的分析器（Analyzer）是不一樣的，這裡我們使用Lucene.Net.Analysis.SmartCn來做示例，用於分析中文。當前Lucene.Net.Analysis.SmartCn包還未發佈正式版，所以搜索時要勾選“包括預發行版本”：

 

 

 

IndexWriter

IndexWriter用於將文檔索引起來，它會使用對應的分析器（Analyzer）來將文檔中的文字進行拆分索引並且將索引存到Index_Data目錄：

static IndexWriter GetIndexWriter()
{
    var dir = FSDirectory.Open("Index_Data");
    Analyzer analyzer = new SmartChineseAnalyzer(LuceneVersion.LUCENE_48);
    var indexConfig = new IndexWriterConfig(LuceneVersion.LUCENE_48, analyzer);
    IndexWriter writer = new IndexWriter(dir, indexConfig);
    return writer;
}

有了IndexWriter，我們就可以將文檔索引進來了：

 

static void WriteDocument(string url, string title, string keywords, string description)
{
    using (var writer = GetIndexWriter())
    {
        writer.DeleteDocuments(new Term("url", url));

        Document doc = new Document();
        doc.Add(new StringField("url", url, Field.Store.YES));

        TextField titleField = new TextField("title", title, Field.Store.YES);
        titleField.Boost = 3F;

        TextField keywordField = new TextField("keyword", keywords, Field.Store.YES);
        keywordField.Boost = 2F;

        TextField descriptionField = new TextField("description", description, Field.Store.YES);
        descriptionField.Boost = 1F;

        doc.Add(titleField);
        doc.Add(keywordField);
        doc.Add(descriptionField);
        writer.AddDocument(doc);
        writer.Flush(triggerMerge: true, applyAllDeletes: true);
        writer.Commit();
    }
}

對代碼做一些簡單的說明，在實例化一個Document後，需要在Document裡面添加一些欄位：

  • StringField：將該欄位索引，但不會做語意拆分
  • TextField：索引器會對該欄位進行拆分後再索引
  • Boost：即權重，比如標題（3F）和關鍵字（2F）都匹配的話，以標題為優先排在前面

現在我們已經可以將文檔索引起來了，我們將索引一個頁面：

WriteDocument("https://www.zkea.net/index", 
            "紙殼CMS開源免費可視化設計內容管理系統", 
            "紙殼CMS，ZKEACMS，可視化設計，可視化CMS", 
            "紙殼CMS（ZKEACMS）是開源的建站系統，您可以直接使用它來做為您的企業網站，門戶網站或者個人網站，博客");

Index_Data目錄將會生成一些索引文件：

 

 

 

 

有了索引，接下來要做的就是搜索了。

IndexSearcher

因為用戶在搜索的時候並不單單隻輸入關鍵字，很可能輸入的是詞、句，所以在搜索之前，我們還要對搜索語句進行分析，拆解出裡面的關鍵詞後再進行搜索。

static List<string> GetKeyWords(string q)
{
    List<string> keyworkds = new List<string>();
    Analyzer analyzer = new SmartChineseAnalyzer(LuceneVersion.LUCENE_48);
    using (var ts = analyzer.GetTokenStream(null, q))
    {
        ts.Reset();
        var ct = ts.GetAttribute<Lucene.Net.Analysis.TokenAttributes.ICharTermAttribute>();

        while (ts.IncrementToken())
        {
            StringBuilder keyword = new StringBuilder();
            for (int i = 0; i < ct.Length; i++)
            {
                keyword.Append(ct.Buffer[i]);
            }
            string item = keyword.ToString();
            if (!keyworkds.Contains(item))
            {
                keyworkds.Add(item);
            }
        }
    }
    return keyworkds;
}

拆分好用戶輸入的詞句後，接下來使用IndexSearcher並使用組合條件進行搜索：

 

static void Search(string q)
{
    IndexReader reader = DirectoryReader.Open(FSDirectory.Open("Index_Data"));
    
    var searcher = new IndexSearcher(reader);
    
    var keyWordQuery = new BooleanQuery();
    foreach (var item in GetKeyWords(q))
    {
        keyWordQuery.Add(new TermQuery(new Term("title", item)), Occur.SHOULD);
        keyWordQuery.Add(new TermQuery(new Term("keyword", item)), Occur.SHOULD);
        keyWordQuery.Add(new TermQuery(new Term("description", item)), Occur.SHOULD);
    }
    var hits = searcher.Search(keyWordQuery, 200).ScoreDocs;

    foreach (var hit in hits)
    {
        var document = searcher.Doc(hit.Doc);
        Console.WriteLine("Url:{0}", document.Get("url"));
        Console.WriteLine("Title:{0}", document.Get("title"));
        Console.WriteLine("Keyword:{0}", document.Get("keyword"));
        Console.WriteLine("Description:{0}", document.Get("description"));
    }
}

接下來我們來試著搜索一下：

 

 

 

完整代碼

這裡只是一個簡單的示例，有關於更多，可以查看Lucene.Net的官方文檔。

using Lucene.Net.Analysis;
using Lucene.Net.Analysis.Cn.Smart;
using Lucene.Net.Documents;
using Lucene.Net.Index;
using Lucene.Net.Search;
using Lucene.Net.Store;
using Lucene.Net.Util;
using System;
using System.Collections.Generic;
using System.Text;

namespace ConsoleApp
{
    class Program
    {
        static void Main(string[] args)
        {
            WriteDocument("https://www.zkea.net/index", 
                "紙殼CMS開源免費可視化設計內容管理系統", 
                "紙殼CMS，ZKEACMS，可視化設計，可視化CMS", 
                "紙殼CMS（ZKEACMS）是開源的建站系統，您可以直接使用它來做為您的企業網站，門戶網站或者個人網站，博客");

            Search("可視化CMS");
        }
        static void WriteDocument(string url, string title, string keywords, string description)
        {
            using (var writer = GetIndexWriter())
            {
                writer.DeleteDocuments(new Term("url", url));

                Document doc = new Document();
                doc.Add(new StringField("url", url, Field.Store.YES));

                TextField titleField = new TextField("title", title, Field.Store.YES);
                titleField.Boost = 3F;

                TextField keywordField = new TextField("keyword", keywords, Field.Store.YES);
                keywordField.Boost = 2F;

                TextField descriptionField = new TextField("description", description, Field.Store.YES);
                descriptionField.Boost = 1F;

                doc.Add(titleField);
                doc.Add(keywordField);
                doc.Add(descriptionField);
                writer.AddDocument(doc);
                writer.Flush(triggerMerge: true, applyAllDeletes: true);
                writer.Commit();
            }
        }
        static IndexWriter GetIndexWriter()
        {
            var dir = FSDirectory.Open("Index_Data");
            Analyzer analyzer = new SmartChineseAnalyzer(LuceneVersion.LUCENE_48);
            var indexConfig = new IndexWriterConfig(LuceneVersion.LUCENE_48, analyzer);
            IndexWriter writer = new IndexWriter(dir, indexConfig);
            return writer;
        }

        static List<string> GetKeyWords(string q)
        {
            List<string> keyworkds = new List<string>();
            Analyzer analyzer = new SmartChineseAnalyzer(LuceneVersion.LUCENE_48);
            using (var ts = analyzer.GetTokenStream(null, q))
            {
                ts.Reset();
                var ct = ts.GetAttribute<Lucene.Net.Analysis.TokenAttributes.ICharTermAttribute>();

                while (ts.IncrementToken())
                {
                    StringBuilder keyword = new StringBuilder();
                    for (int i = 0; i < ct.Length; i++)
                    {
                        keyword.Append(ct.Buffer[i]);
                    }
                    string item = keyword.ToString();
                    if (!keyworkds.Contains(item))
                    {
                        keyworkds.Add(item);
                    }
                }
            }
            return keyworkds;
        }
        static void Search(string q)
        {
            IndexReader reader = DirectoryReader.Open(FSDirectory.Open("Index_Data"));
            
            var searcher = new IndexSearcher(reader);
            
            var keyWordQuery = new BooleanQuery();
            foreach (var item in GetKeyWords(q))
            {
                keyWordQuery.Add(new TermQuery(new Term("title", item)), Occur.SHOULD);
                keyWordQuery.Add(new TermQuery(new Term("keyword", item)), Occur.SHOULD);
                keyWordQuery.Add(new TermQuery(new Term("description", item)), Occur.SHOULD);
            }
            var hits = searcher.Search(keyWordQuery, 200).ScoreDocs;

            foreach (var hit in hits)
            {
                var document = searcher.Doc(hit.Doc);
                Console.WriteLine("Url:{0}", document.Get("url"));
                Console.WriteLine("Title:{0}", document.Get("title"));
                Console.WriteLine("Keyword:{0}", document.Get("keyword"));
                Console.WriteLine("Description:{0}", document.Get("description"));
            }
        }
    }
}

原文鏈接：http://www.zkea.net/codesnippet/detail/lucene-net.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 詳解 繼承（下）—— super關鍵字 與 多態
    接上篇博文—— "《詳解 繼承（上）—— 工具的抽象與分層》" 廢話不多說，進入正題： 本人在上篇“故弄玄虛”，用super();解決了問題，這是為什麼呢？ 答曰：子類中所有的構造方法 預設 都會訪問父類中 空參數的構造方法 (拓展：由於這個原理，我們今後所做的“ 工具類 ”都必須要帶上無參構造) ...
  • 詳解 繼承（上）—— 工具的抽象與分層
    本篇博文講解的知識點比較實用，但是，相關知識點太多，所以本人將內容分為上下兩冊， 那麼，本人就不多廢話，直接進入主題進行講解了！ 說到“繼承”，大家可能都會想到我們日常中對於這個詞的定義：將先人的 物品 或 意志 傳承給後人，而後人也可以“擇優繼承”，併在先人的基礎上產生 新的物品 或 新的意志。 ...
  • python基礎入門之五 —— 元組
    1、格式 （數據1,數據2,數據3,...） 定義元組使用小括弧，且逗號隔開各個數據，數據可以是不同的數據類型。 元組和列表的區別：元組存儲的數據不能修改 2、定義的類型 單數據元組和多數據元組 t1 = (1, 2) print(type(t1)) # tuple 多數據元組 t2 = (1,) ...
  • ElasticSearch實戰系列五: ElasticSearch的聚合查詢基礎使用教程之度量(Metric)聚合
    Title:ElasticSearch實戰系列四: ElasticSearch的聚合查詢基礎使用教程之度量(Metric)聚合 前言 在上上一篇中介紹了 "ElasticSearch實戰系列三: ElasticSearch的JAVA API使用教程" ，介紹了ElasticSearch Java A ...
  • 詳解 泛型 與 自動拆裝箱
    [toc] 泛型： 首先，本人來介紹一下 什麼是泛型 ： 泛型概述 : 是一種把類型明確的工作 推遲到創建對象 或者 調用方法的時候 才去 明確的特殊的類型 。 參數化類型 ，把類型當作參數一樣的傳遞。 通俗一點來講：泛型 是JAVA 中一種十分強大的機制，因為它能夠完成在 未知元素類型 的情況下對 ...
  • 論JDK5/7/8版本都做出了哪些革新
    在Java發展的里程碑上，有三個版本做出的改動，是革命性的 為什麼說是革命性的呢？ 因為這三個版本所推出的有些新機制，在之後的Java框架開發、新類的產生等等中， 都被廣泛使用了。 那麼，這三個版本的JDK，都有哪些新特性呢？ 現在，右轉哥就來帶你剖析這三個版本的JDK的新特性： [toc] 首先是 ...
  • Spring個人筆記
    xml配置 1.xml基本結構： 其中id是bean字元串，bean的唯一標識符，相當於對象名，class是bean類名的完全限定路徑 2.別名 起別名有兩種方式， 1.通過alias 2.通過bean中的name屬性 用bean中name更高級，可以起多個別名 IoC創建對象方式 1.通過無參構造 ...
  • C#面向對象--屬性
    一、屬性（Property）作為類和結構的成員，是對欄位的一種封裝方式，實際上是一種特殊的方法，被稱為訪問器（Accessor），從而隱藏實現和驗證代碼，有助於提高欄位讀取和賦值的安全性和靈活性； 1.屬性訪問器包含兩種類型：用於讀取並返回值的get訪問器，用於賦值新值的set屬性訪問器；通常將欄位 ...
一周排行
    -Advertisement-
    Play Games
  • WPF 已知問題 監聽 WMI 事件導致觸摸失效
    示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後，項目結構如下所示： MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread]特性
    [STAThread] 特性用於需要與 COM 組件交互的應用程式，尤其是依賴單線程模型（如 Windows Forms 應用程式）的組件。在 STA 模式下，線程擁有自己的消息迴圈，這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • UWP WinUI3 傳入 AddHandler 的 RoutedEventHandler 類型與事件所需不匹配將拋出參數異常
    在WinForm中使用全局異常捕獲處理 在WinForm應用程式中，全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理，可以有效地捕獲並處理未預見的異常，從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • .NET 多版本 WinForm 開源控制項庫 SunnyUI
    前言 給大家推薦一款開源的 Winform 控制項庫，可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫，同時也提供了工具類庫、擴展 ...
  • .net core8 使用Swagger（附當前源碼）
    說明 該文章是屬於OverallAuth2.0系列文章，每周更新一篇該系列文章（從0到1完成系統開發）。 該系統文章，我會儘量說的非常詳細，做到不管新手、老手都能看懂。 說明：OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友，請關註我吧(*^▽^*) ...
  • WPF 什麼時候 VisualTreeHelper.GetDescendantBounds 將返回無窮大
    一、下載安裝 1.下載git 必須先下載並安裝git，再TortoiseGit下載安裝 git安裝參考教程：https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit，Git客戶端，32/6 ...
  • C# 開源教程帶你輕鬆掌握數據結構與演算法
    前言 在項目開發過程中，理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼，還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程：Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 第22篇 生成proto文件bat腳本
    1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 記一次 .NET某上位機視覺程式 卡死分析
    一：背景 1. 講故事 前段時間有位朋友找到我，說他的窗體程式在客戶這邊出現了卡死，讓我幫忙看下怎麼回事？dump也生成了，既然有dump了那就上 windbg 分析吧。 二：WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死，入口門檻很低，後續往下分析就不一定了，不管怎麼說先用 !clrsta ...
  • 醫學DICOM文件與PACS系統進行數據傳輸
    前言 人工智慧時代，人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API，工具不僅易於集成，還具備高效處理能力。 本文將介紹一款如何利用這些API，為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...
所有分類