Lucene.net Lucene.net是Lucene的.net移植版本，是一個開源的全文檢索引擎開發包，即它不是一個完整的全文檢索引擎，而是一個全文檢索引擎的架構，提供了完整的查詢引擎和索引引擎，是一個高性能、可伸縮的文本搜索引擎庫。它的功能就是負責將文本數據按照某種分詞演算法進行切詞，分詞後的結 ...
Lucene.net
Lucene.net是Lucene的.net移植版本，是一個開源的全文檢索引擎開發包，即它不是一個完整的全文檢索引擎，而是一個全文檢索引擎的架構，提供了完整的查詢引擎和索引引擎，是一個高性能、可伸縮的文本搜索引擎庫。它的功能就是負責將文本數據按照某種分詞演算法進行切詞，分詞後的結果存儲在索引庫中，從索引庫檢索數據的速度非常快。Lucene.net需要有索引庫，並且只能進行站內搜索。（來自百度百科）
效果圖
盤古分詞
如何使用
將PanGu.dIl與PanGu.Lucenet.Analyzer. dl並加入到項目中
將Dict文件，拷貝到項目Bin文件夾裡面
字典文件夾下載：https://pan.baidu.com/s/1HNiLp6bCcodN8vqlck066g 提取碼: xydc
測試
可以看到，盤古分詞相對Lucene.net自帶的一元分詞來說，是比較好的，因為一元分詞不適合進行中文檢索。
一元分詞是按字拆分的，比如上面一句話，使用一元分詞拆分的結果是："有","一","種","方","言","叫","做","不","老","蓋","兒"。如果查找“方言”這個詞，是找不到查詢結果的。不符合我們的檢索習慣，所以基本不使用。
拓展
上面的"不老蓋兒"（河南方言），這裡想組成一個詞，那麼需要創建"不老蓋兒"片語並添加到字典裡面。
使用DictManage工具：https://pan.baidu.com/s/1Yla2DBM74kSbno8cg5kvGw 提取碼：tphe
解壓，運行 DictManage.exe
然後打開 Dict 文件下的 Dict.dct 文件，並添加"不老蓋兒"片語
然後查找就可以看到"不老蓋兒"片語
然後保存覆蓋原有的 Dict.dct 文件
刷新頁面或者重新打開頁面看下效果
Demo文件說明
簡單實現
創建索引核心代碼
/// <summary> /// 創建索引 /// </summary> /// <returns></returns> [HttpGet] [Route("createIndex")] public string CreateIndex() { //索引保存位置 var indexPath = Directory.GetCurrentDirectory() + "/Index"; if (!Directory.Exists(indexPath)) Directory.CreateDirectory(indexPath); FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory()); if (IndexWriter.IsLocked(directory)) { // 如果索引目錄被鎖定（比如索引過程中程式異常退出），則首先解鎖 // Lucene.Net在寫索引庫之前會自動加鎖，在close的時候會自動解鎖 IndexWriter.Unlock(directory); } //Lucene的index模塊主要負責索引的創建 // 創建向索引庫寫操作對象 IndexWriter(索引目錄,指定使用盤古分詞進行切詞,最大寫入長度限制) // 補充:使用IndexWriter打開directory時會自動對索引庫文件上鎖 //IndexWriter構造函數中第一個參數指定索引文件存儲位置； //第二個參數指定分詞Analyzer，Analyzer有多個子類， //然而其分詞效果並不好，這裡使用的是第三方開源分詞工具盤古分詞； //第三個參數表示是否重新創建索引，true表示重新創建（刪除之前的索引文件）， //最後一個參數指定Field的最大數目。 IndexWriter writer = new IndexWriter(directory, new PanGuAnalyzer(), true, IndexWriter.MaxFieldLength.UNLIMITED); var txtPath = Directory.GetCurrentDirectory() + "/Upload/Articles"; for (int i = 1; i <= 1000; i++) { // 一條Document相當於一條記錄 Document document = new Document(); var title = "天驕戰紀_" + i + ".txt"; var content = System.IO.File.ReadAllText(txtPath + "/" + title, Encoding.Default); // 每個Document可以有自己的屬性（欄位），所有欄位名都是自定義的，值都是string類型 // Field.Store.YES不僅要對文章進行分詞記錄，也要保存原文，就不用去資料庫里查一次了 document.Add(new Field("Title", "天驕戰紀_" + i, Field.Store.YES, Field.Index.NOT_ANALYZED)); // 需要進行全文檢索的欄位加 Field.Index. ANALYZED // Field.Index.ANALYZED:指定文章內容按照分詞後結果保存，否則無法實現後續的模糊查詢 // WITH_POSITIONS_OFFSETS:指示不僅保存分割後的詞，還保存詞之間的距離 document.Add(new Field("Content", content, Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.WITH_POSITIONS_OFFSETS)); writer.AddDocument(document); } writer.Close(); // Close後自動對索引庫文件解鎖 directory.Close(); // 不要忘了Close，否則索引結果搜不到 return "索引創建完畢"; }View Code
搜索代碼
/// <summary> /// 搜索 /// </summary> /// <returns></returns> [HttpGet] [Route("search")] public object Search(string keyWord, int pageIndex, int pageSize) { Stopwatch stopwatch = new Stopwatch(); stopwatch.Start(); string indexPath = Directory.GetCurrentDirectory() + "/Index"; FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NoLockFactory()); IndexReader reader = IndexReader.Open(directory, true); //創建IndexSearcher準備進行搜索。 IndexSearcher searcher = new IndexSearcher(reader); // 查詢條件 keyWord = GetKeyWordsSplitBySpace(keyWord, new PanGuTokenizer()); //創建QueryParser查詢解析器。用來對查詢語句進行語法分析。 //QueryParser調用parser進行語法分析，形成查詢語法樹，放到Query中。 QueryParser msgQueryParser = new QueryParser(Lucene.Net.Util.Version.LUCENE_29, "Content", new PanGuAnalyzer(true)); Query msgQuery = msgQueryParser.Parse(keyWord); //TopScoreDocCollector:盛放查詢結果的容器 //numHits 獲取條數 TopScoreDocCollector collector = TopScoreDocCollector.create(1000, true); //IndexSearcher調用search對查詢語法樹Query進行搜索，得到結果TopScoreDocCollector。 // 使用query這個查詢條件進行搜索，搜索結果放入collector searcher.Search(msgQuery, null, collector); // 從查詢結果中取出第n條到第m條的數據 ScoreDoc[] docs = collector.TopDocs(0, 1000).scoreDocs; stopwatch.Stop(); // 遍歷查詢結果 List<ReturnModel> resultList = new List<ReturnModel>(); var pm = new Page<ReturnModel> { PageIndex = pageIndex, PageSize = pageSize, TotalRows = docs.Length }; pm.TotalPages = pm.TotalRows / pageSize; if (pm.TotalRows % pageSize != 0) pm.TotalPages++; for (int i = (pageIndex - 1) * pageSize; i < pageIndex * pageSize && i < docs.Length; i++) { var doc = searcher.Doc(docs[i].doc); var content = HighlightHelper.HighLight(keyWord, doc.Get("Content")); var result = new ReturnModel { Title = doc.Get("Title"), Content = content, Count = Regex.Matches(content, "<font").Count }; resultList.Add(result); } pm.LsList = resultList; var elapsedTime = stopwatch.ElapsedMilliseconds + "ms"; var list = new { list = pm, ms = elapsedTime }; return list; }View Code
盤古分詞
/// <summary> /// 盤古分詞 /// </summary> /// <param name="words"></param> /// <returns></returns> public static object PanGu(string words) { Analyzer analyzer = new PanGuAnalyzer(); TokenStream tokenStream = analyzer.TokenStream("", new StringReader(words)); Lucene.Net.Analysis.Token token = null; var str = ""; while ((token = tokenStream.Next()) != null) { string word = token.TermText(); // token.TermText() 取得當前分詞 str += word + " | "; } return str; }View Code
搜索結果高亮顯示
/// <summary> /// 搜索結果高亮顯示 /// </summary> /// <param name="keyword"> 關鍵字 </param> /// <param name="content"> 搜索結果 </param> /// <returns> 高亮後結果 </returns> public static string HighLight(string keyword, string content) { // SimpleHTMLFormatter：這個類是一個HTML的格式類，構造函數有兩個，一個是開始標簽，一個是結束標簽。 SimpleHTMLFormatter simpleHTMLFormatter = new SimpleHTMLFormatter("<font style=\"color:red;" + "font-family:'Cambria'\"><b>", "</b></font>"); // 創建 Highlighter ，輸入HTMLFormatter 和 盤古分詞對象Semgent Highlighter highlighter = new Highlighter(simpleHTMLFormatter, new Segment()); // 設置每個摘要段的字元數 highlighter.FragmentSize = int.MaxValue; // 獲取最匹配的摘要段 var str = highlighter.GetBestFragment(keyword, content); return str; }View Code
對關鍵字進行盤古分詞處理
/// <summary> /// 對關鍵字進行盤古分詞處理 /// </summary> /// <param name="keywords"></param> /// <param name="ktTokenizer"></param> /// <returns></returns> private static string GetKeyWordsSplitBySpace(string keywords, PanGuTokenizer ktTokenizer) { StringBuilder result = new StringBuilder(); ICollection<WordInfo> words = ktTokenizer.SegmentToWordInfos(keywords); foreach (WordInfo word in words) { if (word == null) { continue; } result.AppendFormat("{0}^{1}.0 ", word.Word, (int)Math.Pow(3, word.Rank)); } return result.ToString().Trim(); }View Code
Github：https://github.com/tenghao6/Lucene-PanGu
