全文檢索技術被廣泛的應用於搜索引擎，查詢檢索等領域。我們在網路上的大部分搜索服務都用到了全文檢索技術。 對於數據量大、數據結構不固定的數據可採用全文檢索方式搜索，比如百度、Google等搜索引擎、論壇站內搜索、電商網站站內搜索等。 什麼是全文檢索呢？先看一下百度百科的專業定義。 為了能更好的理解，我 ...
全文檢索技術被廣泛的應用於搜索引擎，查詢檢索等領域。我們在網路上的大部分搜索服務都用到了全文檢索技術。
對於數據量大、數據結構不固定的數據可採用全文檢索方式搜索，比如百度、Google等搜索引擎、論壇站內搜索、電商網站站內搜索等。
什麼是全文檢索呢？先看一下百度百科的專業定義。
為了能更好的理解，我們先看一個簡單的例子。
案例
實現一個文件的搜索功能，通過關鍵字搜索文件，凡是文件名或文件內容包括關鍵字的文件都需要找出來。還可以根據中文詞語進行查詢，並且需要支持多個條件查詢。
本案例中的原始內容就是磁碟上的一些示例文件，如下圖：
如果用資料庫實現的話，資料庫中的搜索很容易實現，通常都是使用sql語句進行查詢，而且能很快的得到查詢結果。
為什麼資料庫搜索很容易？
因為資料庫中的數據存儲是有規律的，有行有列而且數據格式、數據長度都是固定的。
但是，我們生活中的數據總體是分為兩種的：結構化數據和非結構化數據。
結構化數據：指具有固定格式或有限長度的數據，如資料庫，元數據等。
非結構化數據：指不定長或無固定格式的數據，如郵件，word文檔等磁碟上的文件
結構化數據的查詢我們可以通過sql搞定，那麼非結構化的呢？
非結構化數據的查詢方法
非結構化數據查詢有兩種辦法：
（1）順序掃描法(Serial Scanning)
所謂順序掃描，比如要找內容包含某一個字元串的文件，就是一個文檔一個文檔的看，對於每一個文檔，從頭看到尾，如果此文檔包含此字元串，則此文檔為我們要找的文件，接著看下一個文件，直到掃描完所有的文件。如利用windows的搜索也可以搜索文件內容，只是相當的慢。
（2）全文檢索(Full-text Search)
將非結構化數據中的一部分信息提取出來，重新組織，使其變得有一定結構，然後對此有一定結構的數據進行搜索，從而達到搜索相對較快的目的。這部分從非結構化數據中提取出的然後重新組織的信息，我們稱之索引。
例如：字典。字典的拼音表和部首檢字表就相當於字典的索引，對每一個字的解釋是非結構化的，如果字典沒有音節表和部首檢字表，在茫茫辭海中找一個字只能順序掃描。然而字的某些信息可以提取出來進行結構化處理，比如讀音，就比較結構化，分聲母和韻母，分別隻有幾種可以一一列舉，於是將讀音拿出來按一定的順序排列，每一項讀音都指向此字的詳細解釋的頁數。我們搜索時按結構化的拼音搜到讀音，然後按其指向的頁數，便可找到我們的非結構化數據——也即對字的解釋。
這種先建立索引，再對索引進行搜索的過程就叫全文檢索(Full-text Search)。
雖然創建索引的過程也是非常耗時的，但是索引一旦創建就可以多次使用，全文檢索主要處理的是查詢，所以耗時間創建索引是值得的。
那麼如何實現全文檢索呢？
Lucene
提到全文檢索，不得不提到的一個技術就是Lucene，Lucene是apache下的一個開放源代碼的全文檢索引擎工具包。提供了完整的查詢引擎和索引引擎，部分文本分析引擎。我們所熟知的全文檢索引擎Solr和ES都是基於Lucene的。
1、綠色表示索引過程，對要搜索的原始內容進行索引構建一個索引庫，索引過程包括：
確定原始內容即要搜索的內容->採集文檔->創建文檔->分析文檔->索引文檔
2、紅色表示搜索過程，從索引庫中搜索內容，搜索過程包括：
用戶通過搜索界面->創建查詢->執行搜索，從索引庫搜索->渲染搜索結果
創建索引
也就是對文檔索引的過程，將用戶要搜索的文檔內容進行索引，索引存儲在索引庫（index）中。
比如剛纔的這些文檔：
我們要分析其中所有的單詞，將單詞、文檔名建立映射關係。
（對於單詞的切分包括了對原始文檔提取單詞、去除停用詞等過程，這個過程被稱為分詞）
我們分析其中的一篇文檔Lucene.txt：
原文檔內容：
Lucene is a Java full-text search engine. Lucene is not a complete
application, but rather a code library and API that can easily be used
to add search capabilities to applications.
我們可以分析後得到語彙單元：
lucene、java、full、search、engine。。。。
另一個文檔flink.txt加入幾個單詞：
java flink kakfa
我們也可以得到語彙單元：
java flink kakfa
這樣我們就建立了映射關係，lucene、java、full、search在Lucene.txt中，而flink不在Lucene.txt中，但是在flink.txt中。java即在Lucene.txt中，也在flink.txt中。
那當我們查找lucene這個詞，就在Lucene.txt中，但是查找java時可以獲悉其在這兩個文件中。
創建索引是對語彙單元索引，通過詞語找文檔，這種索引的結構就叫做叫倒排索引結構。
傳統方法是根據文件找到該文件的內容，在文件內容中匹配搜索關鍵字，這種方法是順序掃描方法，數據量大、搜索慢。
倒排索引結構是根據內容（詞語）找文檔，如下圖：
倒排索引結構也叫反向索引結構，包括索引和文檔兩部分，索引即辭彙表，它的規模較小，而文檔集合較大。
有倒排索引，對應肯定，有正向索引。 正向索引其實就是順序掃描所有文件，這樣本身效率是極低的。
查詢索引
查詢索引也是搜索的過程。搜索就是用戶輸入關鍵字，從索引（index）中進行搜索的過程。根據關鍵字搜索索引，根據索引找到對應的文檔，從而找到要搜索的內容（這裡指磁碟上的文件）。
我們這裡就是通過查詢索引表，找到文檔所在的位置，就完成了查詢，但其他的場景可以靈活的把查詢出來的結果展示出去，比如我們的百度搜索時，為我們展示的是相關網頁。
開發一個自己的全文檢索
手動去開發建立索引和查詢索引的功能需要大量的工作，好在lucene已經幫我們完成了大量的工作，只需要調用java api就可以完成相關工作。
但是Lucene的API過於底層，並不簡單易用，而且缺乏企業級的管理工具對其進行監控管理，於是企業級的全文檢索引擎就應運而生了，目前最流行的兩個就是：Solr和ES。他們都是建立在Lucene之上的。
Solr
Solr是Apache Lucene項目的開源企業搜索平臺。Solr是高度可擴展的，並提供了分散式搜索和索引複製。
Solr由Java開發，運行在Servlet容器中，是一個獨立的全文搜索伺服器。並具有強大的API和外部配置功能，使得無需編碼，便可對其調整以適應多種類型應用。
2010年Apache Lucene與Apache Solr項目合併，所以Lucene/Solr成為了Apache一個項目。
由此可見，Solr的優勢就是：
有一個成熟的開發者社區;本省比較穩定;支持多種格式的索引。
但是由於底層機制的限制，Solr的缺點也很明顯：
建立索引時，搜索效率下降；實時索引搜索效率不高。
ES
ES也就是Elasticsearch，是一個實時的分散式搜索和分析引擎，它可以用於全文搜索，結構化搜索以及分析。
由於Lucene過於複雜，不方便使用。Elasticsearch使用Lucene作為內部引擎，但是Elasticsearch做搜索引擎時，只需要使用同一的API就可以，而不需要瞭解複雜的Lucene原理。
而且Elasticsearch不僅僅可以做全文搜索功能，在企業中可以作為：
- 分散式實時文件存儲；
- 實時分析的分散式搜索引擎；
Elasticsearch的Restful API友好而且簡單，特別容易上手。
目前包括維基百科、Stackoverflow、Github等都是用Elasticsearch作為其搜索引擎。
ES簡單體驗
這裡我們簡單使用一個ES完成一個全文檢索功能。
1、下載
首先在官網下載 ，官網地址：https://www.elastic.co/products/elasticsearch
下載地址如下：https://www.elastic.co/cn/downloads/elasticsearch
選擇自己系統的我們這選擇WIndows版本。
同時我們可以下載kibana，kibana是配合ES的一個可視化工具。
2、安裝部署
解壓 放在d盤
隨後我們在命令行啟動：
C:\Users\JN>d:
D:>cd
D:\elasticsearch-6.4.0>cd bin
D:\elasticsearch-6.4.0\bin>elasticsearch.batkibana也是
C:\Users\JN>d:
D:>cd kibana-6.4.0-windows-x86_64
D:\kibana-6.4.0-windows-x86_64>cd bin
D:\kibana-6.4.0-windows-x86_64\bin>kibana.bat部署成功： 可以通過localhost:9200訪問es
localhost:5601訪問kibana
3、簡單使用
我們簡單體驗一下ES，打開kibana的DevTools工具。
分別插入兩條數據，併進行搜索。
使用編程語言調用ES也與這個類似，簡單易用。
參考文檔：
lucene in action
Elasticsearch權威指南
更多ES,Flink,Kafka等實時流式計算的博文，歡迎關註實時流式計算：
