Redis 全文搜索是依賴於 Redis 官方提供的 RediSearch 來實現的。RediSearch 提供了一種簡單快速的方法對 hash 或者 json 類型數據的任何欄位建立二級索引,然後就可以對被索引的 hash 或者 json 類型數據欄位進行搜索和聚合操作。 這裡我們把被索引的 ha ...
Redis 全文搜索是依賴於 Redis 官方提供的 RediSearch 來實現的。RediSearch 提供了一種簡單快速的方法對 hash 或者 json 類型數據的任何欄位建立二級索引,然後就可以對被索引的 hash 或者 json 類型數據欄位進行搜索和聚合操作。
這裡我們把被索引的 hash 或者 json 類型數據叫做源數據。
本文大綱如下,
使用體驗
簡單場景下,用 RediSearch 來平替 Elasticsearch 的使用場景已經足夠。像是 Elasticsearch 中常用的查詢語法 AND 、OR 、IN 、NOT IN 、> 、< 、= 、like 等,在 RediSearch 中都是支持的。
此外 RediSearch 還支持聚合統計、停用詞、文本標記和轉義、同義詞、標簽、排序、向量查詢、中文分詞等。
就我個人來說,個人項目使用 RediSearch 作為全文搜索引擎已經夠用了,它有占用記憶體低、索引建立快、查詢數據性能足夠高等優點。
後續發展
就目前官方對 RediSearch 的支持更新來看,
最近一次提交記錄在 12 月 17 號。
可以看到 RediSearch 的更新頻率還是比較高的,而且是官方支持做的模塊,不用擔心後續無人維護。
雖然 Redis 天生支持分散式集群,但是 RediSearch 對 Redis 集群的支持還不完善,引用官方說明,
官方針對 RediSearch 的集群支持問題,提供了一個 RediSearch 集群版本,但是這個版本只能在 Redis 企業版或者 Redis Cloud 上能使用,開源版還沒有,這一點需要告訴大家。
遇到 bug
首先在使用 RediSearch 的過程中,遇到了 bug 併發現 bug 來源於 RediSearch,不要慌,也不要抱怨難用, 畢竟是開源項目,
大家可以看到 issue 列表中有很多 bug 沒有解決。
不過本著開源共進的精神,希望大家發現了 bug 後,第一時間在 RediSearch 官方 github 上提個 issue,方便官方發現並解決問題。
RediSearch Github 倉庫地址:https://github.com/RediSearch/RediSearch
下麵我給大家用 newbee-mall-pro 項目作為樣本,給大家介紹下如何創建一個索引並關聯源數據。
newbee-mall-pro 項目地址:https://github.com/wayn111/newbee-mall-pro
添加源數據
在 newbee-mall-pro 項目中,已經將商品數據以 hash 類型存入了 Redis 中,
其中,我們對於 key 名稱的定義規則是按照 newbee_mall:goods: + 商品ID
。
這裡我們的 key 名稱定義規則很重要,RediSearch 創建索引會基於 key 名稱首碼來生成。
hash 類型的 value 包含屬性如下,
goodsId
: 商品 ID,唯一屬性,由資料庫商品表主鍵生成goodsName
: 商品名稱goodsIntro
: 商品簡介goodsCategoryId
: 商品分類 ID,唯一屬性,由資料庫商品分類表主鍵生成goodsSellStatus
: 商品上架狀態,0 代表下架,1 代表上架sellingPrice
: 商品售價originalPrice
: 商品原價tag
: 商品標簽
在 newbee-mall-pro 中,添加源數據的方法已經寫好了,代碼邏輯在 JedisSearch.addGoodsListIndex()
方法里,
public boolean addGoodsListIndex(String keyPrefix, List<Goods> list) {
int chunk = 200;
List<List<Goods>> partition = ListUtil.partition(list, chunk);
AbstractPipeline pipelined = client.pipelined();
for (List<Goods> goodsList : partition) {
for (Goods goods : goodsList) {
RsGoodsDTO target = new RsGoodsDTO();
MyBeanUtil.copyProperties(goods, target);
Map<String, String> hash = MyBeanUtil.toMap(target);
// 支持中文
hash.put("_language", Constants.GOODS_IDX_LANGUAGE);
pipelined.hset(keyPrefix + goods.getGoodsId(), hash);
}
}
pipelined.sync();
return true;
}
上訴代碼中,其實就是把 list 商品列表以 hash 類型的數據結構寫進 Redis 中,並且為了加快寫入速度,使用了 Redis 提供的管道操作。
需要註意的就是 hash 類型中新增了一個 _language
欄位,用於指定 RediSearch 對於源數據關聯的索引,要使用中文分詞查詢。
建立索引
RediSearch 通過提供一種簡單且自動的方式在 Redis hash 類型數據結構上創建二級索引,並且內部極大地簡化了這一過程。(最終會出現更多數據結構)
如果我們要使用 RediSearch 查詢商品 hash 結構里的 goodsName 欄位,那麼必須要對該欄位建立索引。
Jedis 新建索引
所以這裡,我給大家介紹下在 newbee-mall-pro 項目中,是如何建立索引的,代碼邏輯在 GoodsServiceImpl.syncRs()
方法中,
// 定義索引結構
public boolean syncRs() {
jedisSearch.dropIndex("idx:goods");
Schema schema = new Schema()
.addSortableTextField("goodsName", 1.0)
.addSortableTextField("goodsIntro", 0.5)
.addSortableNumericField("goodsId")
.addSortableNumericField("goodsCategoryId")
.addSortableNumericField("goodsSellStatus")
.addSortableNumericField("sellingPrice")
.addSortableNumericField("originalPrice")
.addSortableTagField("tag", "|");
jedisSearch.createIndex(Constants.GOODS_IDX_NAME, Constants.GOODS_IDX_PREFIX, schema);
}
上述代碼中,我們對商品 hash 結構里的下方欄位都建立了索引。
goodsName
:文本類型,可排序,設置權重為 1.0goodsIntro
:文本類型,可排序,設置權重為 0.5goodsId
:數字類型,可排序goodsCategoryId
:數字類型,可排序goodsSellStatus
:數字類型,可排序sellingPrice
:數字類型,可排序originalPrice
:數字類型,可排序tag
:標簽類型,可排序,設置分隔符為字元串|
在 RediSerach 中可以添加的欄位類型有 text、numberic、tag 等,可以設置是否排序。
並且還可以設置權重繫數,表示該欄位已加權。這對於在搜索操作期間為特定欄位分配不同的重要性級別非常有用,通常就是在條件篩選完成後的打分排序階段用於提升或者降低排名。
Redis 中的新建索引語法
當我們把上面的 Jedis 新建索引的代碼轉換為 Redis 中的語法後,如下
> FT.CREATE idx:goods ON hash PREFIX 1 "newbeemall:goods:" \
SCHEMA goodsName TEXT SORTABLE WEIGHT 1.0 \
SCHEMA goodsIntro TEXT SORTABLE WEIGHT 0.5 \
goodsId NUMERIC SORTABLE \
goodsCategoryId NUMERIC SORTABLE \
goodsSellStatus NUMERIC SORTABLE \
sellingPrice NUMERIC SORTABLE \
originalPrice NUMERIC SORTABLE \
tag TAG SORTABLE SEPARATOR "|"
現在我給大家詳細介紹下這條命令:
FT.CREATE
:RediSearch 中索引創建語法。idx:goods
:指定索引名稱,索引名稱將在所有鍵名稱中使用,因此請保持簡短。ON hash
:指定索引關聯的結構類型。需要註意的是,在 RediSearch 2.0 中僅支持哈希結構,隨著 RediSearch 更新,後續有望支持更多數據結構。PREFIX 1 "newbeemall:goods:"
:指定索引的關聯源數據的 key 首碼,可以指定多個首碼。SCHEMA ...
:欄位定義,用於定義欄位名稱、類型、是否排序、權重等。可以定義多個欄位。
如果你想瞭解更多關於 ft.search 的語法以及欄位定義相關的只是,可以打開官方文檔,
https://redis.io/docs/interact/search-and-query/basic-constructs/schema-definition
Redis 中查詢索引定義
在 RediSearch 中要查詢已經存在的索引詳情也是很簡單的,官方提供了 ft.info 索引名稱
的語法,用來列印索引詳情。
> FT.INFO idx:goods
最後聊兩句
本文給大家用我的開源項目 newbee-mall-pro 作為樣本,給大家細緻的介紹了一番 RediSearch 在項目實戰中關於索引創建與關聯源數據的用法,希望大家喜歡。
關註公眾號【waynblog】每周分享技術乾貨、開源項目、實戰經驗、國外優質文章翻譯等,您的關註將是我的更新動力!