Redis全文搜索教程之創建索引並關聯源數據

来源:https://www.cnblogs.com/waynaqua/archive/2023/12/20/17916940.html
-Advertisement-
Play Games

Redis 全文搜索是依賴於 Redis 官方提供的 RediSearch 來實現的。RediSearch 提供了一種簡單快速的方法對 hash 或者 json 類型數據的任何欄位建立二級索引,然後就可以對被索引的 hash 或者 json 類型數據欄位進行搜索和聚合操作。 這裡我們把被索引的 ha ...


Redis 全文搜索是依賴於 Redis 官方提供的 RediSearch 來實現的。RediSearch 提供了一種簡單快速的方法對 hash 或者 json 類型數據的任何欄位建立二級索引,然後就可以對被索引的 hash 或者 json 類型數據欄位進行搜索和聚合操作。

這裡我們把被索引的 hash 或者 json 類型數據叫做源數據。

本文大綱如下,

image

使用體驗

簡單場景下,用 RediSearch 來平替 Elasticsearch 的使用場景已經足夠。像是 Elasticsearch 中常用的查詢語法 AND 、OR 、IN 、NOT IN 、> 、< 、= 、like 等,在 RediSearch 中都是支持的。

此外 RediSearch 還支持聚合統計、停用詞、文本標記和轉義、同義詞、標簽、排序、向量查詢、中文分詞等。

就我個人來說,個人項目使用 RediSearch 作為全文搜索引擎已經夠用了,它有占用記憶體低、索引建立快、查詢數據性能足夠高等優點。

後續發展

就目前官方對 RediSearch 的支持更新來看,

image

最近一次提交記錄在 12 月 17 號。

可以看到 RediSearch 的更新頻率還是比較高的,而且是官方支持做的模塊,不用擔心後續無人維護。

雖然 Redis 天生支持分散式集群,但是 RediSearch 對 Redis 集群的支持還不完善,引用官方說明,

image

官方針對 RediSearch 的集群支持問題,提供了一個 RediSearch 集群版本,但是這個版本只能在 Redis 企業版或者 Redis Cloud 上能使用,開源版還沒有,這一點需要告訴大家。

遇到 bug

首先在使用 RediSearch 的過程中,遇到了 bug 併發現 bug 來源於 RediSearch,不要慌,也不要抱怨難用, 畢竟是開源項目,

image

大家可以看到 issue 列表中有很多 bug 沒有解決。

不過本著開源共進的精神,希望大家發現了 bug 後,第一時間在 RediSearch 官方 github 上提個 issue,方便官方發現並解決問題。

RediSearch Github 倉庫地址:https://github.com/RediSearch/RediSearch


下麵我給大家用 newbee-mall-pro 項目作為樣本,給大家介紹下如何創建一個索引並關聯源數據。

newbee-mall-pro 項目地址:https://github.com/wayn111/newbee-mall-pro

添加源數據

在 newbee-mall-pro 項目中,已經將商品數據以 hash 類型存入了 Redis 中,

其中,我們對於 key 名稱的定義規則是按照 newbee_mall:goods: + 商品ID

這裡我們的 key 名稱定義規則很重要,RediSearch 創建索引會基於 key 名稱首碼來生成。

hash 類型的 value 包含屬性如下,

  • goodsId : 商品 ID,唯一屬性,由資料庫商品表主鍵生成
  • goodsName : 商品名稱
  • goodsIntro : 商品簡介
  • goodsCategoryId : 商品分類 ID,唯一屬性,由資料庫商品分類表主鍵生成
  • goodsSellStatus : 商品上架狀態,0 代表下架,1 代表上架
  • sellingPrice : 商品售價
  • originalPrice : 商品原價
  • tag : 商品標簽

在 newbee-mall-pro 中,添加源數據的方法已經寫好了,代碼邏輯在 JedisSearch.addGoodsListIndex() 方法里,

public boolean addGoodsListIndex(String keyPrefix, List<Goods> list) {
    int chunk = 200;
    List<List<Goods>> partition = ListUtil.partition(list, chunk);
    AbstractPipeline pipelined = client.pipelined();
    for (List<Goods> goodsList : partition) {
        for (Goods goods : goodsList) {
            RsGoodsDTO target = new RsGoodsDTO();
            MyBeanUtil.copyProperties(goods, target);
            Map<String, String> hash = MyBeanUtil.toMap(target);
            // 支持中文
            hash.put("_language", Constants.GOODS_IDX_LANGUAGE);
            pipelined.hset(keyPrefix + goods.getGoodsId(), hash);
        }
    }
    pipelined.sync();
    return true;
}

上訴代碼中,其實就是把 list 商品列表以 hash 類型的數據結構寫進 Redis 中,並且為了加快寫入速度,使用了 Redis 提供的管道操作。

需要註意的就是 hash 類型中新增了一個 _language 欄位,用於指定 RediSearch 對於源數據關聯的索引,要使用中文分詞查詢。

建立索引

RediSearch 通過提供一種簡單且自動的方式在 Redis hash 類型數據結構上創建二級索引,並且內部極大地簡化了這一過程。(最終會出現更多數據結構)

image

如果我們要使用 RediSearch 查詢商品 hash 結構里的 goodsName 欄位,那麼必須要對該欄位建立索引。

Jedis 新建索引

所以這裡,我給大家介紹下在 newbee-mall-pro 項目中,是如何建立索引的,代碼邏輯在 GoodsServiceImpl.syncRs() 方法中,

// 定義索引結構
public boolean syncRs() {
    jedisSearch.dropIndex("idx:goods");
    Schema schema = new Schema()
            .addSortableTextField("goodsName", 1.0)
            .addSortableTextField("goodsIntro", 0.5)
            .addSortableNumericField("goodsId")
            .addSortableNumericField("goodsCategoryId")
            .addSortableNumericField("goodsSellStatus")
            .addSortableNumericField("sellingPrice")
            .addSortableNumericField("originalPrice")
            .addSortableTagField("tag", "|");
    jedisSearch.createIndex(Constants.GOODS_IDX_NAME, Constants.GOODS_IDX_PREFIX, schema);
}

上述代碼中,我們對商品 hash 結構里的下方欄位都建立了索引。

  • goodsName:文本類型,可排序,設置權重為 1.0
  • goodsIntro:文本類型,可排序,設置權重為 0.5
  • goodsId:數字類型,可排序
  • goodsCategoryId:數字類型,可排序
  • goodsSellStatus:數字類型,可排序
  • sellingPrice:數字類型,可排序
  • originalPrice:數字類型,可排序
  • tag:標簽類型,可排序,設置分隔符為字元串 |

在 RediSerach 中可以添加的欄位類型有 text、numberic、tag 等,可以設置是否排序。

並且還可以設置權重繫數,表示該欄位已加權。這對於在搜索操作期間為特定欄位分配不同的重要性級別非常有用,通常就是在條件篩選完成後的打分排序階段用於提升或者降低排名。

Redis 中的新建索引語法

當我們把上面的 Jedis 新建索引的代碼轉換為 Redis 中的語法後,如下

> FT.CREATE idx:goods ON hash PREFIX 1 "newbeemall:goods:" \
SCHEMA goodsName TEXT SORTABLE WEIGHT 1.0 \
SCHEMA goodsIntro TEXT SORTABLE WEIGHT 0.5 \
goodsId NUMERIC SORTABLE \
goodsCategoryId NUMERIC SORTABLE \
goodsSellStatus NUMERIC SORTABLE \
sellingPrice NUMERIC SORTABLE \
originalPrice NUMERIC SORTABLE \
tag TAG SORTABLE SEPARATOR "|"

現在我給大家詳細介紹下這條命令:

  • FT.CREATE:RediSearch 中索引創建語法。
  • idx:goods:指定索引名稱,索引名稱將在所有鍵名稱中使用,因此請保持簡短。
  • ON hash:指定索引關聯的結構類型。需要註意的是,在 RediSearch 2.0 中僅支持哈希結構,隨著 RediSearch 更新,後續有望支持更多數據結構。
  • PREFIX 1 "newbeemall:goods:":指定索引的關聯源數據的 key 首碼,可以指定多個首碼。
  • SCHEMA ...:欄位定義,用於定義欄位名稱、類型、是否排序、權重等。可以定義多個欄位。

如果你想瞭解更多關於 ft.search 的語法以及欄位定義相關的只是,可以打開官方文檔,

https://redis.io/docs/interact/search-and-query/basic-constructs/schema-definition

Redis 中查詢索引定義

在 RediSearch 中要查詢已經存在的索引詳情也是很簡單的,官方提供了 ft.info 索引名稱 的語法,用來列印索引詳情。

> FT.INFO idx:goods

最後聊兩句

本文給大家用我的開源項目 newbee-mall-pro 作為樣本,給大家細緻的介紹了一番 RediSearch 在項目實戰中關於索引創建與關聯源數據的用法,希望大家喜歡。

關註公眾號【waynblog】每周分享技術乾貨、開源項目、實戰經驗、國外優質文章翻譯等,您的關註將是我的更新動力!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 由於vue的試圖渲染是非同步的,生命周期的created()鉤子函數進行的DOM操作一定要放在Vue.nextTick()的回調函數中,原因是在created()鉤子函數執行的時候DOM其實並未進行渲染,而此時進行DOM操作是徒勞的,所以一定要將DOM操作的js代碼放到Vue.nextTick()的回... ...
  • 隨著業務需求猛增、各種AB場景線上測試,交互複雜度提升,所以對門詳的整體交互體驗,小程式載入速度、列表的滾動性能以及業務數據層面都有更高的要求,因此作為前端研發團隊,我們也迎來了一些新的挑戰。 ...
  • 一、CSS 1.說一下CSS的盒模型。 在HTML頁面中的所有元素都可以看成是一個盒子 盒子的組成:內容content、內邊距padding、邊框border、外邊距margin 盒模型的類型: 標準盒模型 margin + border + padding + content IE盒模型 marg ...
  • Flat 線上教室 —— 個人老師可直接使用的線上授課軟體,開箱即用。前後端完全開源,快速搭建簡約美觀的線上教室。支持 Web 端、Windows 客戶端與 macOS 客戶端。 ...
  • 前言 經過上個章節的介紹,大家可以瞭解到 uni-app-pinia存儲數據的基本使用方法 那本章節來給大家介紹一下 uni-app-網路請求 的基本使用方法 步入正題 首先我們打開官方文檔,我先帶著大家看一下官方文檔的介紹:https://uniapp.dcloud.net.cn/api/requ ...
  • 隨著人工智慧技術的不斷發展,阿裡體育等IT大廠,推出的“樂動力”、“天天跳繩”AI運動APP,讓雲上運動會、線上運動會、健身打卡、AI體育指導等概念空前火熱。那麼,能否將這些在APP成功應用的場景搬上小程式,分享這些概念的紅利呢?本系列文章就帶您一步一步從零開始開發一個AI運動小程式,本系列文章將使 ...
  • 這章內容詳細地介紹了文件上傳和下載的實現過程。文件上傳涉及前端頁面、Controller 方法和配置修改,其中前端頁面通過表單的提交方式和enctype屬性設置來實現文件上傳,而後端的 Controller 方法則通過接收 MultipartFile 類型的參數來處理上傳的文件,並將文件保存到伺服器... ...
  • C 語言中的運算符 運算符用於對變數和值進行操作。 在下麵的示例中,我們使用 + 運算符將兩個值相加: int myNum = 100 + 50; 雖然 + 運算符通常用於將兩個值相加,就像上面的示例一樣,它還可以用於將變數和值相加,或者將變數和另一個變數相加: int sum1 = 100 + 5 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...