Elasticsearch 之 join 關聯查詢及使用場景

来源:https://www.cnblogs.com/Jcloud/archive/2023/05/25/17431794.html
-Advertisement-
Play Games

在Elasticsearch這樣的分散式系統中執行類似SQL的join連接是代價是比較大的,然而,Elasticsearch卻給我們提供了基於水平擴展的兩種連接形式 ...


在Elasticsearch這樣的分散式系統中執行類似SQL的join連接是代價是比較大的,然而,Elasticsearch卻給我們提供了基於水平擴展的兩種連接形式 。這句話摘自Elasticsearch官網,從“然而”來看,說明某些場景某些情況下我們還是可以使用的

一、join總述

1、關係類比

在關係型資料庫中,以MySQL為例,尤其B端類系統且數據量不是特別大的場景,我們經常用到join關鍵字對有關係的兩張或者多張表進行關聯查詢。但是當數據量達到一定量級時,查詢性能就是經常困擾的問題。由於es可以做到數億量級的秒查(具體由分片數量決定),這時候把數據同步到es是我們可以使用解決方案之一。

那麼不禁有疑問問了,由於業務場景的決定,之前必須關聯查詢的兩張表還能做到進行關聯嗎?

答案是可以的,es也提供了類似於關係型資料庫的關聯查詢,但是它又與關係型數據的關聯查詢有明顯的區別與限制。

2、使用場景

如果把關係資料庫原有關聯的兩張表,同步到es後,通常情況下,我們業務開發中會有兩種查詢訴求的場景

場景1

訴求:展示子表維度的明細數據(包含父表和子表中欄位的條件)

方案:對於此種查詢訴求,我們可以把原來關聯的父子表打成父子表欄位混合在一起的大寬表,既能滿足查詢條件,又有查詢性能的保障,也是常用存儲方案之一

場景2

訴求:展示父表維度的明細數據(包含父表和子表中欄位的條件)

方案:然而,對於此種查詢訴求,需要通過子表的條件來查詢出父表的明細結果,場景1的寬表存儲方案是子表明細數據,而最終我們要的是父表明細數據,顯然對於場景1的存儲方案是不能滿足的。如果非要使用場景1的存儲方案,我們還要對寬表結果進行一次groupby或者collapse操作來得到父表結果。

這個時候我們就可以使用es提供的join功能來完成場景2的訴求查詢,同時它也滿足場景1的訴求查詢

3、使用限制

由於es屬於分散式文檔型資料庫,數據自然是存在於多個分片之上的。Join欄位自然不能像關係型資料庫中的join使用。在es中為了保證良好的查詢性能,最佳的實踐是將數據模型設置為非規範化文檔,通過欄位冗餘構造寬表,即存儲在一個索引中。需要滿足條件如下:

(1)父子文檔(數據)必須存儲在同一index中

(2)父子文檔(數據)必須存儲在同一個分片中,通過關聯父文檔ID關聯

(3)一個index中只能包含一個join欄位,但是可以有多個關係

(4)同一個index中,一個父關係可以對應多個子關係,一個子關係只對應一個父關係

4、性能問題

當然執行了join查詢固然性能會受到一定程度的影響。對於帶has_child/has_parent而言,其查詢性能會隨著指向唯一父文檔的匹配子文檔的數量增加而降低。本文開篇第一句摘自es官網描述,從ES官方的描述來看join關聯查詢對性能的損耗是比較大的。

不過,在筆者使用的過程中,在5個分片的前提下,且父表十萬量級,子表數據量在千萬量級的情況下,關聯查詢的耗時還是在100ms內完成的,對於B端許多場景還是可以接受的。

若有類似場景,建議我們在使用前,根據分片的多少和預估未來數據量的大小提前做好性能測試,防止以後數量達到一定程度時,性能有明顯下降,那個時候再改存儲方案得不償失。

二、Mapping

1、舉例說明

這裡以優惠券活動與優惠券明細為例,在一個優惠券活動中可以發放幾千萬的優惠券,所以券活動與券明細是一對多的關係。

券活動表欄位

欄位 說明
activity_id 活動ID
activity_name 活動名稱

券明細表欄位

欄位 說明
coupon_id 券ID
coupon_amount 券面額
activity_id 外鍵-活動ID

2、mapping釋義

join類型的欄位主要用來在同一個索引中構建父子關聯關係。通過relations定義一組父子關係,每個關係都包含一個父級關係名稱和一個或多個子級關係名稱

activity_coupon_field是一個關聯欄位,內部定義了一組join關係,該欄位為自命名

type指定關聯關係是join,固定寫法

relations定義父子關係,activity父類型名稱,coupon子類型名稱,名稱均為自命名

{
	"mappings": {
		"properties": {
			"activity_coupon_field": {
				"type": "join",
				"relations": {
					"activity": "coupon"
				}
			},
			"activity_id": {
				"type": "keyword"
			},
			"activity_name": {
				"type": "keyword"
			},
			"coupon_id": {
				"type": "long"
			},
			"coupon_amount": {
				"type": "long"
			}
		}
	}
}

三、插入數據

1、插入父文檔

在put父文檔數據的時候,我們通常按照某種規則指定文檔ID,方便子文檔數據變更時易於得到父文檔ID。比如這裡我們用activity_id的值:activity_100來作為父id

PUT /coupon/_doc/activity_100
 
{
	"activity_id": 100,
	"activity_name": "年貨節5元促銷優惠券",
	"activity_coupon_field": {
		"name": "activity"
	}
}

2、插入子文檔

上邊已經指定了父文檔ID,而子表中已經包含有activity_id,所以很容易得到父文檔ID

put子文檔數據時候,必須指定父文檔ID,就是父文檔中的_id,這樣父子數據才建立了關聯關係。與此同時還要指定routing欄位為父文檔ID,這樣保證了父子數據在同一分片上。

PUT /coupon/_doc/coupon_12345678?routing=activity_id_100
 
{
	"coupon_id": 12345678,
	"coupon_amount": "5",
	"activity_id": 100,
	"activity_coupon_field": {
		"name": "coupon",
		"parent": "activity_id_100" //父ID
	}
}

四、關聯查詢

1、has_parent查詢(父查子)

根據父文檔條件欄位查詢符合條件的子文檔數據

例如:查詢包含“年貨節”活動字樣,且已經被領取過的券

{
	"query": {
		"bool": {
			"must": [{
				"parent_type": "activity",
				"has_parent": {
					"query": {
						"bool": {
							"must": [{
								"term": {
									"status": {
										"value": 1
									}
								}
							}, {
								"wildcard": {
									"activity_name": {
										"wildcard": "*年貨節*"
									}
								}
							}]
						}
					}
				}
			}]
		}
	}
}

2、has_child查詢(子查父)

根據子文檔條件欄位符合條件的父文檔數據

例如:查詢coupon_id=12345678在那個存在於哪個券活動中

{
	"query": {
		"bool": {
			"must": [{
				"has_child": {
					"type": "coupon",
					"query": {
						"bool": {
							"must": [{
								"term": {
									"coupon_id": {
										"value": 12345678
									}
								}
							}]
						}
					}
				}
			}]
		}
	}
}

參考:Joining queries | Elasticsearch Guide [7.9] | Elastic

以上文中如有不正之處歡迎留言指正

作者:京東零售 李振乾

內容來源:京東雲開發者社區


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 目錄 一、shell簡述 二、shell腳本 三、重定向 四、管道符 五、變數 六、shell腳本基本知識 七、預定義變數小實驗 一、shell簡述 概念:shell解釋器,翻譯官功能,與內核進行溝通的應用程式。 把代碼翻譯為二進位,讓內核處理,負責接收用戶輸入的操作指令(命令)併進行解釋,將需要執 ...
  • 需要先安裝svn linux版打開終端執行 sudo pacman -S svn 安裝完成後執行一下 svn --version 出現這個就說明svn已經安裝完成了,這個時候我們可以執行 svn checkout [路徑] 就可以檢出svn伺服器上相關內容了 但是這個有的時候我們打開文件管理器想要看 ...
  • ZBar是一種流行的二維碼掃描和解碼工具,它在嵌入式系統中擁有廣泛的應用。在嵌入式系統中,我們面臨著有限的資源和更嚴格的性能要求,因此,選擇適當的庫來完成特定的任務非常重要。 ZBar適用於各種嵌入式平臺,包括ARM、x86和MIPS等處理器架構。它可以輕鬆地整合到各種嵌入式系統中,如智能家居設備、 ...
  • 大家新年好,我是呼嚕嚕,在上一篇[簡易加法器](https://mp.weixin.qq.com/s/ahuk_JH8iyH8bwh3VQxpOw)里我們瞭解了半加器和全加器的設計與實現,今天我們來看下CPU中減法器是如何實現的。文章比較長,大家可以收藏反覆觀看 ## 電腦為什麼利用反碼來實現減法 ...
  • Mysql-8.0.27安裝包位置:https://pan.baidu.com/s/1DFfDlnmCh3qVaj091qcpNA 提取碼:vmny 1.首先我們需要準備一個Linux環境,和一個MySql的安裝包(本次採用的mysql安裝包版本為:8.0.27) 2.把文件放在linux下的/us ...
  • 哈嘍大家好,我是鹹魚 鹹魚在《[一文帶你瞭解容器技術的前世今生](https://mp.weixin.qq.com/s?__biz=MzkzNzI1MzE2Mw==&mid=2247484578&idx=1&sn=a8ae0d1c470351a8bbcb6891bae0ca23&chksm=c293 ...
  • > 本文首發於公眾號:Hunter後端 > 原文鏈接:[es筆記七之聚合操作之桶聚合和矩陣聚合](https://mp.weixin.qq.com/s/SFiLEtnUqxncL-ZQj1zqgg) 桶(bucket)聚合併不像指標(metric)聚合一樣在欄位上計算,而是會創建數據的桶,我們可以理 ...
  • ### 一、前言 最近由於工作需要,需要用到kettle工具進行數據遷移轉換。特意找資料學習了一下,kettle基本操作算是學會了。 所學的也結合實際工作進行了驗證。為了防止以後用到忘記了,便寫了幾篇文章記錄一下。 ![快速上手kettle](https://img2023.cnblogs.com/ ...
一周排行
    -Advertisement-
    Play Games
  • 下麵是一個標準的IDistributedCache用例: public class SomeService(IDistributedCache cache) { public async Task<SomeInformation> GetSomeInformationAsync (string na ...
  • 這個庫提供了在啟動期間實例化已註冊的單例,而不是在首次使用它時實例化。 單例通常在首次使用時創建,這可能會導致響應傳入請求的延遲高於平時。在註冊時創建實例有助於防止第一次Request請求的SLA 以往我們要在註冊的時候實例單例可能會這樣寫: //註冊: services.AddSingleton< ...
  • 最近公司的很多項目都要改單點登錄了,不過大部分都還沒敲定,目前立刻要做的就只有一個比較老的項目 先改一個試試手,主要目標就是最短最快實現功能 首先因為要保留原登錄方式,所以頁面上的改動就是在原來登錄頁面下加一個SSO登錄入口 用超鏈接寫的入口,頁面改造後如下圖: 其中超鏈接的 href="Staff ...
  • Like運算符很好用,特別是它所提供的其中*、?這兩種通配符,在Windows文件系統和各類項目中運用非常廣泛。 但Like運算符僅在VB中支持,在C#中,如何實現呢? 以下是關於LikeString的四種實現方式,其中第四種為Regex正則表達式實現,且在.NET Standard 2.0及以上平... ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他們的程式記憶體會偶發性暴漲,自己分析了下是非托管記憶體問題,讓我幫忙看下怎麼回事?哈哈,看到這個dump我還是非常有興趣的,居然還有這種游戲幣自助機類型的程式,下次去大玩家看看他們出幣的機器後端是不是C#寫的?由於dump是linux上的程式,剛好win ...
  • 前言 大家好,我是老馬。很高興遇到你。 我們為 java 開發者實現了 java 版本的 nginx https://github.com/houbb/nginx4j 如果你想知道 servlet 如何處理的,可以參考我的另一個項目: 手寫從零實現簡易版 tomcat minicat 手寫 ngin ...
  • 上一次的介紹,主要圍繞如何統一去捕獲異常,以及為每一種異常添加自己的Mapper實現,並且我們知道,當在ExceptionMapper中返回非200的Response,不支持application/json的響應類型,而是寫死的text/plain類型。 Filter為二方包異常手動捕獲 參考:ht ...
  • 大家好,我是R哥。 今天分享一個爽飛了的面試輔導 case: 這個杭州兄弟空窗期 1 個月+,面試了 6 家公司 0 Offer,不知道問題出在哪,難道是杭州的 IT 崩盤了麽? 報名面試輔導後,經過一個多月的輔導打磨,現在成功入職某上市公司,漲薪 30%+,955 工作制,不咋加班,還不捲。 其他 ...
  • 引入依賴 <!--Freemarker wls--> <dependency> <groupId>org.freemarker</groupId> <artifactId>freemarker</artifactId> <version>2.3.30</version> </dependency> ...
  • 你應如何運行程式 互動式命令模式 開始一個互動式會話 一般是在操作系統命令行下輸入python,且不帶任何參數 系統路徑 如果沒有設置系統的PATH環境變數來包括Python的安裝路徑,可能需要機器上Python可執行文件的完整路徑來代替python 運行的位置:代碼位置 不要輸入的內容:提示符和註 ...