本文分享自華為雲社區《直播回顧 | 實時入庫不用愁，HStore幫分憂》，作者：汀丶。 海量數據時代，如何實現數據實時入庫與實時查詢？GaussDB(DWS) HStore表為數據高效存儲與查詢提供了哪些助力？本期《數倉實時入庫利器—HStore表原理與應用實踐詳解》的主題直播中，我們邀請到華為雲E ...
本文分享自華為雲社區《直播回顧 | 實時入庫不用愁，HStore幫分憂》，作者：汀丶。
海量數據時代，如何實現數據實時入庫與實時查詢？GaussDB(DWS) HStore表為數據高效存儲與查詢提供了哪些助力？本期《數倉實時入庫利器—HStore表原理與應用實踐詳解》的主題直播中，我們邀請到華為雲EI DTSE技術佈道師馬俊松，針對GaussDB(DWS)HStore表與開發者和伙伴朋友們展開交流互動。通過4部分內容幫助開發者快速瞭解HStore表。
GaussDB(DWS)表存儲類型演進
傳統的數據存儲類型有行存儲和列存儲，GaussDB(DWS) 基於列存儲格式設計和實現了全新的HStore表，同時提供高效的併發插入、更新入庫，以及高性能實時查詢。
行存儲：數據以行為單位存儲在數據塊中，適用於傳統OLTP場景，數據需要進行頻繁的增刪改查，數據量不會很大。行存儲的優點是：點查性能好，更新效率高。實時併發入庫使用行存表，能獲得較好的併發更新入庫性能，但分析查詢性能與空間壓縮往往不及預期
列存儲：為瞭解決行存表的分析查詢性能問題以及空間壓縮問題，GaussDB(DWS)自研了列存儲，適用於傳統OLAP場景，數據量大，更新刪除少。列存儲能帶來很好的空間壓縮與批量查詢性能提升，對於一些涉及多表關聯的分析類複雜查詢、數據不經常更新的表，推薦使用列存表。實時併發入庫使用列存表，能獲得較好的分析查詢性能與數據壓縮，但無法支持小批量入庫。
列存錶帶Delta：為瞭解決小批量入庫問題，GaussDB(DWS)自研了列存錶帶Delta，
適用於OLAP場景的小批量數據入庫，導入後主要做查詢分析業務，更新刪除少。實時併發入庫使用帶Delta的列存表，能避免小批量入庫的小CU問題，但基本無法支持併發更新入庫。
HStore表：雖然列存錶帶Delta解決了小批量入庫產生的小CU問題，但是沒有解決同一個CU上的併發更新產生的鎖衝突問題。而實時入庫的場景下，需要將insert+upsert+update操作實時併發入庫，數據來源於上游的其他資料庫或者應用，同時要求入庫後的數據要能及時查詢，且對於查詢的效率要求很高。目前的列存表由於鎖衝突的原因無法支持併發upsert/update入庫，導致這些有需要的局點只能使用行存表，但是行存表因為格式的天然劣勢，在AP查詢場景下一方面性能較慢，另一方面由於壓縮差導致占用了大量的磁碟空間，對用戶產生額外成本。GaussDB(DWS)中的HStore表， 在使用列存儲格式儘量降低磁碟占用的同時，支持高併發的更新操作入庫以及高性能的查詢效率。面向對於實時入庫和實時查詢有較強訴求的場景，同時擁有處理傳統TP場景的事務能力。
GaussDB(DWS)幾種表類型對比
HStore表的解決方案
對於實時入庫場景，數據通過Kafka、Flink導入到DWS中，同時下游實時應用，對數據入庫的操作進行實時查詢。入庫後的數據支持熱轉冷，可以存儲到obs上，進一步為客戶節約成本，也支持外表導入，導入通過ORC/Parquet/text等格式，導出進行AI挖掘等操作。HStore表相當於同時滿足上游的併發入庫，以及下游的實時查詢。
HStore表的技術特點
- 完整的事務一致性
支持全面的事務能力，數據插入或者更新提交後即可見不存在時延，保證數據ACID一致性。
- 全面的功能支持
提供和當前列存一樣全面的功能和語法支持。
- 查詢性能好
多表關聯等複雜AP查詢場景下，更完善的分散式查詢計劃與分散式執行器帶來的性能優勢，支持複雜的子查詢和存儲過程。
支持主鍵等傳統索引能力去重和加速點查，也支持分區、全局字典、局部排序等方式進一步加速AP查詢。
- 入庫快
徹底解決列存CU鎖衝突問題，支持高併發的更新入庫操作，典型場景下，併發更新性能是之前的百倍以上。
- 高壓縮
數據在MERGE進入列存主表後，按列存儲具有天然的壓縮優勢，能極大地節省磁碟空間與IO資源。
HStore的Delta表與列存老Delta表的對比
HStore表的使用實踐
當前HStore表提供了視圖，可以用來觀察Delta表的給類型元組數量以及Delta的膨脹情況。同時也提供了函數可以對Delta表做輕量清理以及全量清理。
關於壓縮效率驗證、併發更新入庫驗證、查詢性能驗證操作，感興趣的開發者可以觀看直播視頻，學習後操作一下。
HStore表的使用註意事項
- 參數設置
HStore依賴後臺常駐線程對HStore表進行MERGE清理操作，才能保證查詢性能與壓縮效率，所以使用HStore表務必設置相關GUC,推薦的配置如下：
- 併發同一行
當前HStore併發更新同一行仍然是不支持的，其中同一行上併發update/delete操作會先等鎖然後報錯，同一行上的併發upsert操作會先等鎖然後繼續執行。由於等待開銷也是會影響業務的入庫性能，甚至可能產生死鎖，所以需要在入庫時保證不會併發更新到同一行或者同一個key。
- 索引相關
索引會占用額外的空間，同時帶來的點查性能提升有限，所以HStore表只建議在需要做Upsert或者有點查（這裡指唯一性與接近唯一的點查） 的訴求下創建一個主鍵或者btree索引。
- MERGE相關
由於HStore表依賴後臺autovacuum來將操作MERGE到主表，所以入庫速度不能超過MERGE速度，否則會導致delta表的膨脹，可以通過控制入庫的併發來控制入庫速度。同時由於Delta表本身的空間復用受oldestXmin的影響，如果有老事務存在可能會導致Delta空間復用不及時而產生膨脹。
- UPSERT性能
HStore表雖然相比普通列存，併發upsert入庫性能得到了很大提升，但相比行存還是有差距，大概只有行存的1/3。所以在不追求壓縮率以及批量查詢性能、只追求單點查詢性能的場景下，還是推薦行存表入庫。
歡迎感興趣的開發者觀看直播回放，瞭解詳細信息。更多關於GaussDB(DWS)產品技術解析、數倉產品新特性的介紹，請關註GaussDB(DWS)論壇，技術博文分享、直播安排將第一時間發佈在GaussDB(DWS)論壇。
論壇鏈接：https://bbs.huaweicloud.com/forum/forum-598-1.html
直播回放鏈接：https://bbs.huaweicloud.com/live/DTT_live/202308021630.html
