(Nosql)列式存儲是什麼?

来源:https://www.cnblogs.com/rainbow-1/archive/2022/08/10/16573903.html
-Advertisement-
Play Games

首先nosql可以被理解為not only sql 泛指非關係型資料庫,也就是說不僅僅是sql,所以它既包含了sql的一些東西,但是又和sql不同,併在其的基礎上改變或者說擴展了一些東西。 提到nosql,首先我們就要分析一下關係型資料庫的行式存儲和非關係型資料庫的列式存儲區別在哪? 行式存儲我們都 ...


首先nosql可以被理解為not only sql 泛指非關係型資料庫,也就是說不僅僅是sql,所以它既包含了sql的一些東西,但是又和sql不同,併在其的基礎上改變或者說擴展了一些東西。


提到nosql,首先我們就要分析一下關係型資料庫的行式存儲和非關係型資料庫的列式存儲區別在哪?

行式存儲我們都很熟悉,不論是mysql數據表還是我們熟悉的excel表,這些表裡每一行都是完整的一條數據,它們彼此關聯,彼此有關係。

以核酸檢測的數據為例:

行式存儲

一般核酸檢測需要以下幾個欄位:姓名身份證號檢測機構檢測時間結果價格

比如是這樣的:

image-20220810201457588

image-20220810202526639

行存儲優點分析

  • 在這樣的物理結構下,因為是連續空間,所以插入一條數據只需要追加到當前數據之後即可,很方便
  • 對於按記錄查詢也很方便,例如:我們要查詢彥祖的所有核酸記錄,頁面應用的話應該是通過彥祖的身份證號
  • 對應的sql如下:
select * from 核酸記錄表 where 身份證號='彥祖的身份證號'
  • 這個sql的執行流程比較清晰
1.先從索引查詢出來彥祖的記錄存儲的物理地址
2.在通過物理地址去表的物理存儲中查詢對應地址中的數據
  • 這樣就可以快速得到彥祖的核酸記錄

行存儲缺點分析

  • 這時候,業務方提了一個需求,他要統計彥祖做核酸總共花了多少錢
  • 對於這個需求,sql實現也很簡單,通過對價格sum就可以實現,sql如下:
select sum(價格) from 核酸記錄表 where 身份證號='彥祖的身份證號'
  • 這個sql的執行流程也比較清晰
1.先從索引查詢出來彥祖的記錄存儲的物理地址
2.在通過物理地址去表的物理存儲中查詢對應地址中的數據
3.拿到所有數據時候,再通過對於價格列sum聚合得到結果
  • 分析下,因為行存儲使用的是連續空間,即使需求裡面只需要select sum(價格)但是讀取物理存儲時候,還是讀取出來了所有的欄位

行存儲優缺點總結

  • 通過上面的分析,總結一下行存儲的優缺點
  • 優點
1.連續空間對於插入/更新很方便
2.對於記錄查詢很方便
  • 缺點
1.會查詢出來很多不需要的列

列式存儲

  • 在列存儲中,對於同樣的核酸記錄表,存儲的物理結構如下:

image-20220810201726830

  • 在列式存儲中,會把每一列存儲到一起,如姓名列,是把所有記錄中的姓名這列的值使用連續空間存放到一起
  • 而對於各個列之間,是沒有必要使用連續空間存放到一起的,所以很多列式資料庫都使用了分散式存儲的方式,存儲各個列
  • 下麵我們來分析下列存儲的數據壓縮查詢執行流程

列存儲的數據壓縮

  • 很多列式資料庫都是通過字典表的方式進行數據壓縮
  • 因為是把每一列存放到一起的,所以很容易通過對於每一列進行去重,來構建一個字典表,例如:
  • 對於姓名列,這列的所有數據如下:
彥祖|德華|路人甲|德華|彥祖
  • 對這列值去重以後,構建一張姓名字典表,構建演算法忽略,就使用自增id的方式,如下:

    id 姓名列
    1 彥祖
    2 德華
    3 路人甲
  • 這樣構建字典表,對於列存儲的物理存儲結構,就可以執行存儲字典表中的id,而不用存儲具體的值,有了字典表以後姓名列存儲如下:

1|2|3|2|1
  • 同樣對於價格列,這列的所有數據如下:
35|20|8|23|20
  • 對這列值去重以後,構建一張價格字典表,構建演算法忽略,就使用自增id的方式,如下:

    id 價格列
    1 35
    2 20
    3 8
    4 23
  • 有了字典表以後價格列存儲如下:

1|2|3|4|2
  • 這樣通過一些數據壓縮演算法等,可以對數據存儲進行壓縮

列存儲的查詢執行過程

  • 有字典表以後,我們來看下,列存儲一般是如何進行查詢的
  • 業務需求查詢彥祖20塊錢做的核酸記錄:
select * from 核酸記錄表 where 姓名=彥祖 and 價格=20
  • 對於該sql,執行過程如下:
1.對於where 姓名=彥祖
首先查詢姓名字典表,查詢到彥祖的id=1
id 姓名列
1 彥祖
2 德華
3 路人甲
2.通過查詢到彥祖的id,對於性名列進行對比,構建一個bitmap,把匹配的要的列的索引位設置為1,否則為0

image-20220810202132234

3.對於where 價格=20 和上面一樣的操作,先查詢價格欄位表,20 的id=2
id 價格列
1 35
2 20
3 8
4 23

4.通過查詢到價格20的id,對於價格列進行對比,構建一個bitmap,把匹配的要的列的索引位設置為1,否則為0

image-20220810202253852

5.對於兩個where條件的結果bitmap做與運算,bitmap中,位為1的索引就是要查詢數據的所有列的索引,如該例子中,兩個結果bitmap與運算後的結果是00001,所以所有列的第5個值,拼接起來就是我們要查詢的數據

image-20220810202330022

6.所以我們把所有列的第五個值拿出來組裝後就是我們需要的數據

列存儲優點分析

  • 上面講了列存儲的數據壓縮,在數據壓縮上列存儲有一定的優勢
  • 每一列都可以天然做索引,不需要額外的數據結構來對各個列構建索引,所以不用在意每一列的數據類型,都可以做索引
  • 對於統計彥祖做核酸總共花了多少錢這種需求
select sum(價格) from 核酸記錄表 where 身份證號='彥祖的身份證號'
  • 因為列是分開存儲的,按照上面講的查詢流程,其實最後我們得到的結果bitmap拿到位=1的索引後,我們不需要查詢所有的列,只需要拿著索引去價格列中獲取相應位置的值,然後在進行sum聚合

列存儲缺點分析

  • 因為各個列是分開存儲的,所以在插入、更新時,需要對於每一個列進行操作,沒有行存儲連續空間那麼方便
  • 還是看上面說的查詢過程,每次查詢過後,都需要對查詢到的需要的列進行一個數據組裝

列存儲優缺點總結

  • 通過上面的分析,總結一下列存儲的優缺點
  • 優點
1.數據壓縮比較有優勢
2.任何列都可以做索引
3.查詢時只有涉及到的列會被讀取
  • 缺點
1.每次查詢時,都需要對查詢到的列進行數據重新組裝
2.插入/更新操作比較困難

參考自:https://juejin.cn/post/7056820168239874062

好看請贊,養成習慣 :) 本文來自博客園,作者:靠譜楊, 轉載請註明原文鏈接:https://www.cnblogs.com/rainbow-1/p/16573903.html

關於筆者:http://reliableyang.cn/


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • WPF 實現帶蒙版的 MessageBox 消息提示框 WPF 實現帶蒙版的 MessageBox 消息提示框 作者:WPFDevelopersOrg 原文鏈接: https://github.com/WPFDevelopersOrg/WPFDevelopers.Minimal 框架使用大於等於.N ...
  • 使用原因: 在我們服務端調用第三方介面時,如:支付寶,微信支付,我們服務端需要模擬http請求並加上一些自己的邏輯響應給前端最終達到我們想要的效果 1.使用WebClient 引用命名空間 using System.Net; using System.Collections.Specialized; ...
  • time.h 頭文件 是 C 語言中 有關 時間的函數所儲存的頭文件 #include <time.h> 在介紹時間函數用法之前,我們首先要瞭解在 time.h 頭文件中已經聲明瞭的一個結構: struct tm 該結構在time.h 頭文件內聲明如下: #ifndef _TM_DEFINED #d ...
  • GlueMotion是Mac上的縮時攝影軟體,gluemotion可以對圖片進行批量操作,包括編輯、去閃爍,並將圖像序列彙編成縮時影片等,GlueMotion還可以為攝影作品進行最佳效果矯正,是攝影師必備的一款軟體。 詳情:GlueMotion for Mac(縮時攝影製作工具) GlueMotio ...
  • Compressor for Mac是一款視頻轉碼工具,可以將媒體文件轉碼為各種格式的應用。您可以將 Compressor 用於:使用標準清晰度 (SD)、高清晰度 (HD) 和 4K 格式(包括 H.264 和 HEVC,也稱為 H.265)導出視頻以在 Apple 設備上觀看。此次更新新增了從“ ...
  • docker容器網路配置 Docker在安裝後自動提供3種網路,可以使用docker network ls命令查看 [[email protected] ~]# docker network ls NETWORK ID NAME DRIVER SCOPE bca5c00311b4 bridge bridg ...
  • 口袋妖怪原生花3:華麗的冒險 for Mac是一款熱門受歡迎的角色扮演游戲,游戲的舞臺與寶石版相同,並且加入了多種全新的要素。游戲會採用全新的故事劇情,並且加入了新的口袋妖怪。 詳情:口袋妖怪原生花3:華麗的冒險 for Mac(角色扮演類游戲) 口袋妖怪華麗の冒險是一部口袋妖怪外傳性質的作品,繼《 ...
  • 1、在桌面新建一個txt文檔,複製下麵的代碼進去,如圖: slmgr /ipk W269N-WFGWX-YVC9B-4J6C9-T83GX slmgr /skms kms.03k.org slmgr /ato 2、點擊文件選擇“另存為”,保存的位置選桌面,保存的類型改為所有文件,文件名改為.bat後 ...
一周排行
    -Advertisement-
    Play Games
  • 經常看到有群友調侃“為什麼搞Java的總在學習JVM調優?那是因為Java爛!我們.NET就不需要搞這些!”真的是這樣嗎?今天我就用一個案例來分析一下。 昨天,一位學生問了我一個問題:他建了一個預設的ASP.NET Core Web API的項目,也就是那個WeatherForecast的預設項目模 ...
  • 很多軟體工程師都認為MD5是一種加密演算法,然而這種觀點是不對的。作為一個 1992 年第一次被公開的演算法,到今天為止已經被髮現了一些致命的漏洞。本文討論MD5在密碼保存方面的一些問題。 ...
  • Maven可以使我們在構建項目時需要用到很多第三方類jar包,如下一些常用jar包 而maven的出現可以讓我們避免手動導入jar包出現的某些問題,它可以自動下載那須所需要的jar包 我們只需要在創建的maven項目自動生成的pom.xml中輸入如下代碼 <dependencies> <!--ser ...
  • 來源:https://developer.aliyun.com/article/694020 非同步調用幾乎是處理高併發Web應用性能問題的萬金油,那麼什麼是“非同步調用”? “非同步調用”對應的是“同步調用”,同步調用指程式按照定義順序依次執行,每一行程式都必須等待上一行程式執行完成之後才能執行;非同步調 ...
  • 1.面向對象 面向對象編程是在面向過程編程的基礎上發展來的,它比面向過程編程具有更強的靈活性和擴展性,所以可以先瞭解下什麼是面向過程編程: 面向過程編程的核心是過程,就是分析出實現需求所需要的步驟,通過函數一步一步實現這些步驟,接著依次調用即可,再簡單理解就是程式 從上到下一步步執行,從頭到尾的解決 ...
  • 10瓶毒藥其中只有一瓶有毒至少需要幾隻老鼠可以找到有毒的那瓶 身似浮雲,心如飛絮,氣若游絲。 用二分查找和二進位位運算的思想都可以把死亡的老鼠降到最低。 其中,二進位位運算就是每一隻老鼠代表一個二進位0或1,0就代表老鼠存活,1代表老鼠死亡;根據數學運算 23 = 8、24 = 16,那麼至少需要四 ...
  • 一、Kafka存在哪些方面的優勢 1. 多生產者 可以無縫地支持多個生產者,不管客戶端在使用單個主題還是多個主題。 2. 多消費者 支持多個消費者從一個單獨的消息流上讀取數據,而且消費者之間互不影響。 3. 基於磁碟的數據存儲 支持消費者非實時地讀取消息,由於消息被提交到磁碟,根據設置的規則進行保存 ...
  • 大家好,我是陶朱公Boy。 前言 上一篇文章《關於狀態機的技術選型,最後一個真心好》我跟大家聊了一下關於”狀態機“的話題。從眾多技術選型中我也推薦了一款阿裡開源的狀態機—“cola-statemachine”。 於是就有小伙伴私信我,自己項目也考慮引入這款狀態機,但網上資料實在太少,能不能系統的介紹 ...
  • 使用腳本自動跑實驗(Ubuntu),將實驗結果記錄在文件中,併在實驗結束之後將結果通過郵件發送到郵箱,最後在windows端自動解析成excel表格。 ...
  • 話說在前面,我不是小黑子~ 我是超級大黑子😏 表弟大周末的跑來我家,沒事幹天天騷擾我,搞得我都不能跟小姐姐好好聊天了,於是為了打發表弟,我決定用Python做一個小游戲來消耗一下他的精力,我思來想去,決定把他變成小黑子,於是做了一個坤坤打籃球的游戲,沒想到他還挺愛玩的~ 終於解放了,於是我把游戲寫 ...