從本篇文章開始，筆者打算寫一個系列的《clickhouse專欄》，其全稱是Click Stream,Data WareHouse，簡稱ClickHouse。從其全稱中的“Data WareHouse”，我們可以看出clickhouse的定位是數據倉庫。那麼“數據倉庫”和“資料庫”有什麼區別呢？理解這 ...
從本篇文章開始，筆者打算寫一個系列的《clickhouse專欄》，其全稱是Click Stream,Data WareHouse，簡稱ClickHouse。從其全稱中的“Data WareHouse”，我們可以看出clickhouse的定位是數據倉庫。那麼“數據倉庫”和“資料庫”有什麼區別呢？理解這點這很重要，理解了二者的區別，你就可以正確的將clickhouse用到其合適的應用場景。
一、OLTP與OLAP
在理解"數據倉庫"與“資料庫”的區別之前，我們需要先說明兩個術語，即：OLTP與OLAP。
- OLTP（on-line transaction processing）聯機事務處理：通常指的是面向傳統應用服務的關係型資料庫，用戶通過web界面操作實時“增刪改查”資料庫裡面的數據。包含核心的基本的事務處理邏輯，用戶對於性能的要求很高，用戶點擊界面之後，響應時間最低要求在5秒之內（通常3秒以內），同時需要支持比較高的用戶併發度。OLTP的數據操作通常面向的是1條或幾條少量數據，比如：用戶下單操作該用戶的購物車、支付記錄、積分記錄等少量數據。
- OLAP（On-Line Analytical Processing）聯機分析處理：面向的應用主要是執行複雜的數據分析操作，側重於決策支撐，通過圖形報表展現直觀易動的數據分析結果。對於響應時間的要求相對寬鬆，數據分析過程通常不支持用戶高併發，但數據分析的結果支持用戶的高併發訪問。OLAP面向的通常是批量數據操作，數據按批次進行導入、分析等操作，OLAP系統通常結合ETL(抽取（extract）、轉換（transform）、載入（load）)系統進行使用。
理解上面的兩個數據，剩下的就簡單多了，資料庫通常面向OLTP操作，數據倉庫通常面向OLAP操作。OLTP側重於保存及變更數據的當前狀態，而數據倉庫側重於保存數據的歷史存檔。比如：用戶銀行轉賬，OLTP資料庫側重於管理用戶當前賬戶里的剩餘金額，和轉賬過程對方賬戶金額入賬的數據一致性；而OLAP數據倉庫側重於記錄誰進行了轉賬、轉了多少錢、錢轉到了哪裡。歷史上該用戶習慣在什麼時間轉賬，月初還是月末？一個月轉賬幾次？
二、數據倉庫的特點
下麵的是數據倉庫的幾個典型特點：
- 關註於記錄數據變化的過程，而不是數據當前的狀態。
- 讀多寫少
- 大寬表
- 數據批量操作，不更新或很少更新
- 不支持事務
有的工作經驗相對少的朋友看了這幾條會說：“這哪是什麼特點，這都是缺點啊！” 。不更新或很少更新，讀多寫少都是場景限制，大寬表破壞資料庫設計範式，不支持事務那還叫什麼資料庫？其實不然，在OLAP的場景下，這些恰恰是它為了保障數據分析的性能所進行特殊設計的特點。我給大家舉幾個例子：
- 比如：某雲廠商按周期採集伺服器的運行指標，比如：記憶體使用率、CPU使用率等等。這些指標都是批量採集、批量入庫的，一旦入庫就不會再去修改。通常也不會將記憶體指標建立一張表、CPU使用率建一張表，而是對於同一機房的伺服器建一張表，這張表以時間維度包含各種指標。比如：查詢記憶體使用率>80,CPU使用率>70的伺服器的時候，就不會兩表關聯查詢了，查詢一張寬表就可以了，數據分析的性能飛躍式提升。不支持事務，通常OLAP系統不支持事務，因為事務會在一定程度上影響數據操作的性能。數據入庫之後，需要針對這些指標不斷地進行分析、挖掘，即：讀多寫少，基本上就批量寫一次後續都是讀數據操作。
- 又比如：股票實時交易數據，關註於記錄數據變化的過程，而不是數據當前的狀態。所有股票的所有歷史數據一旦進入數據倉庫之後，就不會發生修改。可以進行股票量化交易分析。
- 又比如：用戶商品點擊量數據、用戶操作行為數據、用戶網頁瀏覽時長數據等等，這些數據都是對用戶進行分析所需要的數據，一旦入庫不會修改。可以進行用戶買賣意願行為分析。
其實還有很多這種類型的數據，這種數據的特點就是：數據量大、產生之後不會發生變化（那一個時間刻度的數據就不會發生變化）。因此，數據倉庫通常面向的是吞吐量大的歷史數據進行存檔、不會在做更新刪除操作的這種數據場景，數據存檔之後通常只面向數據查詢分析。
三、資料庫與數據倉庫結合使用
通常一個較大型的應用服務系統，既有資料庫，也有數據倉庫。資料庫面向用戶進行聯機事務處理，處理用戶界面的實時操作。數據倉庫的數據面向決策管理層，提供數據及圖形報表，提供變化多樣的數據分析決策。
上圖是一個典型的資料庫與數據倉庫同時存在的應用服務場景
- 互聯網用戶通過應用服務產生用戶行為，對資料庫進行OLTP操作
- 應用服務把用戶的操作的行為發送給消息隊列，消息隊列將數據導入數據倉庫
- 資料庫的數據可以通過ETL抽取、處理、轉換、整合到數據倉庫
- 決策分析系統主要面向數據倉庫進行數據分析，數據分析結果可以回饋到資料庫，通過應用服務面向互聯網用戶提供數據分析結果查看能力
- 決策分析系統同時對應用服務的決策管理者，提供數據分析決策支撐能力
推薦閱讀
限於博文篇幅，更多精彩內容我就不一一列舉了，推薦閱讀
《原創精品視頻及配套文檔：springboot-已錄製97節(免費)》
等等等等
