.Net輕鬆處理億級數據--clickhouse及可視化界面安裝介紹

来源:https://www.cnblogs.com/ShaoJianan/archive/2019/07/09/11155188.html
-Advertisement-
Play Games

CH是由俄羅斯“熊哥”開源的一套用於聯機分析(OLAP)的列式資料庫管理系統(DBMS),它通過針對性的設計,力圖解決海量多維度數據的查詢性能問題。小白程式員輕鬆上手,安裝和操作就像mysql一樣簡單。 ...


該篇內容由個人博客點擊跳轉同步更新!轉載請註明出處!

前言
我是在17年就聽說過Clickhouse,那時還未接觸過億數據的運算,那時我在的小公司對於千萬數據的解決方案還停留在分庫分表,最好的也是使用mycat做的集群。這些解決方案都比較複雜,畢竟通常來說那些需要大量存儲的數據基本都是像日誌,流水等不需要修改的數據,像客戶人員等需要經常維護的信息一般項目也就幾萬左右,在這些不是非常重要的數據上耗太多時間我個人是覺得有點浪費(但畢竟還是要的嘛),直到我到了新公司才重新拾起了對Clickhouse的學習,下麵主要介紹下安裝以及下篇會介紹一些簡單的用法。
一、ClickHouse簡介 文檔地址

CH是由俄羅斯“熊哥”開源的一套用於聯機分析(OLAP)的列式資料庫管理系統(DBMS),它通過針對性的設計,力圖解決海量多維度數據的查詢性能問題。小白程式員輕鬆上手,安裝和操作就像mysql一樣簡單。

適用於:
  1. 大多數是讀請求
  2. 每次寫入大於1000行的數據(不適用於單條插入)
  3. 不修改已添加的數據
  4. 每次查詢都從資料庫中讀取大量的行,但是同時又僅需要少量的列
  5. 寬表,即每個表包含著大量的列
  6. 較少的查詢(通常每台伺服器每秒數百個查詢或更少)
  7. 對於簡單查詢,允許延遲大約50毫秒
  8. 列中的數據相對較小: 數字和短字元串(例如,每個URL 60個位元組)
  9. 處理單個查詢時需要高吞吐量(每個伺服器每秒高達數十億行)
  10. 事務不是必須的
  11. 對數據一致性要求低
  12. 每一個查詢除了一個大表外都很小
  13. 查詢結果明顯小於源數據,換句話說,數據被過濾或聚合後能夠被盛放在單台伺服器的記憶體中

    應用場景

    公交軌跡(我自己的應用場景
    消費轉賬流水
    日誌記錄
    天氣數據
    ......

二、ClickHouse安裝

安裝方式有多種(暫未支持windows上安裝),官方文檔上介紹的安裝方式感覺有點複雜,下麵介紹一種較為簡單的安裝方式,通過rpm安裝包進行安裝,git地址:點擊跳轉
系統環境:CentOS 7.5
1、下載包需要curl支持,當前系統沒有的話需要先通過yum安裝一下

sudo yum install -y curl

2、下載安裝腳本

curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash

3、檢查clickhouse安裝包全不全

sudo yum list 'clickhouse*'

Available Packages
clickhouse-client.x86_64                18.1.0-1.el7             Altinity_clickhouse
clickhouse-common-static.x86_64         18.1.0-1.el7             Altinity_clickhouse
clickhouse-compressor.x86_64            1.1.54336-3.el7          Altinity_clickhouse
clickhouse-debuginfo.x86_64             18.1.0-1.el7             Altinity_clickhouse
clickhouse-mysql.noarch                 0.0.20180319-1           Altinity_clickhouse
clickhouse-server.x86_64                18.1.0-1.el7             Altinity_clickhouse
clickhouse-server-common.x86_64         18.1.0-1.el7             Altinity_clickhouse
clickhouse-test.x86_64                  18.1.0-1.el7             Altinity_clickhouse

4、檢查沒問題的話開始安裝服務端和客戶端

sudo yum install -y clickhouse-server clickhouse-client

5、檢查安裝後的包全不全

 sudo yum list installed 'clickhouse*'

Installed Packages
clickhouse-client.x86_64                 18.1.0-1.el7           @Altinity_clickhouse
clickhouse-common-static.x86_64          18.1.0-1.el7           @Altinity_clickhouse
clickhouse-server.x86_64                 18.1.0-1.el7           @Altinity_clickhouse
clickhouse-server-common.x86_64          18.1.0-1.el7           @Altinity_clickhouse

6、安裝成功後首先運行服務端,預設會使用config.xml作為配置文件,也可以通過--config=xxx來指定配置文件

sudo service clickhouse-server start

7、客戶端運行,這裡的命令啥的和mysql很像,一些命令語法都是差不多的,下麵簡單試下

clickhouse-client

localhost :) show databases
SHOW DATABASES
┌─name────┐
│ default │
│ system  │
└─────────┘

2 rows in set. Elapsed: 0.030 sec.

這時服務端會有響應信息

ClickHouse client version 18.1.0.
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 18.1.54396.

:)

三、可視化界面安裝,官方文檔有介紹很多種工具,這裡介紹Tabix

上面介紹的操作方式都是在linux上進行操作的,結果什麼都需要通過終端進行查看,很不方便,好在有第三方可視化Web界面工具Tabix
操作界面
Tabix使用安裝非常方便,有本地安裝和無安裝兩種方式
1、無安裝方式最簡單,直接打開官方提供的地址:點擊跳轉
登錄
在上面輸入你Clickhouse運行的地址、埠、登錄名、密碼等信息就好了。
2、本地安裝方式
本地需要web伺服器,所以先安裝一個nginx,具體安裝不再細說,網上資料有很多,nginx配置

server {
    listen 80;
    server_name ui.tabix.io;
    charset        utf-8;
    root /var/www/tabix.ui/build;
    location / {
        if (!-f $request_filename) {
            rewrite ^(.*)$ /index.html last;
        }
        index  index.html index.htm;
    }
}

然後下載最新的安裝文件:點擊跳轉,並且解壓將build文件夾拷貝到nginx對應的目錄下,然後瀏覽運行看下效果,具體登錄操作和上面一樣。

四、擴充

集群的安裝可參考這篇文章:點擊跳轉
使用Prometheus進行系統的監控
使用Grafana監控資料庫的性能

下一篇將介紹數據操作的一些類庫

微信關註我哦!(轉載註明出處)關註我哦


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 我想通過js動態設置元素padding-top的百分比值:以下幾種都是無法設置成功的: 成功實現的方式: ...
  • 前言 最近在學 ,看到 這裡,剛開始覺得一臉懵逼,後面通過查閱相關資料和一些對源碼的解釋,總算有點頭緒,今天在這裡總結下。 類似於 ,`React react redux react redux Redux React React Redux store store actions`以更新數據。 值 ...
  • 效果圖: 效果圖: 使用方法 (1)引入 jQuery 包,下載地址 (2)引入 zTree 包,下載地址 (3)引入 tree-select.js (4)$("#id").treeSelect(data); 使用方法 (1)引入 jQuery 包,下載地址 (2)引入 zTree 包,下載地址 ( ...
  • 1.filter() 不會改變原始數組,新數組中的元素是過濾指定數組中符合條件的所有元素 兩種寫法區別:有return 的加了{},否則沒有return不需要加{} var aa = [1, 2, 3, 4, 4, 5, 6, 6]; var bb = aa.filter((item, index, ...
  • 知識不怕舊,關鍵在於在舊知識的基礎上不斷創新與提高! 引入一個問題:打開一個瀏覽器,在地址欄輸入一個網址,按下 enter 鍵到看到整個頁面,中間都經歷了哪些事情? 這是一個前端的面試題,相信很多朋友都知道,知道瞭解的朋友可以略過這一塊。 1、HTTP請求階段:向伺服器發送請求 瀏覽器首先向DNS域 ...
  • 數據綁定最常見的形式就是使用“Mustache”語法 (雙大括弧) 的文本插值,例如:<p>Message: {{ msg }}</p>以後每當msg屬性發生了改變,插值處的內容都會自動更新。 可以給DOM節點添加一個v-once指令,這樣模板只會在第一次更新時顯示數據,此後再次更新該DOM裡面引用 ...
  • 近日看到一篇文章 "99%的程式都沒有考慮的網路異常" ,開篇提到: 絕大多數程式只考慮了介面正常工作的場景,而用戶在使用我們的產品時遇到的各類異常,全都丟在看似 ok 的 try catch 中。如果沒有做好異常的相容和兜底處理,會極大的影響用戶體驗,嚴重的還會帶來安全和資損風險。 於是,筆者分析 ...
  • 很多初學的朋友經常問我,前端JavaScript都需要學習哪些東西呀?哪些是JavaScript的重點知識啊? 其實做前端開發工程師,所有的知識點都是我們學習必備的東西,只有扎實的技術基礎才是高薪的關鍵! 不過JavaScript的知識點比較多,一篇文章的內容沒辦法講完。今天就來點知識點難度乾貨,大 ...
一周排行
    -Advertisement-
    Play Games
  • 前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器,其界面簡潔大方,操作體驗流暢。該播放器支持多種音頻格式(如 MP4、WMA、OGG、FLAC 等),並具備標記、實時歌詞顯示等功能。 另外,還支持換膚及多語言(中英文)切換。核心音頻處理採用 FFmpeg 組件,獲得了廣泛認可,目前 Git ...
  • OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統,完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面,查看已創建應用的Client ID和Clien ...
  • 解決了這個問題:《winForm下,fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自:https://www.fcnsoft.com/Home/Sho ...
  • 國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面,接收裸 Win 32 的 WM_Pointer 消息,從消息裡面獲取觸摸點信息,使用觸摸點 ...
  • 前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能,還集成了高性能的輕量級 POS 解決方案,確保頁面載入速度極快,提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI: ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的,因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 問題 問題是這樣的:第三方的webapi,需要先調用登陸介面獲取Cookie,訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面,返回的Headers中沒有找到Cookie信息。 分析 首先,使用Postman測試該登陸介面,正常返回Cookie信息,說明是HttpCli ...
  • 國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低,主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上,.NET曾因微軟的閉源策略發展受限,儘管後來推出了跨平臺的.NET ...
  • 在WPF開發應用中,動畫不僅可以引起用戶的註意與興趣,而且還使軟體更加便於使用。前面幾篇文章講解了畫筆(Brush),形狀(Shape),幾何圖形(Geometry),變換(Transform)等相關內容,今天繼續講解動畫相關內容和知識點,僅供學習分享使用,如有不足之處,還請指正。 ...
  • 什麼是委托? 委托可以說是把一個方法代入另一個方法執行,相當於指向函數的指針;事件就相當於保存委托的數組; 1.實例化委托的方式: 方式1:通過new創建實例: public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...