.Net輕鬆處理億級數據--clickhouse及可視化界面安裝介紹

来源:https://www.cnblogs.com/ShaoJianan/archive/2019/07/09/11155188.html
-Advertisement-
Play Games

CH是由俄羅斯“熊哥”開源的一套用於聯機分析(OLAP)的列式資料庫管理系統(DBMS),它通過針對性的設計,力圖解決海量多維度數據的查詢性能問題。小白程式員輕鬆上手,安裝和操作就像mysql一樣簡單。 ...


該篇內容由個人博客點擊跳轉同步更新!轉載請註明出處!

前言
我是在17年就聽說過Clickhouse,那時還未接觸過億數據的運算,那時我在的小公司對於千萬數據的解決方案還停留在分庫分表,最好的也是使用mycat做的集群。這些解決方案都比較複雜,畢竟通常來說那些需要大量存儲的數據基本都是像日誌,流水等不需要修改的數據,像客戶人員等需要經常維護的信息一般項目也就幾萬左右,在這些不是非常重要的數據上耗太多時間我個人是覺得有點浪費(但畢竟還是要的嘛),直到我到了新公司才重新拾起了對Clickhouse的學習,下麵主要介紹下安裝以及下篇會介紹一些簡單的用法。
一、ClickHouse簡介 文檔地址

CH是由俄羅斯“熊哥”開源的一套用於聯機分析(OLAP)的列式資料庫管理系統(DBMS),它通過針對性的設計,力圖解決海量多維度數據的查詢性能問題。小白程式員輕鬆上手,安裝和操作就像mysql一樣簡單。

適用於:
  1. 大多數是讀請求
  2. 每次寫入大於1000行的數據(不適用於單條插入)
  3. 不修改已添加的數據
  4. 每次查詢都從資料庫中讀取大量的行,但是同時又僅需要少量的列
  5. 寬表,即每個表包含著大量的列
  6. 較少的查詢(通常每台伺服器每秒數百個查詢或更少)
  7. 對於簡單查詢,允許延遲大約50毫秒
  8. 列中的數據相對較小: 數字和短字元串(例如,每個URL 60個位元組)
  9. 處理單個查詢時需要高吞吐量(每個伺服器每秒高達數十億行)
  10. 事務不是必須的
  11. 對數據一致性要求低
  12. 每一個查詢除了一個大表外都很小
  13. 查詢結果明顯小於源數據,換句話說,數據被過濾或聚合後能夠被盛放在單台伺服器的記憶體中

    應用場景

    公交軌跡(我自己的應用場景
    消費轉賬流水
    日誌記錄
    天氣數據
    ......

二、ClickHouse安裝

安裝方式有多種(暫未支持windows上安裝),官方文檔上介紹的安裝方式感覺有點複雜,下麵介紹一種較為簡單的安裝方式,通過rpm安裝包進行安裝,git地址:點擊跳轉
系統環境:CentOS 7.5
1、下載包需要curl支持,當前系統沒有的話需要先通過yum安裝一下

sudo yum install -y curl

2、下載安裝腳本

curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash

3、檢查clickhouse安裝包全不全

sudo yum list 'clickhouse*'

Available Packages
clickhouse-client.x86_64                18.1.0-1.el7             Altinity_clickhouse
clickhouse-common-static.x86_64         18.1.0-1.el7             Altinity_clickhouse
clickhouse-compressor.x86_64            1.1.54336-3.el7          Altinity_clickhouse
clickhouse-debuginfo.x86_64             18.1.0-1.el7             Altinity_clickhouse
clickhouse-mysql.noarch                 0.0.20180319-1           Altinity_clickhouse
clickhouse-server.x86_64                18.1.0-1.el7             Altinity_clickhouse
clickhouse-server-common.x86_64         18.1.0-1.el7             Altinity_clickhouse
clickhouse-test.x86_64                  18.1.0-1.el7             Altinity_clickhouse

4、檢查沒問題的話開始安裝服務端和客戶端

sudo yum install -y clickhouse-server clickhouse-client

5、檢查安裝後的包全不全

 sudo yum list installed 'clickhouse*'

Installed Packages
clickhouse-client.x86_64                 18.1.0-1.el7           @Altinity_clickhouse
clickhouse-common-static.x86_64          18.1.0-1.el7           @Altinity_clickhouse
clickhouse-server.x86_64                 18.1.0-1.el7           @Altinity_clickhouse
clickhouse-server-common.x86_64          18.1.0-1.el7           @Altinity_clickhouse

6、安裝成功後首先運行服務端,預設會使用config.xml作為配置文件,也可以通過--config=xxx來指定配置文件

sudo service clickhouse-server start

7、客戶端運行,這裡的命令啥的和mysql很像,一些命令語法都是差不多的,下麵簡單試下

clickhouse-client

localhost :) show databases
SHOW DATABASES
┌─name────┐
│ default │
│ system  │
└─────────┘

2 rows in set. Elapsed: 0.030 sec.

這時服務端會有響應信息

ClickHouse client version 18.1.0.
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 18.1.54396.

:)

三、可視化界面安裝,官方文檔有介紹很多種工具,這裡介紹Tabix

上面介紹的操作方式都是在linux上進行操作的,結果什麼都需要通過終端進行查看,很不方便,好在有第三方可視化Web界面工具Tabix
操作界面
Tabix使用安裝非常方便,有本地安裝和無安裝兩種方式
1、無安裝方式最簡單,直接打開官方提供的地址:點擊跳轉
登錄
在上面輸入你Clickhouse運行的地址、埠、登錄名、密碼等信息就好了。
2、本地安裝方式
本地需要web伺服器,所以先安裝一個nginx,具體安裝不再細說,網上資料有很多,nginx配置

server {
    listen 80;
    server_name ui.tabix.io;
    charset        utf-8;
    root /var/www/tabix.ui/build;
    location / {
        if (!-f $request_filename) {
            rewrite ^(.*)$ /index.html last;
        }
        index  index.html index.htm;
    }
}

然後下載最新的安裝文件:點擊跳轉,並且解壓將build文件夾拷貝到nginx對應的目錄下,然後瀏覽運行看下效果,具體登錄操作和上面一樣。

四、擴充

集群的安裝可參考這篇文章:點擊跳轉
使用Prometheus進行系統的監控
使用Grafana監控資料庫的性能

下一篇將介紹數據操作的一些類庫

微信關註我哦!(轉載註明出處)關註我哦


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 我想通過js動態設置元素padding-top的百分比值:以下幾種都是無法設置成功的: 成功實現的方式: ...
  • 前言 最近在學 ,看到 這裡,剛開始覺得一臉懵逼,後面通過查閱相關資料和一些對源碼的解釋,總算有點頭緒,今天在這裡總結下。 類似於 ,`React react redux react redux Redux React React Redux store store actions`以更新數據。 值 ...
  • 效果圖: 效果圖: 使用方法 (1)引入 jQuery 包,下載地址 (2)引入 zTree 包,下載地址 (3)引入 tree-select.js (4)$("#id").treeSelect(data); 使用方法 (1)引入 jQuery 包,下載地址 (2)引入 zTree 包,下載地址 ( ...
  • 1.filter() 不會改變原始數組,新數組中的元素是過濾指定數組中符合條件的所有元素 兩種寫法區別:有return 的加了{},否則沒有return不需要加{} var aa = [1, 2, 3, 4, 4, 5, 6, 6]; var bb = aa.filter((item, index, ...
  • 知識不怕舊,關鍵在於在舊知識的基礎上不斷創新與提高! 引入一個問題:打開一個瀏覽器,在地址欄輸入一個網址,按下 enter 鍵到看到整個頁面,中間都經歷了哪些事情? 這是一個前端的面試題,相信很多朋友都知道,知道瞭解的朋友可以略過這一塊。 1、HTTP請求階段:向伺服器發送請求 瀏覽器首先向DNS域 ...
  • 數據綁定最常見的形式就是使用“Mustache”語法 (雙大括弧) 的文本插值,例如:<p>Message: {{ msg }}</p>以後每當msg屬性發生了改變,插值處的內容都會自動更新。 可以給DOM節點添加一個v-once指令,這樣模板只會在第一次更新時顯示數據,此後再次更新該DOM裡面引用 ...
  • 近日看到一篇文章 "99%的程式都沒有考慮的網路異常" ,開篇提到: 絕大多數程式只考慮了介面正常工作的場景,而用戶在使用我們的產品時遇到的各類異常,全都丟在看似 ok 的 try catch 中。如果沒有做好異常的相容和兜底處理,會極大的影響用戶體驗,嚴重的還會帶來安全和資損風險。 於是,筆者分析 ...
  • 很多初學的朋友經常問我,前端JavaScript都需要學習哪些東西呀?哪些是JavaScript的重點知識啊? 其實做前端開發工程師,所有的知識點都是我們學習必備的東西,只有扎實的技術基礎才是高薪的關鍵! 不過JavaScript的知識點比較多,一篇文章的內容沒辦法講完。今天就來點知識點難度乾貨,大 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...