Cassandra簡單介紹和二進位安裝

来源:https://www.cnblogs.com/Sungeek/archive/2020/03/30/12599552.html
-Advertisement-
Play Games

Cassandra簡介： Apache Cassandra最初由Facebook開發，用於儲存收件箱等簡單格式數據，集GoogleBigTable的數據模型與Amazon Dynamo的完全分散式的架構於一身Facebook於2008將 Cassandra 開源， Apache Cassandra是 ...


Cassandra簡介：

Apache Cassandra最初由Facebook開發，用於儲存收件箱等簡單格式數據，集GoogleBigTable的數據模型與Amazon Dynamo的完全分散式的架構於一身Facebook於2008將 Cassandra 開源，

Apache Cassandra是一個高度可擴展的高性能分散式資料庫，用於處理大量商用伺服器上的大量數據，提供高可用性，無單點故障，是一種NoSQL類型的資料庫。 

由於Cassandra良好的可擴展性，被Digg、Twitter等知名Web 2.0網站所採納，成為了一種流行的分散式結構化數據存儲方案。

Cassandra特點：

Cassandra因其卓越的技術特性而變得如此受歡迎。下麵給出了Cassandra的一些特性：

  • 彈性可擴展性 - Cassandra是高度可擴展的; 它允許添加更多的硬體以適應更多的客戶和更多的數據根據要求。

  • 始終基於架構 - Cassandra沒有單點故障，它可以連續用於不能承擔故障的關鍵業務應用程式。

  • 快速線性性能 - Cassandra是線性可擴展性的，即它為你增加集群中的節點數量增加你的吞吐量。因此，保持一個快速的響應時間。

  • 靈活的數據存儲 - Cassandra適應所有可能的數據格式，包括：結構化，半結構化和非結構化。它可以根據您的需要動態地適應變化的數據結構。

  • 便捷的數據分發 - Cassandra通過在多個數據中心之間複製數據，可以靈活地在需要時分發數據。

  • 事務支持 - Cassandra支持屬性，如原子性，一致性，隔離和持久性（ACID）。

  • 快速寫入 - Cassandra被設計為在廉價的商品硬體上運行。 它執行快速寫入，並可以存儲數百TB的數據，而不犧牲讀取效率。

Cassandra架構：

Cassandra的設計目的是處理跨多個節點的大數據工作負載，而沒有任何單點故障。

Cassandra在其節點之間具有對等分散式系統，並且數據分佈在集群中的所有節點之間。

  • 集群中的所有節點都扮演相同的角色。 每個節點是獨立的，並且同時互連到其他節點。

  • 集群中的每個節點都可以接受讀取和寫入請求，無論數據實際位於集群中的何處。

  • 當節點關閉時，可以從網路中的其他節點提供讀/寫請求。

Cassandra中的數據複製

在Cassandra中，集群中的一個或多個節點充當給定數據片段的副本。

如果檢測到一些節點以過期值響應，Cassandra將向客戶端返回最近的值。

返回最新的值後，Cassandra在後臺執行讀修複以更新失效值。

下圖顯示了Cassandra如何在集群中的節點之間使用數據複製，以確保沒有單點故障的示意圖。

 註 - Cassandra在後臺使用Gossip協議，允許節點相互通信並檢測集群中的任何故障節點。

Gossip協議是一個通信協議，一種傳播消息的方式，靈感來自於：瘟疫、社交網路等。

使用Gossip協議的有：Redis Cluster、Consul、Apache Cassandra等。

Cassandra的組件：

Cassandra的關鍵組件如下：

  • 節點 - 它是存儲數據的地方。

  • 數據中心 - 它是相關節點的集合。

  • 集群 - 集群是包含一個或多個數據中心的組件。

  • 提交日誌 - 提交日誌是Cassandra中的崩潰恢復機制。每個寫操作都寫入提交日誌。

  • Mem-表 - mem-表是存儲器駐留的數據結構。提交日誌後，數據將被寫入mem表。有時，對於單列族，將有多個mem表。

  • SSTable - 它是一個磁碟文件，當其內容達到閾值時，數據從mem表中刷新。

  • 布隆過濾器 - 這些只是快速，非確定性的演算法，用於測試元素是否是集合的成員。它是一種特殊的緩存。 每次查詢後訪問Bloom過濾器。

JAVA&Cassandra安裝：

環境條件：

  • Cassandra 3.0及更高版本需要Java 8u40或更高版本。
  • Java 8的最新版本，即Oracle Java Standard Edition 8或OpenJDK 8。要驗證您是否安裝了正確的Java版本，請輸入。java -version
  • 對於使用cqlsh，最新版本的Python 2.7。要驗證您是否安裝了正確的Python版本，請輸入。python --version

創建用戶和組：

在開始時，建議為Cassandra創建一個單獨的用戶，這樣可以不使用root達到許可權隔離。

[root@tse3 Cassandra]# /usr/sbin/groupadd -g 10001 cassandra
[root@tse3 Cassandra]# /usr/sbin/useradd -u 10001 -g cassandra cassandra
[root@tse3 Cassandra]# id cassandra
uid=10001(cassandra) gid=10001(cassandra) groups=10001(cassandra)
[root@tse3 Cassandra]# passwd cassandra
[root@tse3 Cassandra]# chown -R cassandra:cassandra /Cassandra
[root@tse3 Cassandra]# chmod -R 775 /Cassandra

SSH設置和密鑰生成：

需要SSH設置才能在集群上執行不同的操作，例如啟動，停止和分散式守護程式shell操作。

要對Cassandra的不同用戶進行身份驗證，需要為Cassandra用戶提供公鑰/私鑰對，並與不同的用戶共用。

以下命令用於使用SSH生成鍵值對：

  • 將公共密鑰表單id_rsa.pub複製到authorized_keys，
  • 並提供所有者，
  • 分別對authorized_keys文件的讀寫許可權。
[root@tse3 Cassandra]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:PEWPzRcxD/BVBiuJTHdMtqtlp7O7uqSpBTQ8HSpsqQw root@tse3
The key's randomart image is:
+---[RSA 2048]----+
|          + o+Xo=|
|     . o * O =.X |
|  E   = * * * = .|
|   o o + +   o . |
|    o   S     + .|
|         o   + o |
|          . o o  |
|         . +   o |
|        ..o oo+o |
+----[SHA256]-----+
[root@tse3 .ssh]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[root@tse3 .ssh]# chmod 775 ~/.ssh/authorized_keys

驗證SSH：

[root@tse3 .ssh]# ssh localhost

安裝JAVA環境：

Java是Cassandra的主要先決條件。 首先，您應該使用以下命令驗證系統中是否存在Java：

[root@tse3 ~]# java -version
-bash: java: command not found

如果您的系統中沒有Java，請按照以下步驟安裝Java。

以下鏈接下載JDK8：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

Cassandra 3.0及更高版本需要Java 8u40或更高版本

我這邊下載了最新版的：jdk-8u241-linux-x64.tar.gz

我這邊是下載了tar包上傳到伺服器，因為伺服器下載速度太慢了

[root@tse3 downloads]# wget https://download.oracle.com/otn-pub/java/jdk/14+36/076bab302c7b4508975440c56f6cc26a/jdk-14_linux-x64_bin.tar.gz

下載好的包，解壓：

[root@tse3 downloads]# tar -zxvf jdk-8u241-linux-x64.tar.gz

移動jdk到/usr/local下麵，對所有用戶可用：

[root@tse3 downloads]# mv jdk1.8.0_241 /usr/local/

要設置PATH和JAVA_HOME變數：

export JAVA_HOME=/usr/local/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JRE_HOME=$JAVA_HOME/jre

將更改生效：

[root@tse3 lib]# source ~/.bash_profile

輸入命令查詢java版本，出現如下代表裝成功：

[root@tse3 bin]# java -version
java version "1.8.0_241"
Java(TM) SE Runtime Environment (build 1.8.0_241-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.241-b07, mixed mode)

 

安裝Cassandra：

先創建相關目錄

[root@tse3 /]# mkdir -p /var/lib/cassandra/{data,commitlog,saved_caches}
設置讀寫許可權：
[root@tse3 /]# chmod 777 /var/lib/cassandra
[root@tse3 /]# chmod 777 /var/log/cassandra
[root@tse3 /]# chown -R cassandra:cassandra /cassandra/
[root@tse3 /]# chmod -R 777 /cassandra/

設置環境變數

[root@tse3 bin]# vim ~/.bash_profile 
export CASSANDRA_HOME=/cassandra
export PATH=$PATH:$CASSANDRA_HOME/bin
[root@tse3 bin]# source ~/.bash_profile

1、先從官方網站獲取最新的tar包，我這裡是按照3.11版本，已經獲取到地址了

[root@tse3 downloads]# wget https://www.apache.org/dyn/closer.lua/cassandra/3.11.6/apache-cassandra-3.11.6-bin.tar.gz

2、解壓下載的tar包

[root@tse3 downloads]# tar -zxvf apache-cassandra-3.11.6-bin.tar.gz

3、創建一個Cassandra目錄，然後移動數據到這個目錄下

[root@tse3 downloads]# mv apache-cassandra-3.11.6/* /cassandra/

配置Cassandra：

註意：如果您從deb或rpm包安裝了Cassandra，配置文件將位於Cassandra的/etc/cassandra目錄中。

我的是二進位安裝方法，所以配置文件在/conf裡面。

用vi或者vim打開cassandra.yaml文件。驗證以下配置。 預設情況下，這些值將設置為指定的目錄。

[root@tse3 conf]# vim cassandra.yaml 
[root@tse3 conf]# pwd
/Cassandra/conf

#存儲數據的目錄，如果未設置則預設目錄為$CASSANDRA_HOME/data/data.
data_file_directories:
     - /var/lib/cassandra/data
#提交日誌，如果未設置，則預設目錄為$CASSANDRA_HOME/data/commitlog.
commitlog_directory: /var/lib/cassandra/commitlog
#保存緩存，如果未設置，預設目錄$CASSANDRA_HOME/data/saved_caches.
saved_caches_directory: /var/lib/cassandra/saved_caches
cluster_name：集群的名稱。
seeds：用逗號分隔的群集種子IP地址列表。
storage_port註意：您不一定需要更改此設置，但請確保沒有防火牆阻止此埠。
listen_address：節點的IP地址，這是允許其他節點與此節點通信的地址，因此更改它很重要。或者，您可以設置listen_interface告訴Cassandra使用哪個介面，以及連續使用哪個地址。僅設置一個，而不要同時設置兩個。
native_transport_port：對於storage_port，請確保此埠未被防火牆阻止，因為客戶端將在此埠上與Cassandra通信。
data_file_directories：數據文件所在的一個或多個目錄。
commitlog_directory：提交日誌文件所在的目錄。
saved_caches_directory：保存的緩存所在的目錄。
hints_directory：提示所在的目錄。
出於性能原因，如果您有多個磁碟，請考慮將提交日誌和數據文件放在不同的磁碟上。

啟動Cassandra：

進入Cassandra主目錄

[root@tse3 bin]# pwd
/cassandra/bin
[root@tse3 bin]# cassandra -f -R

 

CQLSH使用連接測試：

cqlsh是用於通過CQL（Cassandra查詢語言）與Cassandra交互的命令行外殼。

它隨每個Cassandra軟體包一起提供，可以在cassandra可執行文件旁邊的bin/目錄中找到。

cqlsh利用Python本機協議驅動程式，並連接到命令行上指定的單個節點。

使用cqlsh，你可以

  • 定義模式，
  • 插入數據，
  • 執行查詢。
[root@tse3 bin]# cqlsh
Connected to Test Cluster at 127.0.0.1:9042.
[cqlsh 5.0.1 | Cassandra 3.11.6 | CQL spec 3.4.4 | Native protocol v4]
Use HELP for help.
cqlsh>

記錄的Shell命令

下麵給出了Cqlsh記錄的shell命令。這些是用於執行任務的命令，如顯示幫助主題，退出cqlsh，描述等。

  • HELP -顯示所有cqlsh命令的幫助主題。

  • CAPTURE -捕獲命令的輸出並將其添加到文件。

  • CONSISTENCY -顯示當前一致性級別，或設置新的一致性級別。

  • COPY -將數據複製到Cassandra並從Cassandra複製數據。

  • DESCRIBE -描述Cassandra及其對象的當前集群。

  • EXPAND -縱向擴展查詢的輸出。

  • EXIT -使用此命令，可以終止cqlsh。

  • PAGING -啟用或禁用查詢分頁。

  • SHOW -顯示當前cqlsh會話的詳細信息，如Cassandra版本，主機或數據類型假設。

  • SOURCE -執行包含CQL語句的文件。

  • TRACING -啟用或禁用請求跟蹤。

CQL數據定義命令

  • CREATE KEYSPACE -在Cassandra中創建KeySpace。

  • USE -連接到已創建的KeySpace。

  • ALTER KEYSPACE -更改KeySpace的屬性。

  • DROP KEYSPACE -刪除KeySpace。

  • CREATE TABLE -在KeySpace中創建表。

  • ALTER TABLE -修改表的列屬性。

  • DROP TABLE -刪除表。

  • TRUNCATE -從表中刪除所有數據。

  • CREATE INDEX -在表的單個列上定義新索引。

  • DROP INDEX -刪除命名索引。

CQL數據操作指令

  • INSERT -在表中添加行的列。

  • UPDATE -更新行的列。

  • DELETE -從表中刪除數據。

  • BATCH -一次執行多個DML語句。

CQL字句

  • SELECT -此子句從表中讀取數據

  • WHERE -where子句與select一起使用以讀取特定數據。

  • ORDERBY -orderby子句與select一起使用，以特定順序讀取特定數據。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 收藏 | 15 個你非瞭解不可的 Linux 特殊字元，媽媽再也不用擔心我看不懂這些符號了！
    不知道大家接觸 Linux 系統有多久了，可曾瞭解過 Linux 中有哪些特殊的字元呢？其實啊，那些特殊字元都大有用處呢，今天的文章就給大家簡單地科普一下 Linux 中你需要瞭解的 15 個特殊字元，想學或剛學 Linux 的小伙伴趕緊上車了為！ ~ 主目錄 這個波浪號 ~ 指的是 主目錄 ，也就 ...
  • 更新CentOS內核
    1. 查看當前kernel版本 2. 查看已安裝版本 3. 查看可升級kernel版本 4. 升級kernel版本 5. 刪除舊的內核 方法一：安裝yum utls: 設置你想要保留多少舊的內核，比如我想保留兩個: 方法二：直接刪除對應版本 6. 設置永久的內核安裝數量 設置installonly_ ...
  • 企業級自動化部署方案——ansible實現tomcat自動安裝和配置
    ==共耗時10多個小時== 思路一 總體設計 ansible playbook目錄結構 入口文件 執行與結果 實現過程問題記錄 tomcat應用程式是root用戶啟動的，root用戶啟動tomcat有一個嚴重的問題，那就是tomcat具有root許可權，這意味著你的任何一個頁面腳本(html/js)都 ...
  • mysql學習總結（一）
    作為一名小白，今天開始上傳自己的學習總結。 ...
  • Windows 下安裝多個Redis 實例
    1.在Redis 目錄下複製redis.windows-service.conf文件，建議命名規則redis.windows-service-port.conf，我們以6380埠為例。 2.打開redis.windows-service-6380配置文件。 修改埠port 修改資料庫名稱dbfi ...
  • SQL多條件模糊查詢、IN 、自定義函數筆記（一）
    在工作中遇到的一些關於Sql查詢的問題整理記錄，實現環境 SQLService 2014 一、對同一個欄位，多個關鍵詞的查詢幾種實現方式 基本語法： SELECT column_name(s) FROM table_name WHERE column_name LIKE pattern 案例表（Tb ...
  • Mysql性能優化：什麼是索引下推？
    導讀 本文章始發於本人公眾號：碼猿技術專欄，原創不易，謝謝關註推薦。 索引下推（index condition pushdown ）簡稱ICP，在Mysql5.6的版本上推出，用於優化查詢。 在不使用ICP的情況下，在使用非主鍵索引（又叫普通索引或者二級索引）進行查詢時，存儲引擎通過索引檢索到數據， ...
  • java結合email實現自動推送
    1、編寫方法獲取最新標題的最新的標題 2、使用獲取額標題進行模糊查詢，查詢出郵箱地址，標題名稱 3、使用email發送郵件 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類