Hbase的安裝和基本使用

来源:https://www.cnblogs.com/KeepInUp/archive/2018/11/29/10037000.html
-Advertisement-
Play Games

Hbase介紹 HBase 是一個 "開源" 的 "非關係型" "分散式資料庫" （NoSQL），它參考了 "谷歌" 的 "BigTable" 建模，實現的編程語言為 "Java" 。它是 "Apache軟體基金會" 的 "Hadoop" 項目的一部分，運行於 "HDFS" 文件系統之上，為 "Ha ...


Hbase介紹

HBase是一個開源的非關係型分散式資料庫（NoSQL），它參考了谷歌的BigTable建模，實現的編程語言為 Java。它是Apache軟體基金會的Hadoop項目的一部分，運行於HDFS文件系統之上，為 Hadoop 提供類似於BigTable 規模的服務。因此，它可以容錯地存儲海量稀疏的數據。

Hbase安裝

安裝環境

三台虛擬機：master、slave1、slave2，
已經安裝好Hadoop環境和zookeeper

下載Hbase安裝包，根據你自己的需求下載對應的安裝包

wget http://archive.apache.org/dist/hbase/0.98.24/hbase-0.98.24-hadoop2-bin.tar.gz

也可以直接去鏡像網站下載，地址：http://archive.apache.org/dist/
下載好後，解壓安裝包

tar -zxvf hbase-0.98.24-hadoop2-bin.tar.gz

添加Hbase的環境變數

//打開~/.bashrc文件
vim ~/.bashrc
//然後在裡邊追加兩行
export HBASE_HOME=/usr/local/src/hbase-0.98.24-hadoop2
export PATH=$PATH:$HBASE_HOME/bin
//然後保存退出，source一下
source ~/.bashrc

配置Hbase
打開Hbase目錄下conf/hbase-env.sh（如果沒有新建一個）

vim conf/hbase-env.sh
//添加下邊兩個配置
export JAVA_HOME=/usr/local/src/jdk1.8.0_171  //java home
export HBASE_MANAGES_ZK=false  //是否使用自帶的zookeeper，自己有安裝的話就用自己的，沒有就用自帶的

配置hbase-site.xml文件

vim conf/hbase-site.xml
//添加如下配置
<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://master:9000/hbase</value>
        </property>
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>master,slave1,slave2</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
</configuration>

修改regionservers文件

vim conf/regionservers
//添加需要安裝regionserver的機器節點
slave1
slave2

到這裡Hbase簡單的環境就搭建好了

Hbase的啟動

啟動Hbase需要首先啟動Hadoop和zookeeper

啟動Hadoop

master機器節點

//進入到Hadoop目錄的sbin下
./start-all.sh

查看Hadoop是不是啟動成功
master機器節點，jps查看進程看到圖中進程說明成功啟動
image.png
slave機器節點，jps查看
image.png

Zookeeper啟動

master和slave節點都執行，進入zookeeper安裝目錄bin目錄下

zkServer.sh start

然後jps查看進程，能看到QuorumPeerMain說明Zookeeper啟動成功
image.png
image.png

啟動Hbase

在Hadoop和Zookeeper都啟動之後就可以啟動Hbase了，進入Hbase的安裝目錄的bin目錄下

./start-hbase.sh

jps查看進程，在master能看到Hmaster進程，在slave節點能看到HRegionServer進程，說明Hbase啟動成功

image.png
也可以通過網址來檢查，http://master:60010/master-status

Hbase簡單的shell命令操作

進入shell命令模式，在bin目錄下執行

./hbase shell
hbase(main):001:0>
  • 查看當前所有表
hbase(main):003:0> list
TABLE                                                                                                                       
0 row(s) in 0.1510 seconds

=> []
  • 創建表
hbase(main):006:0> create 'test_table' , 'mate_data', 'action'
0 row(s) in 2.4390 seconds

=> Hbase::Table - test_table
  • 查看表詳情
hbase(main):009:0> desc 'test_table'
Table test_table is ENABLED                                                                                                 
test_table                                                                                                                  
COLUMN FAMILIES DESCRIPTION                                                                                                 
{NAME => 'action', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_EN
CODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', 
REPLICATION_SCOPE => '0'}                                                                                                   
{NAME => 'mate_data', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK
_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536
', REPLICATION_SCOPE => '0'}                                                                                                
2 row(s) in 0.0520 seconds
  • 增加列簇
hbase(main):010:0> alter 'test_table', {NAME => 'new', VERSIONS => '2', IN_MEMORY => 'true'}
Updating all regions with the new schema...
0/1 regions updated.
1/1 regions updated.
Done.
0 row(s) in 2.2790 seconds


hbase(main):011:0> desc 'test_table'
Table test_table is ENABLED                                                                                                 
test_table                                                                                                                  
COLUMN FAMILIES DESCRIPTION                                                                                                 
{NAME => 'action', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_EN
CODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', 
REPLICATION_SCOPE => '0'}                                                                                                   
{NAME => 'mate_data', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK
_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536
', REPLICATION_SCOPE => '0'}                                                                                                
{NAME => 'new', BLOOMFILTER => 'ROW', VERSIONS => '2', IN_MEMORY => 'true', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODI
NG => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPL
ICATION_SCOPE => '0'}                                                                                                       
3 row(s) in 0.0570 seconds
  • 刪除列簇
hbase(main):013:0> alter 'test_table', {NAME => 'new', METHOD => 'delete'}
Updating all regions with the new schema...
0/1 regions updated.
1/1 regions updated.
Done.
0 row(s) in 2.2390 seconds

hbase(main):014:0> desc 'test_table'
Table test_table is ENABLED                                                                                                 
test_table                                                                                                                  
COLUMN FAMILIES DESCRIPTION                                                                                                 
{NAME => 'action', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_EN
CODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', 
REPLICATION_SCOPE => '0'}                                                                                                   
{NAME => 'mate_data', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK
_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536
', REPLICATION_SCOPE => '0'}                                                                                                
2 row(s) in 0.0430 seconds
  • 刪除表
//首先disable
hbase(main):016:0> disable 'test_table'
0 row(s) in 1.2980 seconds
//然後再刪除
hbase(main):017:0> drop 'test_table'
0 row(s) in 0.2020 seconds
//查看是否刪除
hbase(main):018:0> list
TABLE                                                                                                                       
0 row(s) in 0.0070 seconds

=> []
  • 往表裡寫數據並查看
hbase(main):021:0> put 'test_table', '1001', 'mate_data:name', 'zhangsan'
0 row(s) in 0.1400 seconds

hbase(main):022:0> put 'test_table', '1002', 'mate_data:name', 'lisi'
0 row(s) in 0.0110 seconds

hbase(main):023:0> put 'test_table', '1001', 'mate_data:gender', 'woman'
0 row(s) in 0.0170 seconds

hbase(main):024:0> put 'test_table', '1002', 'mate_data:age', '25'
0 row(s) in 0.0140 seconds

hbase(main):025:0> scan 'test_table'
ROW                              COLUMN+CELL                                                                                
 1001                            column=mate_data:gender, timestamp=1540034584363, value=woman                              
 1001                            column=mate_data:name, timestamp=1540034497293, value=zhangsan                             
 1002                            column=mate_data:age, timestamp=1540034603800, value=25                                    
 1002                            column=mate_data:name, timestamp=1540034519659, value=lisi                                 
2 row(s) in 0.0410 seconds
  • 讀取數據
hbase(main):026:0> get 'test_table', '1001'
COLUMN                           CELL                                                                                       
 mate_data:gender                timestamp=1540034584363, value=woman                                                       
 mate_data:name                  timestamp=1540034497293, value=zhangsan                                                    
2 row(s) in 0.0340 seconds

hbase(main):027:0> get 'test_table', '1001', 'mate_data:name'
COLUMN                           CELL                                                                                       
 mate_data:name                  timestamp=1540034497293, value=zhangsan                                                    
1 row(s) in 0.0320 seconds
  • 查看行數
hbase(main):028:0> count 'test_table'
2 row(s) in 0.0390 seconds

=> 2
  • 清空表數據
hbase(main):029:0> truncate 'test_table'
Truncating 'test_table' table (it may take a while):
 - Disabling table...
 - Truncating table...
0 row(s) in 1.5220 seconds

通過Python腳本來操作Hbase

不能通過Python腳本來直接操作Hbase，必須要藉助thrift服務作為中間層，所以需要兩個Python模塊：hbase模塊和thrift模塊，和安裝thrift來實現Python對Hbase的操作

安裝thrift並獲得thrift模塊

  • 下載安裝thrift
wget http://archive.apache.org/dist/thrift/0.11.0/thrift-0.11.0.tar.gz
tar -zxvf thrift-0.11.0.tar.gz
cd thrift-0.11.0/
./configure
make
make install
cd lib/py/build/lib.linux-x86_64-2.7

然後就能看到thrift模塊

獲得hbase模塊

  • 下載Hbase源碼包
wget http://archive.apache.org/dist/hbase/0.98.24/hbase-0.98.24-src.tar.gz
tar -zxvf hbase-0.98.24-src.tar.gz
  • 產生hbase模塊
//進入該目錄
cd /usr/local/src/hbase-0.98.24/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift
//執行如下命令，產生gen-py目錄
thrift --gen py Hbase.thrift
//進入該目錄就能得到生成的hbase模塊
cd gen-py

使用Python寫數據

  • 創建表
from thrift.transport import TSocket
from thrift.protocol import TBinaryProtocol

from hbase import Hbase
from hbase.ttypes import *

transport = TSocket.TSocket('master', 9090)
transport = TTransport.TBufferedTransport(transport)

protocol = TBinaryProtocol.TBinaryProtocol(transport)

client = Hbase.Client(protocol)

transport.open()

base_info_contents = ColumnDescriptor(name='columnName1', maxVersions=1)
other_info_contents = ColumnDescriptor(name='columnName2', maxVersions=1)

client.createTable('tableName', [base_info_contents,other_info_contents])
  • 插入數據
from thrift.transport import TSocket
from thrift.protocol import TBinaryProtocol

from hbase import Hbase
from hbase.ttypes import *

transport = TSocket.TSocket('master', 9090)
transport = TTransport.TBufferedTransport(transport)

protocol = TBinaryProtocol.TBinaryProtocol(transport)

client = Hbase.Client(protocol)

transport.open()

table_name = 'tableName'
rowKey = 'rowKeyName'
mutations = [Mutation(column="columnName:columnPro", value="valueName")]
client.mutateRow(table_name,rowKey,mutations,None)
  • 查看數據
from thrift.transport import TSocket
from thrift.protocol import TBinaryProtocol

from hbase import Hbase
from hbase.ttypes import *

transport = TSocket.TSocket('master', 9090)
transport = TTransport.TBufferedTransport(transport)

protocol = TBinaryProtocol.TBinaryProtocol(transport)

client = Hbase.Client(protocol)

transport.open()

table_name = 'tableName'
rowKey = 'rowKeyName'

result = client.getRow(table_name,rowKey,None)

for l in result:
    print "the row is "+ l.row
    for k,v in l.columns.items():
        print '\t'.join([k,v.value])
from thrift.transport import TSocket
from thrift.protocol import TBinaryProtocol

from hbase import Hbase
from hbase.ttypes import *

transport = TSocket.TSocket('master', 9090)
transport = TTransport.TBufferedTransport(transport)

protocol = TBinaryProtocol.TBinaryProtocol(transport)

client = Hbase.Client(protocol)

transport.open()

table_name = 'tableName'

scan = TScan()

id = client.scannerOpenWithScan(table_name,scan,None)
result = client.scannerGetList(id,10)

for l in result:
    print "========="
    print "the row is "+ l.row
    for k,v in l.columns.items():
        print '\t'.join([k,v.value])

歡迎關註公眾號

掃碼.png


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • MongoDB 集合（Collection）對應的物理文件
    dbpath下是清一色的collection-n-***與index-n-***開頭的物理文件，如何知道某一個集合與其對應與其對應的物理文件？ db.collection_name.stats() 返回的結果包含集合數據對應的物理文件 db.collection_name.stats({indexD ...
  • MongoDB 3.6版本關於bind_ip設置
    2017年下半年新發佈的MongoDB 3.6版本在安全性上做了很大提升，主要歸結為兩點： 1.將將bind_ip 預設值修改為了localhost； 2. 在db.createUser()和 db.updateUser()中添加了authenticationRestrictions 參數，可以用來 ...
  • oracle 11G dataguard 恢復
    檢查主備機的sys 密碼是否一致，忘記密碼可以修改，同步 。alter user sys identified by xxx； orapwd file=oraxxx.ora password=admin entries=40force=y; 檢查靜態tnsnames.ora 和listener.or... ...
  • MongoDB的聚合操作以及與Python的交互
    上一篇主要介紹了MongoDB的基本操作，包括創建、插入、保存、更新和查詢等，鏈接為 "MongoDB基本操作" 。 在本文中主要介紹MongoDB的聚合以及與Python的交互。 MongoDB聚合 什麼是聚合 MongoDB中聚合(aggregate)主要用於處理數據(諸如統計平均值,求和等)， ...
  • 【轉】mysql保存圖片技術決定：保存二進位文件還是只保存圖片相對路徑，圖片放在硬碟上面?
    最近遇到上面這個問題，一開始我就果斷否決了資料庫保存圖片的策略，主要是太蠢!事實上我的決定是正確的，我僅僅理解為mysql讀寫性能提高的境界，具體為什麼可以提高？很模糊，知道我看到了這裡: 大佬做的實驗:https://www.oschina.net/translate/repeat-after-m ...
  • 高併發面試必問：分散式消息系統Kafka簡介
    轉載：https://blog.csdn.net/caisini_vc/article/details/48007297 Kafka是分散式發佈-訂閱消息系統。它最初由LinkedIn公司開發，之後成為Apache項目的一部分。Kafka是一個分散式的，可劃分的，冗餘備份的持久性的日誌服務。它主要用 ...
  • impdp導入表不創建segments
    一、文檔說明 二、操作記錄 --第一次導入操作failed --失敗原因，導入表創建語法DDL失敗，原因 1.導入環境為XE學習環境，資料庫容量最大11g，如果空間足夠，不會報錯 2.導入建表語法，dump文件小於200M，導入建表語句還未插入數據，已占用11G存儲，由於表的STORAGE(INIT ...
  • hive函數篇一
    hive 查看函數： show functions; desc functions 函數名 1. 時間函數 1.1 時間戳函數--日期轉時間戳：從1970-01-01 00:00:00 UTC到指定時間的秒數select unix_timestamp(); --獲得當前時區的UNIX時間戳selec ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類