Getting Started

Getting Started. 1

1. Introduction. 1

2.Quick Start-Strandalone HBase. 1

2.1 JDK版本選擇... 1

2.2 Get Started With HBase. 1

2.3 偽分散式本地安裝... 1

2.4 高級——完全分散式... 1

1. Introduction

QuickStart會介紹如何安裝和運行一個單節點，standalone Hbase實例

2.Quick Start-Strandalone HBase

這節介紹了single-node standalone HBase的安裝。Standalone實例有所有的HBase守護運行在一個JVM。也會演示如何使用hbase shell來創建表，插入數據，執行put和scan操作，enable，disable表，關閉和啟動HBase。

2.1 JDK版本選擇

HBase需要JDK，可以查看需要的JDK版本： Java

2.2 Get Started With HBase

過程：下載，配置和以standalone mode啟動HBase

1.選擇一個Mirror並且下載

2.解壓下載文件，然後cd到目錄。

3.設置JAVA_HOME環境變數。可以用傳統的方式設置，也可以使用conf/hbase-env.sh集中管理。編輯這個文件，去掉JAVA_HOME的註釋，並且設置正確的路徑。JAVA_HOME變數要被設置到包含執行文件bin/java的目錄。很多最新的Linux操作系統提供一個機制比如/usr/bin/alternatives，用來切換java版本的執行文件。在這個例子中，你可以設置JAVA_HOME到包含link的目錄，比如/usr。
                JAVA_HOME=/usr

4.編輯conf/hbase-site.xml，hbase的配置文件。這個時候需要指定一些本地路徑。用來HBase的數據寫入和Zookeeper數據寫入。預設新的目錄創建在/tmp下。很多伺服器會在重啟後會把/tmp的目錄清空。所以需要把數據放在其他地方。下麵的配置HBase的數據目錄被配置在testuser的home目錄下麵。

Standalone Hbase配置例子：

<configuration>

  <property>

    <name>hbase.rootdir</name>

    <value>file:///home/testuser/hbase</value>

  </property>

  <property>

    <name>hbase.zookeeper.property.dataDir</name>

    <value>/home/testuser/zookeeper</value>

  </property>

  <property>

    <name>hbase.unsafe.stream.capability.enforce</name>

    <value>false</value>

    <description>

      Controls whether HBase will check for stream capabilities (hflush/hsync).

      Disable this if you intend to run on LocalFileSystem, denoted by a rootdir

      with the 'file://' scheme, but be mindful of the NOTE below.

      WARNING: Setting this to false blinds you to potential data loss and

      inconsistent system state in the event of process and/or node failures. If

      HBase is complaining of an inability to use hsync or hflush it's most

      likely not a false positive.

    </description>

  </property>

</configuration>

不需要創建HBase的目錄，HBase會自己創建。如果創建了目錄HBase會進行合併。

如果已經存在的HDFS已經有了HBase的home，設置hbase.rootdir指向hdfs實例，比如：hdfs://namenode.example.org:8020/hbase。

1.bin/start-hbase.sh腳本是快速啟動hbase的方法。如果啟動正常成功啟動的信息就會被輸出。可以使用jps查看HMaster是否啟動。在standalone Hbase守護進程都運行在一個jvm上。即 HMaster，一個HregionServer，Zookeeper守護進程。可以到http://localhost:16010查看HBase Web UI。

過程：第一次使用HBase

1.連接到Hbase

使用bhase shell連接到hbase實例。

$ ./bin/hbase shell

hbase(main):001:0>

2.輸出hbase shell幫助

在命令行上輸入help回車，會顯示hbase shell的幫助。

3.創建表

使用 create命令創建新表

hbase(main):001:0> create 'test', 'cf'

0 row(s) in 0.4170 seconds

=> Hbase::Table - test

4.輸出表的信息

使用list命令確認已經存在的表

hbase(main):002:0> list 'test'

TABLE

test

1 row(s) in 0.0180 seconds

=> ["test"]

使用describe查看表的詳細信息

hbase(main):003:0> describe 'test'

Table test is ENABLED

test

COLUMN FAMILIES DESCRIPTION

{NAME => 'cf', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE =>

'false', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'f

alse', IN_MEMORY => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false', COMPRESSION => 'NONE', BLOCKCACHE => 'true', BLOCKSIZE

 => '65536'}

1 row(s)

Took 0.9998 seconds

5.put數據到表

使用put命令插入數據。

hbase(main):003:0> put 'test', 'row1', 'cf:a', 'value1'

0 row(s) in 0.0850 seconds

hbase(main):004:0> put 'test', 'row2', 'cf:b', 'value2'

0 row(s) in 0.0110 seconds

hbase(main):005:0> put 'test', 'row3', 'cf:c', 'value3'

0 row(s) in 0.0100 seconds

這裡插入了3個值，在row1中插入，列cf:a，值value1。Hbase中的列由列簇比如 cf，冒號，尾碼組成。

6.掃描表的所有數據

獲取hbase表的數據的方法就是scan。使用scan命令掃描表中的數據。可以過濾。

hbase(main):006:0> scan 'test'

ROW                                      COLUMN+CELL

 row1                                    column=cf:a, timestamp=1421762485768, value=value1

 row2                                    column=cf:b, timestamp=1421762491785, value=value2

 row3                                    column=cf:c, timestamp=1421762496210, value=value3

3 row(s) in 0.0230 seconds

7.獲取一個行的數據

hbase(main):007:0> get 'test', 'row1'

COLUMN                                   CELL

 cf:a                                    timestamp=1421762485768, value=value1

1 row(s) in 0.0350 seconds

8.disable表

如果想要刪除表或者修改表的設置，在其他情況下需要先disable表，使用disable命令。如果要重新enable使用enable命令。

hbase(main):008:0> disable 'test'

0 row(s) in 1.1820 seconds

hbase(main):009:0> enable 'test'

0 row(s) in 0.1770 seconds

9.刪除表

使用drop來刪除表

hbase(main):011:0> drop 'test'

0 row(s) in 0.1370 seconds

10.退出hbase shell

使用quit命令退出hbase shell，hbase的服務任然是運行的。

過程：關閉Hbase

1.和bin/start-hbase.sh一樣，使用bin/start-hbase.sh來關閉

$ ./bin/stop-hbase.sh

stopping hbase....................

$

2.執行命令後，過幾分鐘就會被關閉，可以使用jps查看，保證HMaster和HregionServer進程被關閉。

2.3 偽分散式本地安裝

已經安裝了standalone版本之後，可以重現配置成偽分散式，偽分散式還是在一個host下運行，但是hbase的守護進程是獨立的進程而不是在一個jvm下。預設的rootdir還是在/tmp下。也可以跳過直接存在本地文件系統下。

1.關閉已經在運行的hbase

2.配置hbase
編輯hbase-site.xml配置，首選設置hbase.cluster.distributed=true

<property>

  <name>hbase.cluster.distributed</name>

  <value>true</value>

</property>

然後修改hbase.rootdir從本地文件系統指向HDFS，使用hdfs:////比如hdfs的埠是8020.

<property>

  <name>hbase.rootdir</name>

  <value>hdfs://localhost:8020/hbase</value>

</property>

不需要在hdfs創建好目錄，hbase會創建。如果已經創建了目錄，那麼就會合併。

3.啟動hbase
使用bin/start-hbase.sh命令啟動hbase。如果系統配置的正確那麼jos命令會輸出HMaster和HRegionServer的進程。

4.檢查hbase在hdfs上的目錄
如果運行沒有問題，hbase會在hdfs創建目錄。按上面的配置會保存在/hbase下。可以使用hadoop fs命令查看。

$ ./bin/hadoop fs -ls /hbase

Found 7 items

drwxr-xr-x   - hbase users          0 2014-06-25 18:58 /hbase/.tmp

drwxr-xr-x   - hbase users          0 2014-06-25 21:49 /hbase/WALs

drwxr-xr-x   - hbase users          0 2014-06-25 18:48 /hbase/corrupt

drwxr-xr-x   - hbase users          0 2014-06-25 18:58 /hbase/data

-rw-r--r--   3 hbase users         42 2014-06-25 18:41 /hbase/hbase.id

-rw-r--r--   3 hbase users          7 2014-06-25 18:41 /hbase/hbase.version

drwxr-xr-x   - hbase users          0 2014-06-25 21:49 /hbase/oldWALs

5.創建一個表並且導入數據
可以使用hbase shell創建一個表，並且導入數據，然後從表裡面讀取數據， shell exercises

6.啟動和關閉HBase的備份。
HMaster服務控制了hbase的集群。可以啟動9個HMaster備份服務，會有一個10個HMaster,包括primary。使用local-master-backup.sh來備份HMaster。對於每個備份的master，想要啟動，需要分配埠。每個HMaster有2個埠(預設是16000和16010)。Offset是2，所以備份要使用16002和16012.如果啟動3個服務那麼會使用16002/16012,16003/16013和16005/16015。

$ ./bin/local-master-backup.sh start 2 3 5

為了kill backup master然不kill整個集群，就需要找到它的PID，然後用kill -9命令去kill。PID保存在/tmp/hbase-USER-X-master.pid。以下命令是kill offset為1的。

$ cat /tmp/hbase-testuser-1-master.pid |xargs kill -9

7.啟動和關閉額外的RegionServers
HRegionServer管理存儲文件中的數據。存儲文件由HMaster管理。通常每個node運行一個HRegionServer。一個系統上運行多個HRegionServer用來測試偽分散式模式。Local-regionservers.sh命令用來運行多個Regionservers。和local-master-backup.sh運行方式類似。每個參數提供了一個埠偏移值。每個RegionServer需要2個埠預設是16020,16030。因為HBase 1.1.0 之前HMaster不使用region server使用埠，保留了10個埠16020到16029,16030到16039用來給RegionServers使用。在運行local-regionservers.sh之前需要設置環境變數HBASE_RS_BASE_PORT 和HBASE_RS_INFO_BASE_PORT，比如16200和16300，那麼就可以支持99個額外的RegionServers。以下命令是啟動4個額外的RegionServer，從16022/16032開始啟動(在base port上增加2)。

$ .bin/local-regionservers.sh start 2 3 4 5

位了手動關閉RegionServer，使用local-regionserver.sh來關閉。

$ .bin/local-regionservers.sh stop 3

8.關閉HBase
使用bin/stop-hbase.sh來關閉hbase。

2.4 高級——完全分散式

實際情況下，需要一個完全的分散式配置在實際的場景下，來測試hbase。在分散式配置中，cluster包含很多個節點，每個節點可能運行hbase的一個或多個守護。包括主的和備份的Master實例，多個Zookeeper節點和多個RegionServer節點。

過程：配置無密碼SSH訪問

過程：準備node-a

在node-a上會運行primary master和Zookeeper進程，沒有RegionServer。根據之前的關閉node-a上的RegionServer。

1.編輯conf/regionserver，刪除localhost。增加node-b和node-c的ip地址或者主機名

如果還是想要在node-a上運行RegionServer，也使用node-a的主機名。

2.配置hbase使用node-b作為backup master。

創建一個文件在conf下叫backup-masters,並且增加node-b的hostname。

3.配置Zookeeper

在真是環境下Zookeeper配置很多。Zookeeper配置可以看 zookeeper 這個配置可以讓hbase在每個集群的node上，啟動和管理Zookeeper實例。

在node-a編輯conf/hbase-site.xml增加以下配置：

<property>

  <name>hbase.zookeeper.quorum</name>

  <value>node-a.example.com,node-b.example.com,node-c.example.com</value>

</property>

<property>

  <name>hbase.zookeeper.property.dataDir</name>

  <value>/usr/local/zookeeper</value>

</property>

4.在所有的配置中，使用node-a的主機名來替換localhost。

過程：準備node-b,node-c

Node-b會運行一個backup master和Zookeeper實例

1.下載並解壓hbase

2.把node-a的配置文件複製到node-b,node-c

每個集群中的node都有一樣的配置信息。

過程：啟動和測試集群

1.保證hbase沒有在任何節點上運行。

如果忘記停止hbase，那麼就會報錯。使用jps檢查是否還在運行主要看HMaster，HregionServer，HQuorumPeer進程。如果存在就先kill。

2.啟動集群

在node-a上，運行start-hbase.sh命令。Zookeeper會先啟動然後是master，然後是RegionServer最後是backup master。

3.驗證

在每個node 上運行jps，查看進程是否運行。

Node-a上輸出

$ jps

20355 Jps

20071 HQuorumPeer

20137 HMaster

Node-b上

$ jps

15930 HRegionServer

16194 Jps

15838 HQuorumPeer

16010 HMaster

Node-c上

$ jps

13901 Jps

13639 HQuorumPeer

13737 HRegionServer

Zookeeper進程名

HQourumPeer是Zookeeper的實例有HBase控制。如果使用這種方式的Zookeeper每個集群node都會有一個節點。如果Zookeeper在hbase之外的。可以使用QuorumPeer。更多的Zookeeper可以看zookeeper 

4.使用Web UI訪問

在hbase 0.98之後，http埠從master埠60010，RegionServer 60030修改到了16010和16030。

如果啟動正常，就可以通過Web訪問Master

5.測試服務消失會發生什麼

當上面3節點的集群配置完畢，還要看如果primary master或者RegionServer被kill之後會發生什麼。