# 導入Maven依賴 ```XML org.apache.zookeeper zookeeper 3.4.6 org.apache.hbase hbase-client 2.2.5 org.apache.hadoop hadoop-client 3.2.1 org.apache.hadoop ha ...
導入Maven依賴
<dependencies>
<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>3.4.6</version>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>2.2.5</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.2.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>3.2.1</version>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-server</artifactId>
<version>2.2.5</version>
</dependency>
<!-- 使用mr程式操作hbase 數據的導入 -->
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-mapreduce</artifactId>
<version>2.2.5</version>
</dependency>
<dependency>
<groupId>com.google.code.gson</groupId>
<artifactId>gson</artifactId>
<version>2.8.5</version>
</dependency>
<!-- phoenix 鳳凰 用來整合Hbase的工具 -->
<dependency>
<groupId>org.apache.phoenix</groupId>
<artifactId>phoenix-core</artifactId>
<version>5.0.0-HBase-2.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-auth</artifactId>
<version>3.1.2</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.5.1</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-assembly-plugin</artifactId>
<version>2.6</version>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<!-- bind to the packaging phase -->
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
獲取hbase的連接,list出所有的表
package com.doit.day01;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import java.io.IOException;
/**
* Hbase的java客戶端連接hbase的時候,只需要連接zookeeper的集群
* 就可以找到你Hbase集群的位置
* 核心的對象:
* Configuration:HbaseConfiguration.create();
* Connection:ConnectionFactory.createConnection(conf);
* table:conn.getTable(TableName.valueOf("tb_b")); 對錶進行操作 DML
* Admin:conn.getAdmin();操作Hbase系統DDL,對名稱空間等進行操作
*/
public class ConnectionDemo {
public static void main(String[] args) throws Exception {
//獲取到hbase的配置文件對象
Configuration conf = HBaseConfiguration.create();
//針對配置文件設置zk的集群地址
conf.set("hbase.zookeeper.quorum","linux01:2181,linux02:2181,linux03:2181");
//創建hbase的連接對象
Connection conn = ConnectionFactory.createConnection(conf);
//獲取到操作hbase的對象
Admin admin = conn.getAdmin();
//調用api獲取到所有的表
TableName[] tableNames = admin.listTableNames();
//獲取到哪個命名空間下的所有的表
TableName[] doits = admin.listTableNamesByNamespace("doit");
for (TableName tableName : doits) {
byte[] name = tableName.getName();
System.out.println(new String(name));
}
conn.close();
}
}
獲取到所有的命名空間
package com.doit.day01;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.NamespaceDescriptor;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
/**
* Hbase的java客戶端連接hbase的時候,只需要連接zookeeper的集群
* 就可以找到你Hbase集群的位置
* 核心的對象:
* Configuration:HbaseConfiguration.create();
* Connection:ConnectionFactory.createConnection(conf);
* Admin:conn.getAdmin();操作Hbase系統DDL,對名稱空間等進行操作
*/
public class NameSpaceDemo {
public static void main(String[] args) throws Exception {
//獲取到hbase的配置文件對象
Configuration conf = HBaseConfiguration.create();
//針對配置文件設置zk的集群地址
conf.set("hbase.zookeeper.quorum","linux01:2181,linux02:2181,linux03:2181");
//創建hbase的連接對象
Connection conn = ConnectionFactory.createConnection(conf);
//獲取到操作hbase的對象
Admin admin = conn.getAdmin();
//獲取到命名空間的描述器
NamespaceDescriptor[] namespaceDescriptors = admin.listNamespaceDescriptors();
for (NamespaceDescriptor namespaceDescriptor : namespaceDescriptors) {
//針對描述器獲取到命名空間的名稱
String name = namespaceDescriptor.getName();
System.out.println(name);
}
conn.close();
}
}
創建一個命名空間
package com.doit.day01;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.NamespaceDescriptor;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.protobuf.generated.HBaseProtos;
import java.util.Properties;
/**
* Hbase的java客戶端連接hbase的時候,只需要連接zookeeper的集群
* 就可以找到你Hbase集群的位置
* 核心的對象:
* Configuration:HbaseConfiguration.create();
* Connection:ConnectionFactory.createConnection(conf);
* Admin:conn.getAdmin();操作Hbase系統DDL,對名稱空間等進行操作
*/
public class CreateNameSpaceDemo {
public static void main(String[] args) throws Exception {
//獲取到hbase的配置文件對象
Configuration conf = HBaseConfiguration.create();
//針對配置文件設置zk的集群地址
conf.set("hbase.zookeeper.quorum","linux01:2181,linux02:2181,linux03:2181");
//創建hbase的連接對象
Connection conn = ConnectionFactory.createConnection(conf);
//獲取到操作hbase的對象
Admin admin = conn.getAdmin();
//獲取到命名空間描述器的構建器
NamespaceDescriptor.Builder spaceFromJava = NamespaceDescriptor.create("spaceFromJava");
//當然還可以給命名空間設置屬性
spaceFromJava.addConfiguration("author","robot_jiang");
spaceFromJava.addConfiguration("desc","this is my first java namespace...");
//拿著構建器構建命名空間的描述器
NamespaceDescriptor build = spaceFromJava.build();
//創建命名空間
admin.createNamespace(build);
conn.close();
}
}
創建帶有多列族的表
package com.doit.day01;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.NamespaceDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.protobuf.generated.TableProtos;
import java.nio.charset.StandardCharsets;
import java.util.ArrayList;
import java.util.Map;
import java.util.Set;
/**
* Hbase的java客戶端連接hbase的時候,只需要連接zookeeper的集群
* 就可以找到你Hbase集群的位置
* 核心的對象:
* Configuration:HbaseConfiguration.create();
* Connection:ConnectionFactory.createConnection(conf);
* Admin:conn.getAdmin();操作Hbase系統DDL,對名稱空間等進行操作
*/
public class CreateTableDemo {
public static void main(String[] args) throws Exception {
//獲取到hbase的配置文件對象
Configuration conf = HBaseConfiguration.create();
//針對配置文件設置zk的集群地址
conf.set("hbase.zookeeper.quorum","linux01:2181,linux02:2181,linux03:2181");
//創建hbase的連接對象
Connection conn = ConnectionFactory.createConnection(conf);
Admin admin = conn.getAdmin();
//獲取到操作hbase操作表的對象
TableDescriptorBuilder java = TableDescriptorBuilder.newBuilder(TableName.valueOf("java"));
//表添加列族需要集合的方式
ArrayList<ColumnFamilyDescriptor> list = new ArrayList<>();
//構建一個列族的構造器
ColumnFamilyDescriptorBuilder col1 = ColumnFamilyDescriptorBuilder.newBuilder("f1".getBytes(StandardCharsets.UTF_8));
ColumnFamilyDescriptorBuilder col2 = ColumnFamilyDescriptorBuilder.newBuilder("f2".getBytes(StandardCharsets.UTF_8));
ColumnFamilyDescriptorBuilder col3 = ColumnFamilyDescriptorBuilder.newBuilder("f3".getBytes(StandardCharsets.UTF_8));
//構建列族
ColumnFamilyDescriptor build1 = col1.build();
ColumnFamilyDescriptor build2 = col2.build();
ColumnFamilyDescriptor build3 = col3.build();
//將列族添加到集合中去
list.add(build1);
list.add(build2);
list.add(build3);
//給表設置列族
java.setColumnFamilies(list);
//構建表的描述器
TableDescriptor build = java.build();
//創建表
admin.createTable(build);
conn.close();
}
}
向表中添加數據
package com.doit.day01;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import java.nio.charset.StandardCharsets;
import java.util.ArrayList;
import java.util.Arrays;
/**
* 註意:put數據需要指定往哪個命名空間的哪個表的哪個rowKey的哪個列族的哪個列中put數據,put的值是什麼
*/
public class PutDataDemo {
public static void main(String[] args) throws Exception {
//獲取到hbase的配置文件對象
Configuration conf = HBaseConfiguration.create();
//針對配置文件設置zk的集群地址
conf.set("hbase.zookeeper.quorum","linux01:2181,linux02:2181,linux03:2181");
//創建hbase的連接對象
Connection conn = ConnectionFactory.createConnection(conf);
Admin admin = conn.getAdmin();
//指定往哪一張表中put數據
Table java = conn.getTable(TableName.valueOf("java"));
//創建put對象,設置rowKey
Put put = new Put("rowkey_001".getBytes(StandardCharsets.UTF_8));
put.addColumn("f1".getBytes(StandardCharsets.UTF_8),"name".getBytes(StandardCharsets.UTF_8),"xiaotao".getBytes(StandardCharsets.UTF_8));
put.addColumn("f1".getBytes(StandardCharsets.UTF_8),"age".getBytes(StandardCharsets.UTF_8),"42".getBytes(StandardCharsets.UTF_8));
Put put1 = new Put("rowkey_002".getBytes(StandardCharsets.UTF_8));
put1.addColumn("f1".getBytes(StandardCharsets.UTF_8),"name".getBytes(StandardCharsets.UTF_8),"xiaotao".getBytes(StandardCharsets.UTF_8));
put1.addColumn("f1".getBytes(StandardCharsets.UTF_8),"age".getBytes(StandardCharsets.UTF_8),"42".getBytes(StandardCharsets.UTF_8));
Put put2 = new Put("rowkey_003".getBytes(StandardCharsets.UTF_8));
put2.addColumn("f1".getBytes(StandardCharsets.UTF_8),"name".getBytes(StandardCharsets.UTF_8),"xiaotao".getBytes(StandardCharsets.UTF_8));
put2.addColumn("f1".getBytes(StandardCharsets.UTF_8),"age".getBytes(StandardCharsets.UTF_8),"42".getBytes(StandardCharsets.UTF_8));
java.put(Arrays.asList(put,put1,put2));
conn.close();
}
}
get表中的數據
package com.doit.day01;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import java.nio.charset.StandardCharsets;
/**
* 註意:put數據需要指定往哪個命名空間的哪個表的哪個rowKey的哪個列族的哪個列中put數據,put的值是什麼
*/
public class GetDataDemo {
public static void main(String[] args) throws Exception {
//獲取到hbase的配置文件對象
Configuration conf = HBaseConfiguration.create();
//針對配置文件設置zk的集群地址
conf.set("hbase.zookeeper.quorum","linux01:2181,linux02:2181,linux03:2181");
//創建hbase的連接對象
Connection conn = ConnectionFactory.createConnection(conf);
//指定往哪一張表中put數據
Table java = conn.getTable(TableName.valueOf("java"));
Get get = new Get("rowkey_001".getBytes(StandardCharsets.UTF_8));
// get.addFamily("f1".getBytes(StandardCharsets.UTF_8));
get.addColumn("f1".getBytes(StandardCharsets.UTF_8),"name".getBytes(StandardCharsets.UTF_8));
Result result = java.get(get);
boolean advance = result.advance();
if(advance){
Cell current = result.current();
String family = new String(CellUtil.cloneFamily(current));
String qualifier = new String(CellUtil.cloneQualifier(current));
String row = new String(CellUtil.cloneRow(current));
String value = new String(CellUtil.cloneValue(current));
System.out.println(row+","+family+","+qualifier+","+value);
}
conn.close();
}
}
scan表中的數據
package com.doit.day01;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import java.nio.charset.StandardCharsets;
import java.util.Arrays;
import java.util.Iterator;
/**
* 註意:put數據需要指定往哪個命名空間的哪個表的哪個rowKey的哪個列族的哪個列中put數據,put的值是什麼
*/
public class ScanDataDemo {
public static void main(String[] args) throws Exception {
//獲取到hbase的配置文件對象
Configuration conf = HBaseConfiguration.create();
//針對配置文件設置zk的集群地址
conf.set("hbase.zookeeper.quorum","linux01:2181,linux02:2181,linux03:2181");
//創建hbase的連接對象
Connection conn = ConnectionFactory.createConnection(conf);
//指定往哪一張表中put數據
Table java = conn.getTable(TableName.valueOf("java"));
Scan scan = new Scan();
scan.withStartRow("rowkey_001".getBytes(StandardCharsets.UTF_8));
scan.withStopRow("rowkey_004".getBytes(StandardCharsets.UTF_8));
ResultScanner scanner = java.getScanner(scan);
Iterator<Result> iterator = scanner.iterator();
while (iterator.hasNext()){
Result next = iterator.next();
while (next.advance()){
Cell current = next.current();
String family = new String(CellUtil.cloneFamily(current));
String row = new String(CellUtil.cloneRow(current));
String qualifier = new String(CellUtil.cloneQualifier(current));
String value = new String(CellUtil.cloneValue(current));
System.out.println(row+","+family+","+qualifier+","+value);
}
}
conn.close();
}
}
刪除一行數據
package com.doit.day02;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
public class _12_刪除一行數據 {
public static void main(String[] args) throws IOException {
Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum","linux01");
Connection conn = ConnectionFactory.createConnection(conf);
Table java = conn.getTable(TableName.valueOf("java"));
Delete delete = new Delete("rowkey_001".getBytes(StandardCharsets.UTF_8));
java.delete(delete);
}
}
數據存儲
行式存儲
傳統的行式資料庫將一個個完整的數據行存儲在數據頁中
列式存儲
列式資料庫是將同一個數據列的各個值存放在一起
傳統行式資料庫的特性如下:
- 數據是按行存儲的。
- 沒有索引的查詢使用大量I/O。比如一般的資料庫表都會建立索引,通過索引加快查詢效率。
- 建立索引和物化視圖需要花費大量的時間和資源。
- 面對查詢需求,資料庫必須被大量膨脹才能滿足需求。
列式資料庫的特性如下:
- 數據按列存儲,即每一列單獨存放。
- 數據即索引。
- 只訪問查詢涉及的列,可以大量降低系統I/O。
- 每一列由一個線程來處理,即查詢的併發處理性能高。
- 數據類型一致,數據特征相似,可以高效壓縮。比如有增量壓縮、首碼壓縮演算法都是基於列存儲的類型定製的,所以可以大幅度提高壓縮比,有利於存儲和網路輸出數據帶寬的消耗。
列族式存儲
列族式存儲是一種非關係型資料庫存儲方式,按列而非行組織數據。它的數據模型是面向列的,即把數據按照列族的方式組織,將屬於同一列族的數據存儲在一起。每個列族都有一個唯一的標識符,一般通過列族名稱來表示。它具有高效的寫入和查詢性能,能夠支持極大規模的數據
- 如果一個表有多個列族, 每個列族下只有一列, 那麼就等同於列式存儲。
- 如果一個表只有一個列族, 該列族下有多個列, 那麼就等同於行式存儲.
hbase的存儲路徑:
在conf目錄下的hbase-site.xml文件中配置了數據存儲的路徑在hdfs上
<property>
<name>hbase.rootdir</name>
<value>hdfs://linux01:8020/hbase</value>
</property>
hdfs上的存儲路徑: