大數據學習系列之三 ----- HBase Java Api 圖文詳解

来源:http://www.cnblogs.com/xuwujing/archive/2017/12/14/8039175.html
-Advertisement-
Play Games

引言 在上一篇中 "大數據學習系列之二 HBase環境搭建(單機)" 中，成功搭建了Hadoop+HBase的環境，本文則主要講述使用Java 對HBase的一些操作。 一、事前準備 1.確認hadoop和hbase成功啟動 2.確認防火牆是否關閉 3.maven所需要的依賴架包 4.修改hosts ...


引言

在上一篇中大數據學習系列之二 ----- HBase環境搭建(單機) 中，成功搭建了Hadoop+HBase的環境，本文則主要講述使用Java 對HBase的一些操作。

一、事前準備

1.確認hadoop和hbase成功啟動

這裡寫圖片描述

2.確認防火牆是否關閉

3.maven所需要的依賴架包

<!--hadoop 相關架包 -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-yarn-common</artifactId>
            <version>2.8.2</version>
        </dependency>

<!--HBase相關jar -->
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-hadoop-compat</artifactId>
            <version>1.3.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>1.1.2</version>
        </dependency>
<dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.1.2</version>
        </dependency>
<dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-common</artifactId>
            <version>1.1.2</version>
        </dependency>

4.修改hosts文件（可選）

修改Windows C:\Windows\System32\drivers\etc 目錄下的hosts文件，添加hbase的主機ip和主機名做關係映射。

192.168.238.128 master

註:如果不使用映射，那麼將代碼中的主機名改成IP即可。

5.HBase的原理

這篇文章介紹得很詳細:
http://blog.csdn.net/woshiwanxin102213/article/details/17584043

二、測試示例

1.創建表

創建兩張表 t_student、t_student_info 這兩張表，並添加兩個列族
創建成功之後可以在 hbase shell和16010界面中看到。這裡寫圖片描述

這裡寫圖片描述

這裡寫圖片描述

2.添加數據

成功創建表之後，在這兩張表中插入數據。
因為HBase是動態資料庫，所以列是可以新增的。
HBase的新增和修改是一個方法，數據相同的，後來的數據會將前面的覆蓋掉！
這裡寫圖片描述

這裡寫圖片描述

3.查詢數據

分別根據表名、行健、列族、列來查詢
這裡寫圖片描述

4.刪除數據

刪除其中的一條數據
這裡寫圖片描述

三、代碼示例

工具類

import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes;

import com.alibaba.fastjson.JSONObject;

/**
 * 
 * Title: HBaseUtil
 * Description: HBase工具類 
 * Version:1.0.0
 * @author pancm
 * @date 2017年12月6日
 */
public class HBaseUtil {
    /** hadoop 連接 */
    private static Configuration conf = null;
    /** hbase 連接 */
    private static Connection con = null;
    /** 會話 */
    private static Admin admin = null;

    private static String ip ="master";
    private static String port ="2181";
    private static String port1 ="9001";
       
   // 初始化連接
   static {
       // 獲得配製文件對象
       conf = HBaseConfiguration.create(); 
       // 設置配置參數
        conf.set("hbase.zookeeper.quorum", ip);
        conf.set("hbase.zookeeper.property.clientPort", port);  
        //如果hbase是集群，這個必須加上 
        //這個ip和埠是在hadoop/mapred-site.xml配置文件配置的
        conf.set("hbase.master", ip+":"+port1); 
   }
        

    /**
     * 獲取連接
     * 
     * @return
     */
    public synchronized static Connection getConnection() {
        try {
            if (null == con || con.isClosed()) {
                // 獲得連接對象
                con = ConnectionFactory.createConnection(conf);
            }
        } catch (IOException e) {
            System.out.println("獲取連接失敗!");
            e.printStackTrace();
        }

        return con;
    }

    /**
     * 連接關閉
     */
    public static void close() {
        try {
            if (admin != null) {
                admin.close();
            }
            if (con != null) {
                con.close();
            }
        } catch (IOException e) {
            System.out.println("連接關閉失敗！");
            e.printStackTrace();
        }
    }

    /**
     * 創建表
     * 
     * @param tableName
     *            表名
     * @param columnFamily
     *            列族
     */
    public static void creatTable(String tableName, String[] columnFamily) {
        if(null==tableName||tableName.length()==0){
            return;
        }
        if(null==columnFamily||columnFamily.length==0){
            return;
        }
        // 創建表名對象
        TableName tn = TableName.valueOf(tableName);
        // a.判斷資料庫是否存在
        try {
            // 獲取會話
            admin = getConnection().getAdmin();
            if (admin.tableExists(tn)) {
                System.out.println(tableName + " 表存在，刪除表....");
                // 先使表設置為不可編輯
                admin.disableTable(tn);
                // 刪除表
                admin.deleteTable(tn);
                System.out.println("表刪除成功.....");
            }
            // 創建表結構對象
            HTableDescriptor htd = new HTableDescriptor(tn);
            for (String str : columnFamily) {
                // 創建列族結構對象
                HColumnDescriptor hcd = new HColumnDescriptor(str);
                htd.addFamily(hcd);
            }
            // 創建表
            admin.createTable(htd);
            System.out.println(tableName + " 表創建成功！");
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            close();
        }
    }

    /**
     * 數據單條插入或更新
     * 
     * @param tableName
     *            表名
     * @param rowKey
     *            行健 (主鍵)
     * @param family
     *            列族
     * @param qualifier
     *            列
     * @param value
     *            存入的值
     * @return
     */
    public static void insert(String tableName, String rowKey, String family,
            String qualifier, String value) {
        Table t = null;
        try {
            t = getConnection().getTable(TableName.valueOf(tableName));
            Put put = new Put(Bytes.toBytes(rowKey));
            put.addColumn(Bytes.toBytes(family), Bytes.toBytes(qualifier),
                    Bytes.toBytes(value));
            t.put(put);
            System.out.println(tableName + " 更新成功!");
        } catch (IOException e) {
            System.out.println(tableName + " 更新失敗!");
            e.printStackTrace();
        } finally {
            close();
        }
    }

    /**
     * 數據批量插入或更新
     * 
     * @param tableName
     *            表名
     * @param list
     *            hbase的數據 
     * @return
     */
    public static void insertBatch(String tableName, List<?> list) {
        if (null == tableName ||tableName.length()==0) {
            return;
        }
        if( null == list || list.size() == 0){
            return;
        }
        Table t = null;
        Put put = null;
        JSONObject json = null;
        List<Put> puts = new ArrayList<Put>();
        try {
            t = getConnection().getTable(TableName.valueOf(tableName));
            for (int i = 0, j = list.size(); i < j; i++) {
                json = (JSONObject) list.get(i);
                put = new Put(Bytes.toBytes(json.getString("rowKey")));
                put.addColumn(Bytes.toBytes(json.getString("family")),
                        Bytes.toBytes(json.getString("qualifier")),
                        Bytes.toBytes(json.getString("value")));
                puts.add(put);
            }
            t.put(puts);
            System.out.println(tableName + " 更新成功!");
        } catch (IOException e) {
            System.out.println(tableName + " 更新失敗!");
            e.printStackTrace();
        } finally {
            close();
        }
    }
    
    /**
     * 數據刪除 
     * @param tableName 表名
     * @param rowKey    行健
     * @return
     */
    public static void delete(String tableName, String rowKey) {
        delete(tableName,rowKey,"","");
    }
    
    /**
     * 數據刪除 
     * @param tableName 表名
     * @param rowKey    行健
     * @param family    列族
     * @return
     */
    public static void delete(String tableName, String rowKey, String family) {
        delete(tableName,rowKey,family,"");
    }
    
    /**
     * 數據刪除 
     * @param tableName 表名
     * @param rowKey    行健
     * @param family    列族
     * @param qualifier 列
     * @return
     */
    public static void delete(String tableName, String rowKey, String family,
            String qualifier) {
        if (null == tableName ||tableName.length()==0) {
            return;
        }
        if( null == rowKey || rowKey.length() == 0){
            return;
        }
        Table t = null;
        try {
            t = getConnection().getTable(TableName.valueOf(tableName));
            Delete del = new Delete(Bytes.toBytes(rowKey));
            // 如果列族不為空
            if (null != family && family.length() > 0) {
                // 如果列不為空
                if (null != qualifier && qualifier.length() > 0) {
                    del.addColumn(Bytes.toBytes(family),
                            Bytes.toBytes(qualifier));
                } else {
                    del.addFamily(Bytes.toBytes(family));
                }
            }      
            t.delete(del);    
        } catch (IOException e) {
            System.out.println("刪除失敗!");
            e.printStackTrace();
        } finally {
          close();
        }
    }
    
    /**
     * 查詢該表中的所有數據
     * 
     * @param tableName
     *            表名
     */
    public static void select(String tableName) {
        if(null==tableName||tableName.length()==0){
            return;
        }
        Table t = null;
        List<Map<String,Object>> list=new ArrayList<Map<String,Object>>();
        try {
            t = getConnection().getTable(TableName.valueOf(tableName));
            // 讀取操作
            Scan scan = new Scan();
            // 得到掃描的結果集
            ResultScanner rs = t.getScanner(scan);
            if (null == rs ) {
                return;
            }
            for (Result result : rs) {
                // 得到單元格集合
                List<Cell> cs = result.listCells();
                if (null == cs || cs.size() == 0) {
                    continue;
                }
                for (Cell cell : cs) {
                    Map<String,Object> map=new HashMap<String, Object>();
                    map.put("rowKey", Bytes.toString(CellUtil.cloneRow(cell)));// 取行健
                    map.put("timestamp", cell.getTimestamp());// 取到時間戳
                    map.put("family", Bytes.toString(CellUtil.cloneFamily(cell)));// 取到列族
                    map.put("qualifier", Bytes.toString(CellUtil.cloneQualifier(cell)));// 取到列
                    map.put("value", Bytes.toString(CellUtil.cloneValue(cell)));// 取到值
                    list.add(map);
                }
            }
            System.out.println("查詢的數據:"+list);
        } catch (IOException e) {
            System.out.println("查詢失敗!");
            e.printStackTrace();
        } finally {
            close();
        }
    }

    /**
     * 根據表名和行健查詢
     * @param tableName
     * @param rowKey
     */
    public static void select(String tableName, String rowKey) {
        select(tableName,rowKey,"","");
    }
    
    /**
     * 根據表名、行健和列族查詢
     * @param tableName
     * @param rowKey
     * @param family
     */
    public static void select(String tableName, String rowKey, String family) {
        select(tableName,rowKey,family,"");
    }
    
    /**
     * 根據條件明細查詢
     * 
     * @param tableName
     *            表名
     * @param rowKey
     *            行健 (主鍵)
     * @param family
     *            列族
     * @param qualifier
     *            列
     */
    public static void select(String tableName, String rowKey, String family,
            String qualifier) {
        Table t = null;
        List<Map<String,Object>> list=new ArrayList<Map<String,Object>>();
        try {
            t = getConnection().getTable(TableName.valueOf(tableName));
            // 通過HBase中的 get來進行查詢
            Get get = new Get(Bytes.toBytes(rowKey));
            // 如果列族不為空
            if (null != family && family.length() > 0) {
                // 如果列不為空
                if (null != qualifier && qualifier.length() > 0) {
                    get.addColumn(Bytes.toBytes(family),
                            Bytes.toBytes(qualifier));
                } else {
                    get.addFamily(Bytes.toBytes(family));
                }
            }
            Result r = t.get(get);
            List<Cell> cs = r.listCells();
            if (null == cs || cs.size() == 0) {
                return;
            }
            for (Cell cell : cs) {
                Map<String,Object> map=new HashMap<String, Object>();
                map.put("rowKey", Bytes.toString(CellUtil.cloneRow(cell)));// 取行健
                map.put("timestamp", cell.getTimestamp());// 取到時間戳
                map.put("family", Bytes.toString(CellUtil.cloneFamily(cell)));// 取到列族
                map.put("qualifier", Bytes.toString(CellUtil.cloneQualifier(cell)));// 取到列
                map.put("value", Bytes.toString(CellUtil.cloneValue(cell)));// 取到值
                list.add(map);
            }
            System.out.println("查詢的數據:"+list);
        } catch (IOException e) {
            System.out.println("查詢失敗!");
            e.printStackTrace();
        } finally {
            close();
        }
    }
}

測試代碼

import java.util.ArrayList;
import java.util.List;

import com.alibaba.fastjson.JSONObject;
/**
 * 
* Title: hbaseTest
* Description: HBase 相關測試
* Version:1.0.0  
* @author pancm
* @date 2017年11月23日
 */
public class hbaseTest {
    
    public static void main(String[] args) {
        test();
    }

    /**
     * 一些測試
     */
    private static void test() {
        String tableName1="t_student",tableName2="t_student_info";
        String []columnFamily1={"st1","st2"};
        String []columnFamily2={"stf1","stf2"};
        HBaseUtil.creatTable(tableName1, columnFamily1);
        HBaseUtil.creatTable(tableName2, columnFamily2);
        
        HBaseUtil.insert(tableName1, "1001", columnFamily1[0], "name", "zhangsan");
        HBaseUtil.insert(tableName1, "1002", columnFamily1[0], "name", "lisi");
        HBaseUtil.insert(tableName1, "1001", columnFamily1[1], "age", "18");
        HBaseUtil.insert(tableName1, "1002", columnFamily1[1], "age", "20");
        
        HBaseUtil.insert(tableName2, "1001", columnFamily2[0], "phone", "123456");
        HBaseUtil.insert(tableName2, "1002", columnFamily2[0], "phone", "234567");
        HBaseUtil.insert(tableName2, "1001", columnFamily2[1], "mail", "[email protected]");
        HBaseUtil.insert(tableName2, "1002", columnFamily2[1], "mail", "[email protected]");
        
        HBaseUtil.select(tableName1); //查詢該表所有數據
        HBaseUtil.select(tableName1, "1001"); //根據表名和行健查詢
        HBaseUtil.select(tableName2, "1002",columnFamily2[0]); //根據表名、行健和列族查詢
        HBaseUtil.select(tableName2, "1002",columnFamily2[1],"mail"); //根據表名、行健、列族、和列查詢
        
        HBaseUtil.select(tableName1, "1002"); //根據表名和行健查詢
        HBaseUtil.delete(tableName1, "1002", columnFamily1[0]);//刪除數據
        HBaseUtil.select(tableName1, "1002"); //根據表名和行健查詢
        
    }
}

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 代碼管理 ，git 命令整理
    //先要理解這四個概念，這是一個提交代碼的流動軌跡：1.工作區（編輯器）-經過add到2- 2.暫存區 （緩存）- 經過commit3-3.本地倉庫 （本地項目）-經過 push4-4.遠程倉庫 （線上項目 ） //拉取遠程（這裡預設擁有項目許可權）$ git clone <項目地址> //拉取遠程分 ...
  • linux系統下安裝配置解壓版的MySQL資料庫
    一、解壓文件到當前目錄 命令：tar -zxvf mysql....tar.gz 二、移動解壓完成的文件夾到目標目錄並更名mysql 命令：mv mysql-版本號 /usr/local/mysql 添加系統mysql組和mysql用戶 添加系統mysql組 sudo groupadd mysql ...
  • FreeRTOS--疑難雜症
    花了3個晚上，把這個章節看完，受益匪淺。 1. 最有用的應該是與中斷相關的錯誤，優先排查中斷優先順序設置。 2. 堆棧溢出檢查，可能用到，一般先把堆棧設置的足夠大，只要沒有溢出就是好事，溢出了，掌握了棧溢出鉤子函數排錯很方便。 3. 相關的問題應該儘量不會出現，畢竟只要需要列印調試信息的情況下才使用， ...
  • MongoDb在windows10下的安裝、創建用戶和資料庫
    1.mongodb下載地址https://www.mongodb.com/download-center#community 2.安裝 3.在D:\MongoDB目錄下創建db和log兩個文件夾，並創建環境變數，如下圖所 4.以超級管理員的身份打開cmd，以auth的方式註冊服務sc create ...
  • Redis不同數據類型的的數據結構實現
    我們知道Redis支持五種數據類型， 分別是字元串、哈希表（map）、列表（list）、集合（set）和有序集合，和Java的集合框架類似，不同數據類型的數據結構實也是不一樣的。 1.Redis中的redisObject對象 Redis是使用C編寫的，內部實現了一個struct結構體redisObj ...
  • Oracle 只有.dbf數據文件進行資料庫恢復 (轉)
    由於資料庫伺服器崩潰，造成了無法進入系統進行資料庫備份，只能把oracle相關文件拷貝出來。對於拷貝出來的文件在測試機上進行一次不完全恢復，具體流程如下所示： 1、安裝oracle 10g服務端並創建一個與要進行恢復的資料庫相同名稱的實例(db_name,sid,字元集一樣,因為在創建控制文件時,會 ...
  • 資料庫快照
    簡介 資料庫快照，正如其名稱所示那樣，是資料庫在某一時間點的視圖。快照設計最開始的目的是為了報表服務。比如我需要出2011的資產負債表，這需要數據保持在2011年12月31日零點時的狀態，則利用快照可以實現這一點。快照還可以和鏡像結合來達到讀寫分離的目的。下麵我們來看什麼是快照。 什麼是快照 資料庫 ...
  • Oracle閃回詳解
    Oracle 9i 開始支持閃回，Oracle10g開始全面支持閃回功能，Oracle11g有所完善，為大家快速的恢複數據，查詢歷史數據提供了很大的便捷方法。 本文主要對Oracle常用閃回使用做些詳細介紹，其中對於不常用的事務和版本閃回，這裡就不做介紹 一、Oracle閃回概述 二、Oracle閃 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類