Java客戶端訪問HBase集群解決方案(優化)

来源:https://www.cnblogs.com/java-free/archive/2018/08/23/9522514.html
-Advertisement-
Play Games

測試環境：Idea+Windows10 準備工作： <1>、打開本地 C:\Windows\System32\drivers\etc（系統預設）下名為hosts的系統文件，如果提示當前用戶沒有許可權打開文件；第一種方法是將hosts文件拖到桌面進行配置後再拖回原處；第二種一勞永逸的方法是修改當前用戶對 ...


測試環境：Idea+Windows10

準備工作：

   <1>、打開本地 C:\Windows\System32\drivers\etc（系統預設）下名為hosts的系統文件，如果提示當前用戶沒有許可權打開文件；第一種方法是將hosts文件拖到桌面進行配置後再拖回原處；第二種一勞永逸的方法是修改當前用戶對該文件的許可權為完全控制;

   <2>、打開後hosts文件後，添加HBase集群伺服器的用戶名及IP地址如下：

hosts文件參考格式​

   <3>、由於是windows系統下遠程連接HBase，而HBase底層依賴Hadoop，所以需要下載hadoop二進位包存放到本地目錄將來會在程式中引用該目錄，否則會報錯。你也可以理解為windows下需要模擬linux環境才能正常連接HBasehadoop；（註：windows下的版本需要和linux下一致，這裡我僅僅提供的2.6.0hadoop版本解析包）

程式代碼：

pom.xml：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>

	<groupId>com.example</groupId>
	<artifactId>spring_hbase</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<packaging>jar</packaging>

	<name>spring_hbase</name>
	<description>Demo project for Spring Boot</description>

	<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>2.0.4.RELEASE</version>
		<relativePath/> <!-- lookup parent from repository -->
	</parent>

	<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
		<project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
		<java.version>1.8</java.version>
	</properties>

	<dependencies>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
		</dependency>

		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>
		<!--HBase依賴-->
		<dependency>
			<groupId>org.apache.hbase</groupId>
			<artifactId>hbase-client</artifactId>
			<version>1.2.0</version>
			<exclusions>
				<exclusion>
					<groupId>org.slf4j</groupId>
					<artifactId>slf4j-log4j12</artifactId>
				</exclusion>
			</exclusions>
		</dependency>
		<dependency>
			<groupId>org.springframework.data</groupId>
			<artifactId>spring-data-hadoop</artifactId>
			<version>2.5.0.RELEASE</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-hdfs</artifactId>
			<version>2.5.1</version>
		</dependency>
		<dependency>
			<groupId>org.springframework.data</groupId>
			<artifactId>spring-data-hadoop-core</artifactId>
			<version>2.4.0.RELEASE</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hbase</groupId>
			<artifactId>hbase</artifactId>
			<version>1.2.1</version>
			<type>pom</type>
		</dependency>
		<!--HBase依賴-->
	</dependencies>

	<build>
		<plugins>
			<plugin>
				<groupId>org.springframework.boot</groupId>
				<artifactId>spring-boot-maven-plugin</artifactId>
			</plugin>
		</plugins>
	</build>


</project>

HBaseUtils.class：

package com.example.spring_hbase;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.springframework.data.hadoop.hbase.HbaseTemplate;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.Properties;

/**
 * HBase工具類
 * Author JiaPeng_lv
 */
public class HBaseUtils {
    private static Connection connection;
    private static Configuration configuration;
    private static HBaseUtils hBaseUtils;
    private static Properties properties;

    /**
     * 創建連接池並初始化環境配置
     */
    public void init(){
        properties = System.getProperties();
        //實例化HBase配置類
        if (configuration==null){
            configuration = HBaseConfiguration.create();
        }
        try {
            //載入本地hadoop二進位包
            properties.setProperty("hadoop.home.dir", "D:\\hadoop-common-2.6.0-bin-master");
            //zookeeper集群的URL配置信息
            configuration.set("hbase.zookeeper.quorum","k1,k2,k3,k4,k5");
            //HBase的Master
            configuration.set("hbase.master","hba:60000");
            //客戶端連接zookeeper埠
            configuration.set("hbase.zookeeper.property.clientPort","2181");
            //HBase RPC請求超時時間，預設60s(60000)
            configuration.setInt("hbase.rpc.timeout",20000);
            //客戶端重試最大次數，預設35
            configuration.setInt("hbase.client.retries.number",10);
            //客戶端發起一次操作數據請求直至得到響應之間的總超時時間，可能包含多個RPC請求，預設為2min
            configuration.setInt("hbase.client.operation.timeout",30000);
            //客戶端發起一次scan操作的rpc調用至得到響應之間的總超時時間
            configuration.setInt("hbase.client.scanner.timeout.period",200000);
            //獲取hbase連接對象
            if (connection==null||connection.isClosed()){
                connection = ConnectionFactory.createConnection(configuration);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    /**
     * 關閉連接池
     */
    public static void close(){
        try {
            if (connection!=null)connection.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    /**
     * 私有無參構造方法
     */
    private HBaseUtils(){}

    /**
     * 唯一實例，線程安全，保證連接池唯一
     * @return
     */
    public static HBaseUtils getInstance(){
        if (hBaseUtils == null){
            synchronized (HBaseUtils.class){
                if (hBaseUtils == null){
                    hBaseUtils = new HBaseUtils();
                    hBaseUtils.init();
                }
            }
        }
        return hBaseUtils;
    }

    /**
     * 獲取單條數據
     * @param tablename
     * @param row
     * @return
     * @throws IOException
     */
    public static Result getRow(String tablename, byte[] row) throws IOException{
        Table table = null;
        Result result = null;
        try {
            table = connection.getTable(TableName.valueOf(tablename));
            Get get = new Get(row);
            result = table.get(get);
        }finally {
            table.close();
        }
        return result;
    }

    /**
     * 查詢多行信息
     * @param tablename
     * @param rows
     * @return
     * @throws IOException
     */
    public static Result[] getRows(String tablename,List<byte[]> rows) throws  IOException{
        Table table = null;
        List<Get> gets = null;
        Result[] results = null;
        try {
            table = connection.getTable(TableName.valueOf(tablename));
            gets = new ArrayList<Get>();
            for (byte[] row : rows){
                if(row!=null){
                    gets.add(new Get(row));
                }
            }
            if (gets.size() > 0) {
                results = table.get(gets);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
            table.close();
        }
        return results;
    }

    /**
     * 獲取整表數據
     * @param tablename
     * @return
     */
    public static ResultScanner get(String tablename) throws IOException{
        Table table = null;
        ResultScanner results = null;
        try {
            table = connection.getTable(TableName.valueOf(tablename));
            Scan scan = new Scan();
            scan.setCaching(1000);
            results = table.getScanner(scan);
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
            table.close();
        }
        return results;
    }

    /**
     * 單行插入數據
     * @param tablename
     * @param rowkey
     * @param family
     * @param cloumns
     * @throws IOException
     */
    public static void put(String tablename, String rowkey, String family, Map<String,String> cloumns) throws IOException{
        Table table = null;
        try {
            table = connection.getTable(TableName.valueOf(tablename));
            Put put = new Put(rowkey.getBytes());
            for (Map.Entry<String,String> entry : cloumns.entrySet()){
                put.addColumn(family.getBytes(),entry.getKey().getBytes(),entry.getValue().getBytes());
            }
            table.put(put);
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
            table.close();
            close();
        }
    }
}

①、保證該工具類唯一實例

②、全局共用重量級類Connection，該類為線程安全，使用完畢後關閉連接池

③、每次執行內部CRUD方法會創建唯一對象Table，該類為非線程安全，使用完畢後關閉

由於時間原因，內部功能方法及測試較少，有其他需求的可以自行百度添加更多方法，這裡主要以類結構及配置為主。

Test.class：

package com.example.spring_hbase;

import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.util.Bytes;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

import java.io.IOException;
import java.util.*;

@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringHbaseApplicationTests {
	@Test
	public void contextLoads() {
	}

	@Test
	public void test01(){
		HBaseUtils.getInstance();
		try {
			Long time = System.currentTimeMillis();
			Result result = HBaseUtils.getRow("GPS_MAP", Bytes.toBytes(1));
			System.out.println("本次查詢耗時："+(System.currentTimeMillis()-time)*1.0/1000+"s");
			NavigableMap<byte[],NavigableMap<byte[],NavigableMap<Long,byte[]>>> navigableMap = result.getMap();
			for (byte[] family:navigableMap.keySet()){
				System.out.println("columnFamily:"+ new String(family));
				for (byte[] column : navigableMap.get(family).keySet()){
					System.out.println("column:"+new String(column));
					for (Long t : navigableMap.get(family).get(column).keySet()){
						System.out.println("value:"+new String(navigableMap.get(family).get(column).get(t)));
					}
				}
			}
		} catch (IOException e) {
			e.printStackTrace();
		}finally {
			HBaseUtils.close();
		}
	}

	@Test
	public void test02(){
		HBaseUtils.getInstance();
		ResultScanner results = null;
		try {
			Long time = System.currentTimeMillis();
			results = HBaseUtils.get("GPS_MAP");
			System.out.println("本次查詢耗時："+(System.currentTimeMillis()-time)*1.0/1000+"s");
			for (Result result : results){
				NavigableMap<byte[],NavigableMap<byte[],NavigableMap<Long,byte[]>>> navigableMap = result.getMap();
				for (byte[] family:navigableMap.keySet()){
					System.out.println("columnFamily:"+ new String(family));
					for (byte[] column : navigableMap.get(family).keySet()){
						System.out.println("column:"+new String(column));
						for (Long t : navigableMap.get(family).get(column).keySet()){
							System.out.println("value:"+new String(navigableMap.get(family).get(column).get(t)));
						}
					}
				}
			}
		} catch (IOException e) {
			e.printStackTrace();
		}finally {
			results.close();
			HBaseUtils.close();
		}
	}

	@Test
	public void test03(){
		HBaseUtils.getInstance();
		Result[] results = null;
		List<byte[]> list = null;
		try {
			list = new ArrayList<byte[]>();
			list.add(Bytes.toBytes(1));
			list.add(Bytes.toBytes(2));
			Long time = System.currentTimeMillis();
			results = HBaseUtils.getRows("GPS_MAP",list);
			System.out.println("本次查詢耗時："+(System.currentTimeMillis()-time)*1.0/1000+"s");
			for (Result result : results){
				NavigableMap<byte[],NavigableMap<byte[],NavigableMap<Long,byte[]>>> navigableMap = result.getMap();
				for (byte[] family:navigableMap.keySet()){
					System.out.println("columnFamily:"+ new String(family));
					for (byte[] column : navigableMap.get(family).keySet()){
						System.out.println("column:"+new String(column));
						for (Long t : navigableMap.get(family).get(column).keySet()){
							System.out.println("value:"+new String(navigableMap.get(family).get(column).get(t)));
						}
					}
				}
			}
		} catch (IOException e) {
			e.printStackTrace();
		}finally {
			HBaseUtils.close();
		}
	}

	@Test
	public void test04(){
		HBaseUtils.getInstance();
		try {
			Map<String,String> cloumns = new HashMap<String, String>();
			cloumns.put("test01","test01");
			cloumns.put("test02","test02");
			Long time = System.currentTimeMillis();
			HBaseUtils.put("GPS_MAP","3","TEST",cloumns);
			System.out.println("本次插入耗時："+(System.currentTimeMillis()-time)*1.0/1000+"s");
		} catch (IOException e) {
			e.printStackTrace();
		}finally {
			HBaseUtils.close();
		}
	}
}

測試後發現查詢和插入效率相對於沒有優化過的類耗時大大縮減；


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 快速刷新視圖
    DECLARE @tableNames varchar(500)SET @tableNames='xxx,DB2, ' -- 關鍵此處填寫需要刷新視圖的資料庫名稱 DECLARE @i_start intSET @i_start=1; DECLARE @i_end intSET @i_end = C ...
  • [mysql] Can't read from messagefile
    系統：windows 重啟mysql服務出現 Server] Can't read from messagefile 等錯誤時候， 應先執行 mysqld --initialize-insecure 進項初始化操作 然後重啟服務成功 ...
  • mybatis使用oracle的sequence
    oracle資料庫創建SEQUENCE 從0開始，不迴圈，自增1的SEQUENCE。 以上，關於SEQUENCE就不贅述了。 mybatis的mapper配置 這樣後，就能獲取自增序列後插入資料庫了。 ...
  • sql server 運維時CPU，記憶體，操作系統等信息查詢（用sql語句）
    我們只要用到資料庫，一般會遇到資料庫運維方面的事情，需要我們尋找原因，有很多是關乎處理器(CPU)、記憶體（Memory）、磁碟（Disk）以及操作系統的，這時我們就需要查詢他們的一些設置和內容，下麵講的就是如何查詢它們的相關信息。1、（1）獲取資料庫伺服器CPU核數等信息(只適用於SQL 2005以 ...
  • 有Java基礎如何學習大數據？
    有沒有想過一個問題，電腦編程語言眾多，常用的編程語言有Java，Python等，在開始學習大數據之前都會選擇學習Java，那Java到底好在哪呢？為什麼學大數據之前要先學Java呢？ 大數據人才越來越多的受到社會和企業的青睞，很多想要學習大數據的新人在開始的時候都會覺得自己學的就是大數據，但是真的 ...
  • Informix資料庫配置與連接
    1、環境 資料庫版本：12.1 操作系統：Windows Server 2008 客戶端：IBM Data Studio 4.1.3 2、配置 資料庫安裝後預設是無法遠程訪問的，需要修改sqlhosts文件，文件路徑：[安裝根目錄]\etc\sqlhosts.ol_informix1210 將紅框中 ...
  • 1. Oracle安裝部署文檔
    一. 部署環境步驟 1.1 軟體環境 操作系統：CentOS release 6.5oracle安裝包：linux.x64_11gR2_database_1of1.zip；linux.x64_11gR2_database_1of2.zip 1.2 配置主機名 1.3 配置網路 1.4 配置系統內核參 ...
  • 【數據分析】線性回歸與邏輯回歸（R語言實現）
    文章來源：公眾號-智能化IT系統。 回歸模型有多種，一般在數據分析中用的比較常用的有線性回歸和邏輯回歸。其描述的是一組因變數和自變數之間的關係，通過特定的方程來模擬。這麼做的目的也是為了預測，但有時也不是全部為了預測，只是為瞭解釋一種現象，因果關係。 還是按照老風格，不說空泛的概念，以實際的案例出發 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類