HBase Filter 過濾器之QualifierFilter詳解

来源:https://www.cnblogs.com/zpb2016/archive/2020/05/13/12880106.html
-Advertisement-
Play Games

前言: 本文詳細介紹了 HBase QualifierFilter 過濾器 Java&Shell API 的使用,並貼出了相關示例代碼以供參考。QualifierFilter 基於列名進行過濾,在工作中涉及到需要通過HBase 列名進行數據過濾時可以考慮使用它。比較器細節及原理請參照之前的更文: " ...


前言:本文詳細介紹了 HBase QualifierFilter 過濾器 Java&Shell API 的使用,並貼出了相關示例代碼以供參考。QualifierFilter 基於列名進行過濾,在工作中涉及到需要通過HBase 列名進行數據過濾時可以考慮使用它。比較器細節及原理請參照之前的更文:HBase Filter 過濾器之比較器 Comparator 原理及源碼學習

一。Java Api

頭部代碼

/**
 * 用於列名(Qualifier)過濾。
 */
public class QualifierFilterDemo {

    private static boolean isok = false;
    private static String tableName = "test";
    private static String[] cfs = new String[]{"f"};
    private static String[] data = new String[]{
            "row-1:f:name:Wang", "row-1:f:age:20",
            "row-2:f:name:Zhou", "row-2:f:age:10",
            "row-3:f:gender:男", "row-3:f:name:Li",
            "row-4:f:namana:xyz", "row-4:f:age:Zhao"
    };

    public static void main(String[] args) throws IOException {

        MyBase myBase = new MyBase();
        Connection connection = myBase.createConnection();
        if (isok) {
            myBase.deleteTable(connection, tableName);
            myBase.createTable(connection, tableName, cfs);
            // 造數據
            myBase.putRows(connection, tableName, data);
        }
        Table table = connection.getTable(TableName.valueOf(tableName));
        Scan scan = new Scan();

中部代碼
向右滑動滾動條可查看輸出結果。

1. BinaryComparator 構造過濾器

        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("age"))); // [row-1:f:age, row-2:f:age, row-4:f:age]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.NOT_EQUAL, new BinaryComparator(Bytes.toBytes("name"))); // [row-1:f:age, row-2:f:age, row-3:f:gender, row-4:f:age, row-4:f:namana]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.GREATER, new BinaryComparator(Bytes.toBytes("gender"))); // [row-1:f:name, row-2:f:name, row-3:f:name, row-4:f:namana]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.GREATER_OR_EQUAL, new BinaryComparator(Bytes.toBytes("name"))); // [row-1:f:name, row-2:f:name, row-3:f:name]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.LESS, new BinaryComparator(Bytes.toBytes("gender"))); // [row-1:f:age, row-2:f:age, row-4:f:age]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.LESS_OR_EQUAL, new BinaryComparator(Bytes.toBytes("gender"))); // [row-1:f:age, row-2:f:age, row-3:f:gender, row-4:f:age]

2. BinaryPrefixComparator 構造過濾器

        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("nam"))); // [row-1:f:name, row-2:f:name, row-3:f:name, row-4:f:namana]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.NOT_EQUAL, new BinaryPrefixComparator(Bytes.toBytes("nam"))); // [row-1:f:age, row-2:f:age, row-3:f:gender, row-4:f:age]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.GREATER, new BinaryPrefixComparator(Bytes.toBytes("g"))); // [row-1:f:name, row-2:f:name, row-3:f:name, row-4:f:namana]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.GREATER_OR_EQUAL, new BinaryPrefixComparator(Bytes.toBytes("n"))); // [row-1:f:name, row-2:f:name, row-3:f:name, row-4:f:namana]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.LESS, new BinaryPrefixComparator(Bytes.toBytes("m"))); // [row-1:f:age, row-2:f:age, row-3:f:gender, row-4:f:age]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.LESS_OR_EQUAL, new BinaryPrefixComparator(Bytes.toBytes("a"))); // [row-1:f:age, row-2:f:age, row-4:f:age]

3. SubstringComparator 構造過濾器

        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator("g")); // [row-1:f:age, row-2:f:age, row-3:f:gender, row-4:f:age]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.NOT_EQUAL, new SubstringComparator("n")); // [row-1:f:age, row-2:f:age, row-4:f:age]

4. RegexStringComparator 構造過濾器

        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.NOT_EQUAL, new RegexStringComparator("nam")); // [row-1:f:age, row-2:f:age, row-3:f:gender, row-4:f:age]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new RegexStringComparator("nam")); // [row-1:f:name, row-2:f:name, row-3:f:name, row-4:f:namana]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new RegexStringComparator("n[a-z]m")); // [row-1:f:name, row-2:f:name, row-3:f:name, row-4:f:namana]

尾部代碼

        scan.setFilter(qualifierFilter);
        ResultScanner scanner = table.getScanner(scan);
        Iterator<Result> iterator = scanner.iterator();
        LinkedList<String> rowkeys = new LinkedList<>();
        while (iterator.hasNext()) {
            Result result = iterator.next();
            String rowkey = Bytes.toString(result.getRow());
            rowkeys.add(rowkey);
        }
        System.out.println(rowkeys);
        scanner.close();
        table.close();
        connection.close();
    }
}

二。Shell Api

1. BinaryComparator 構造過濾器

方式一:

hbase(main):003:0> scan 'test',{FILTER=>"QualifierFilter(=,'binary:age')"}
ROW                                              COLUMN+CELL
 row-1                                           column=f:age, timestamp=1589252853542, value=20
 row-2                                           column=f:age, timestamp=1589252853542, value=10
 row-4                                           column=f:age, timestamp=1589252853542, value=Zhao
3 row(s) in 0.0680 seconds

支持的比較運算符:= != > >= < <=,不再一一舉例。

方式二:

import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.BinaryComparator
import org.apache.hadoop.hbase.filter.QualifierFilter

hbase(main):010:0> scan 'test',{FILTER => QualifierFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'), BinaryComparator.new(Bytes.toBytes('age')))}
ROW                                              COLUMN+CELL
 row-1                                           column=f:age, timestamp=1589252853542, value=20
 row-2                                           column=f:age, timestamp=1589252853542, value=10
 row-4                                           column=f:age, timestamp=1589252853542, value=Zhao
3 row(s) in 0.0400 seconds

支持的比較運算符:LESS、LESS_OR_EQUAL、EQUAL、NOT_EQUAL、GREATER、GREATER_OR_EQUAL,不再一一舉例。

推薦使用方式一,更簡潔方便。

2. BinaryPrefixComparator 構造過濾器

方式一:

hbase(main):011:0> scan 'test',{FILTER=>"QualifierFilter(=,'binaryprefix:nam')"}
ROW                                              COLUMN+CELL
 row-1                                           column=f:name, timestamp=1589252853542, value=Wang
 row-2                                           column=f:name, timestamp=1589252853542, value=Zhou
 row-3                                           column=f:name, timestamp=1589252853542, value=Li
 row-4                                           column=f:namana, timestamp=1589252853542, value=xyz
4 row(s) in 0.0410 seconds

方式二:

import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.BinaryPrefixComparator
import org.apache.hadoop.hbase.filter.QualifierFilter

hbase(main):014:0> scan 'test',{FILTER => QualifierFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'), BinaryPrefixComparator.new(Bytes.toBytes('nam')))}
ROW                                              COLUMN+CELL
 row-1                                           column=f:name, timestamp=1589252853542, value=Wang
 row-2                                           column=f:name, timestamp=1589252853542, value=Zhou
 row-3                                           column=f:name, timestamp=1589252853542, value=Li
 row-4                                           column=f:namana, timestamp=1589252853542, value=xyz
4 row(s) in 0.0200 seconds

其它同上。

3. SubstringComparator 構造過濾器

方式一:

hbase(main):015:0> scan 'test',{FILTER=>"QualifierFilter(=,'substring:am')"}
ROW                                              COLUMN+CELL
 row-1                                           column=f:name, timestamp=1589252853542, value=Wang
 row-2                                           column=f:name, timestamp=1589252853542, value=Zhou
 row-3                                           column=f:name, timestamp=1589252853542, value=Li
 row-4                                           column=f:namana, timestamp=1589252853542, value=xyz
4 row(s) in 0.0230 seconds

方式二:

import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.SubstringComparator
import org.apache.hadoop.hbase.filter.QualifierFilter

hbase(main):017:0> scan 'test',{FILTER => QualifierFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'), SubstringComparator.new('am'))}
ROW                                              COLUMN+CELL
 row-1                                           column=f:name, timestamp=1589252853542, value=Wang
 row-2                                           column=f:name, timestamp=1589252853542, value=Zhou
 row-3                                           column=f:name, timestamp=1589252853542, value=Li
 row-4                                           column=f:namana, timestamp=1589252853542, value=xyz
4 row(s) in 0.0220 seconds

區別於上的是這裡直接傳入字元串進行比較,且只支持EQUAL和NOT_EQUAL兩種比較符。

4. RegexStringComparator 構造過濾器

import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.RegexStringComparator
import org.apache.hadoop.hbase.filter.QualifierFilter

hbase(main):019:0> scan 'test',{FILTER => QualifierFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'), RegexStringComparator.new('n[a-z]m'))}
ROW                                              COLUMN+CELL
 row-1                                           column=f:name, timestamp=1589252853542, value=Wang
 row-2                                           column=f:name, timestamp=1589252853542, value=Zhou
 row-3                                           column=f:name, timestamp=1589252853542, value=Li
 row-4                                           column=f:namana, timestamp=1589252853542, value=xyz
4 row(s) in 0.0250 seconds

該比較器直接傳入字元串進行比較,且只支持EQUAL和NOT_EQUAL兩種比較符。若想使用第一種方式可以傳入regexstring試一下,我的版本有點低暫時不支持,不再演示了。

註意這裡的正則匹配指包含關係,對應底層find()方法。

QualifierFilter 不支持使用LongComparator比較器,且BitComparator、NullComparator 比較器用之甚少,也不再介紹。

查看文章全部源代碼請訪以下GitHub地址:

https://github.com/zhoupengbo/demos-bigdata/blob/master/hbase/hbase-filters-demos/src/main/java/com/zpb/demos/QualifierFilterDemo.java

掃描二維碼關註博主公眾號

轉載請註明出處!歡迎關註本人微信公眾號【HBase工作筆記】


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 壓縮列表是列表鍵與哈希鍵的底層實現之一。當一個列表鍵只包含少量的列表項,並且每個列表項要麼就是小整數值,要麼就是長度較短的字元串,那麼Redis就會使用壓縮列表來做列表鍵的底層實現。 壓縮列表是為了節約記憶體而開發的,是由一系列特殊編碼的連續記憶體塊組成的順序型數據結構。一個壓縮列表可以包含任意多的節點 ...
  • 本次安裝Mysql的CentOS版本是7.7 1.下載Mysql 首先去Mysql官網下載安裝包,網址 推薦大家下載Linux通用版本的,便於管理安裝位置,也方便一臺伺服器安裝多個版本的mysql,下載後將Mysql安裝包上傳至伺服器/usr/local/目錄下 2.創建Mysql用戶和組 3.解壓 ...
  • 一、簡單介紹 SQLite 觸發器(Trigger)是資料庫的回調函數,它會在指定的資料庫事件發生時自動執行/調用。以下是關於 SQLite 的觸發器(Trigger)的要點: SQLite 觸發器(Trigger)可以指定在特定的資料庫表發生 DELETE、INSERT 或 UPDATE 時觸發, ...
  • 1. 2,點擊其他--新建目錄--輸入目錄路徑....dmp的目錄 3,新建一個表空間, 其他--表空間--新建表空間 點擊保存 4...點擊數據泵,,數據泵導入 5...點擊生成sql,運行, (運行裡面有ora報錯的話,自行百度) 6...創建一個用戶可能登陸的,用戶--用戶--新建用戶 7.. ...
  • 表結構 student(StuId,StuName,StuAge,StuSex) 學生表 teacher(TId,Tname) 教師表 course(CId,Cname,C_TId) 課程表 sc(SId,S_CId,Score) 成績表 問題十一:查詢至少有一門課與學號為“1001”的同學所學相同 ...
  • 1. 概述 Apache Cassandra將數據存儲在表中,每個表都由行和列組成。CQL(Cassandra查詢語言)用於查詢存儲在表中的數據。Apache Cassandra數據模型基於查詢並針對查詢進行了優化。Cassandra不支持用於關係資料庫的關係數據建模。Cassandra數據建模專註 ...
  • 從北斗衛星時鐘(北斗校時器)發展縱論世界衛星導航新格局 從北斗衛星時鐘(北斗校時器)發展縱論世界衛星導航新格局 更多資料添加京準電子科技官微——ahjzsz 世紀初,世界衛星導航領域建成並提供服務的衛星導航系統,主要有美國GPS、俄羅斯GLONASS和我國北斗衛星導航系統。其中,美國GPS系統向全球 ...
  • (一)跳躍表 跳躍表是一種有序的數據結構,它通過每個節點中維持多個指向其他節點的指針,從而達到快速訪問節點的目的。 Redis使用跳躍表作為有序集合鍵的底層實現之一,如果一個有序集合包含的元素數量比較多,或者有序集合中元素的成員是比較長的字元串時,Redis就會使用跳躍表作為有序集合鍵的底層實現。 ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...