HBase Filter 過濾器之QualifierFilter詳解

来源:https://www.cnblogs.com/zpb2016/archive/2020/05/13/12880106.html
-Advertisement-
Play Games

前言： 本文詳細介紹了 HBase QualifierFilter 過濾器 Java&Shell API 的使用，並貼出了相關示例代碼以供參考。QualifierFilter 基於列名進行過濾，在工作中涉及到需要通過HBase 列名進行數據過濾時可以考慮使用它。比較器細節及原理請參照之前的更文： " ...


前言：本文詳細介紹了 HBase QualifierFilter 過濾器 Java&Shell API 的使用，並貼出了相關示例代碼以供參考。QualifierFilter 基於列名進行過濾，在工作中涉及到需要通過HBase 列名進行數據過濾時可以考慮使用它。比較器細節及原理請參照之前的更文：HBase Filter 過濾器之比較器 Comparator 原理及源碼學習

一。Java Api

頭部代碼

/**
 * 用於列名（Qualifier）過濾。
 */
public class QualifierFilterDemo {

    private static boolean isok = false;
    private static String tableName = "test";
    private static String[] cfs = new String[]{"f"};
    private static String[] data = new String[]{
            "row-1:f:name:Wang", "row-1:f:age:20",
            "row-2:f:name:Zhou", "row-2:f:age:10",
            "row-3:f:gender:男", "row-3:f:name:Li",
            "row-4:f:namana:xyz", "row-4:f:age:Zhao"
    };

    public static void main(String[] args) throws IOException {

        MyBase myBase = new MyBase();
        Connection connection = myBase.createConnection();
        if (isok) {
            myBase.deleteTable(connection, tableName);
            myBase.createTable(connection, tableName, cfs);
            // 造數據
            myBase.putRows(connection, tableName, data);
        }
        Table table = connection.getTable(TableName.valueOf(tableName));
        Scan scan = new Scan();

中部代碼
向右滑動滾動條可查看輸出結果。

1. BinaryComparator 構造過濾器

        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("age"))); // [row-1:f:age, row-2:f:age, row-4:f:age]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.NOT_EQUAL, new BinaryComparator(Bytes.toBytes("name"))); // [row-1:f:age, row-2:f:age, row-3:f:gender, row-4:f:age, row-4:f:namana]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.GREATER, new BinaryComparator(Bytes.toBytes("gender"))); // [row-1:f:name, row-2:f:name, row-3:f:name, row-4:f:namana]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.GREATER_OR_EQUAL, new BinaryComparator(Bytes.toBytes("name"))); // [row-1:f:name, row-2:f:name, row-3:f:name]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.LESS, new BinaryComparator(Bytes.toBytes("gender"))); // [row-1:f:age, row-2:f:age, row-4:f:age]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.LESS_OR_EQUAL, new BinaryComparator(Bytes.toBytes("gender"))); // [row-1:f:age, row-2:f:age, row-3:f:gender, row-4:f:age]

2. BinaryPrefixComparator 構造過濾器

        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("nam"))); // [row-1:f:name, row-2:f:name, row-3:f:name, row-4:f:namana]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.NOT_EQUAL, new BinaryPrefixComparator(Bytes.toBytes("nam"))); // [row-1:f:age, row-2:f:age, row-3:f:gender, row-4:f:age]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.GREATER, new BinaryPrefixComparator(Bytes.toBytes("g"))); // [row-1:f:name, row-2:f:name, row-3:f:name, row-4:f:namana]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.GREATER_OR_EQUAL, new BinaryPrefixComparator(Bytes.toBytes("n"))); // [row-1:f:name, row-2:f:name, row-3:f:name, row-4:f:namana]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.LESS, new BinaryPrefixComparator(Bytes.toBytes("m"))); // [row-1:f:age, row-2:f:age, row-3:f:gender, row-4:f:age]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.LESS_OR_EQUAL, new BinaryPrefixComparator(Bytes.toBytes("a"))); // [row-1:f:age, row-2:f:age, row-4:f:age]

3. SubstringComparator 構造過濾器

        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator("g")); // [row-1:f:age, row-2:f:age, row-3:f:gender, row-4:f:age]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.NOT_EQUAL, new SubstringComparator("n")); // [row-1:f:age, row-2:f:age, row-4:f:age]

4. RegexStringComparator 構造過濾器

        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.NOT_EQUAL, new RegexStringComparator("nam")); // [row-1:f:age, row-2:f:age, row-3:f:gender, row-4:f:age]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new RegexStringComparator("nam")); // [row-1:f:name, row-2:f:name, row-3:f:name, row-4:f:namana]
        QualifierFilter qualifierFilter = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new RegexStringComparator("n[a-z]m")); // [row-1:f:name, row-2:f:name, row-3:f:name, row-4:f:namana]

尾部代碼

        scan.setFilter(qualifierFilter);
        ResultScanner scanner = table.getScanner(scan);
        Iterator<Result> iterator = scanner.iterator();
        LinkedList<String> rowkeys = new LinkedList<>();
        while (iterator.hasNext()) {
            Result result = iterator.next();
            String rowkey = Bytes.toString(result.getRow());
            rowkeys.add(rowkey);
        }
        System.out.println(rowkeys);
        scanner.close();
        table.close();
        connection.close();
    }
}

二。Shell Api

1. BinaryComparator 構造過濾器

方式一：

hbase(main):003:0> scan 'test',{FILTER=>"QualifierFilter(=,'binary:age')"}
ROW                                              COLUMN+CELL
 row-1                                           column=f:age, timestamp=1589252853542, value=20
 row-2                                           column=f:age, timestamp=1589252853542, value=10
 row-4                                           column=f:age, timestamp=1589252853542, value=Zhao
3 row(s) in 0.0680 seconds

支持的比較運算符：= != > >= < <=，不再一一舉例。

方式二：

import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.BinaryComparator
import org.apache.hadoop.hbase.filter.QualifierFilter

hbase(main):010:0> scan 'test',{FILTER => QualifierFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'), BinaryComparator.new(Bytes.toBytes('age')))}
ROW                                              COLUMN+CELL
 row-1                                           column=f:age, timestamp=1589252853542, value=20
 row-2                                           column=f:age, timestamp=1589252853542, value=10
 row-4                                           column=f:age, timestamp=1589252853542, value=Zhao
3 row(s) in 0.0400 seconds

支持的比較運算符：LESS、LESS_OR_EQUAL、EQUAL、NOT_EQUAL、GREATER、GREATER_OR_EQUAL，不再一一舉例。

推薦使用方式一，更簡潔方便。

2. BinaryPrefixComparator 構造過濾器

方式一：

hbase(main):011:0> scan 'test',{FILTER=>"QualifierFilter(=,'binaryprefix:nam')"}
ROW                                              COLUMN+CELL
 row-1                                           column=f:name, timestamp=1589252853542, value=Wang
 row-2                                           column=f:name, timestamp=1589252853542, value=Zhou
 row-3                                           column=f:name, timestamp=1589252853542, value=Li
 row-4                                           column=f:namana, timestamp=1589252853542, value=xyz
4 row(s) in 0.0410 seconds

方式二：

import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.BinaryPrefixComparator
import org.apache.hadoop.hbase.filter.QualifierFilter

hbase(main):014:0> scan 'test',{FILTER => QualifierFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'), BinaryPrefixComparator.new(Bytes.toBytes('nam')))}
ROW                                              COLUMN+CELL
 row-1                                           column=f:name, timestamp=1589252853542, value=Wang
 row-2                                           column=f:name, timestamp=1589252853542, value=Zhou
 row-3                                           column=f:name, timestamp=1589252853542, value=Li
 row-4                                           column=f:namana, timestamp=1589252853542, value=xyz
4 row(s) in 0.0200 seconds

其它同上。

3. SubstringComparator 構造過濾器

方式一：

hbase(main):015:0> scan 'test',{FILTER=>"QualifierFilter(=,'substring:am')"}
ROW                                              COLUMN+CELL
 row-1                                           column=f:name, timestamp=1589252853542, value=Wang
 row-2                                           column=f:name, timestamp=1589252853542, value=Zhou
 row-3                                           column=f:name, timestamp=1589252853542, value=Li
 row-4                                           column=f:namana, timestamp=1589252853542, value=xyz
4 row(s) in 0.0230 seconds

方式二：

import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.SubstringComparator
import org.apache.hadoop.hbase.filter.QualifierFilter

hbase(main):017:0> scan 'test',{FILTER => QualifierFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'), SubstringComparator.new('am'))}
ROW                                              COLUMN+CELL
 row-1                                           column=f:name, timestamp=1589252853542, value=Wang
 row-2                                           column=f:name, timestamp=1589252853542, value=Zhou
 row-3                                           column=f:name, timestamp=1589252853542, value=Li
 row-4                                           column=f:namana, timestamp=1589252853542, value=xyz
4 row(s) in 0.0220 seconds

區別於上的是這裡直接傳入字元串進行比較，且只支持EQUAL和NOT_EQUAL兩種比較符。

4. RegexStringComparator 構造過濾器

import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.RegexStringComparator
import org.apache.hadoop.hbase.filter.QualifierFilter

hbase(main):019:0> scan 'test',{FILTER => QualifierFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'), RegexStringComparator.new('n[a-z]m'))}
ROW                                              COLUMN+CELL
 row-1                                           column=f:name, timestamp=1589252853542, value=Wang
 row-2                                           column=f:name, timestamp=1589252853542, value=Zhou
 row-3                                           column=f:name, timestamp=1589252853542, value=Li
 row-4                                           column=f:namana, timestamp=1589252853542, value=xyz
4 row(s) in 0.0250 seconds

該比較器直接傳入字元串進行比較，且只支持EQUAL和NOT_EQUAL兩種比較符。若想使用第一種方式可以傳入regexstring試一下，我的版本有點低暫時不支持，不再演示了。

註意這裡的正則匹配指包含關係，對應底層find()方法。

QualifierFilter 不支持使用LongComparator比較器，且BitComparator、NullComparator 比較器用之甚少，也不再介紹。

查看文章全部源代碼請訪以下GitHub地址：

https://github.com/zhoupengbo/demos-bigdata/blob/master/hbase/hbase-filters-demos/src/main/java/com/zpb/demos/QualifierFilterDemo.java

掃描二維碼關註博主公眾號

轉載請註明出處！歡迎關註本人微信公眾號【HBase工作筆記】


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Redis學習筆記（五） 壓縮列表
    壓縮列表是列表鍵與哈希鍵的底層實現之一。當一個列表鍵只包含少量的列表項，並且每個列表項要麼就是小整數值，要麼就是長度較短的字元串，那麼Redis就會使用壓縮列表來做列表鍵的底層實現。 壓縮列表是為了節約記憶體而開發的，是由一系列特殊編碼的連續記憶體塊組成的順序型數據結構。一個壓縮列表可以包含任意多的節點 ...
  • CentOS 7.7下安裝Mysql 8.0步驟詳解
    本次安裝Mysql的CentOS版本是7.7 1.下載Mysql 首先去Mysql官網下載安裝包，網址 推薦大家下載Linux通用版本的，便於管理安裝位置，也方便一臺伺服器安裝多個版本的mysql，下載後將Mysql安裝包上傳至伺服器/usr/local/目錄下 2.創建Mysql用戶和組 3.解壓 ...
  • Sqlite—觸發器（Trigger）
    一、簡單介紹 SQLite 觸發器（Trigger）是資料庫的回調函數，它會在指定的資料庫事件發生時自動執行/調用。以下是關於 SQLite 的觸發器（Trigger）的要點： SQLite 觸發器（Trigger）可以指定在特定的資料庫表發生 DELETE、INSERT 或 UPDATE 時觸發， ...
  • navicat for oracle 導入dmp文件
    1. 2,點擊其他--新建目錄--輸入目錄路徑....dmp的目錄 3,新建一個表空間, 其他--表空間--新建表空間 點擊保存 4...點擊數據泵,,數據泵導入 5...點擊生成sql,運行, (運行裡面有ora報錯的話,自行百度) 6...創建一個用戶可能登陸的,用戶--用戶--新建用戶 7.. ...
  • 50個SQL語句(MySQL版) 問題十一
    表結構 student(StuId,StuName,StuAge,StuSex) 學生表 teacher(TId,Tname) 教師表 course(CId,Cname,C_TId) 課程表 sc(SId,S_CId,Score) 成績表 問題十一：查詢至少有一門課與學號為“1001”的同學所學相同 ...
  • Cassandra數據建模
    1. 概述 Apache Cassandra將數據存儲在表中，每個表都由行和列組成。CQL（Cassandra查詢語言）用於查詢存儲在表中的數據。Apache Cassandra數據模型基於查詢並針對查詢進行了優化。Cassandra不支持用於關係資料庫的關係數據建模。Cassandra數據建模專註 ...
  • 從北斗衛星時鐘（北斗校時器）發展縱論世界衛星導航新格局
    從北斗衛星時鐘（北斗校時器）發展縱論世界衛星導航新格局 從北斗衛星時鐘（北斗校時器）發展縱論世界衛星導航新格局 更多資料添加京準電子科技官微——ahjzsz 世紀初，世界衛星導航領域建成並提供服務的衛星導航系統，主要有美國GPS、俄羅斯GLONASS和我國北斗衛星導航系統。其中，美國GPS系統向全球 ...
  • Redis學習筆記（四） 跳躍表與整數集合
    （一）跳躍表 跳躍表是一種有序的數據結構，它通過每個節點中維持多個指向其他節點的指針，從而達到快速訪問節點的目的。 Redis使用跳躍表作為有序集合鍵的底層實現之一，如果一個有序集合包含的元素數量比較多，或者有序集合中元素的成員是比較長的字元串時，Redis就會使用跳躍表作為有序集合鍵的底層實現。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類