HBase協處理器載入的三種方式

来源:https://www.cnblogs.com/zpb2016/archive/2020/04/17/12717301.html
-Advertisement-
Play Games

本文主要給大家羅列了HBase協處理器載入的三種方式:Shell載入(動態)、Api載入(動態)、配置文件載入(靜態)。其中靜態載入方式需要重啟HBase。 我們假設我們已經有一個現成的需要載入的協處理器Jar包: HelloCoprocessor 0.0.1.jar 。 協處理器載入的三種方式 S ...


本文主要給大家羅列了HBase協處理器載入的三種方式:Shell載入(動態)、Api載入(動態)、配置文件載入(靜態)。其中靜態載入方式需要重啟HBase。

我們假設我們已經有一個現成的需要載入的協處理器Jar包:HelloCoprocessor-0.0.1.jar

協處理器載入的三種方式

Shell載入

1. 上傳HDFS

將打包好的HelloCoprocessor-0.0.1.jar上傳伺服器,然後放到HDFS上。

# 切換hadoop用戶,創建演示目錄
$ hdfs dfs -mkdir /usr/hbase/coprocessor
$ hdfs dfs -put HelloCoprocessor-0.0.1.jar /usr/hbase/coprocessor

2. Shell 載入協處理器

我們假設其協處理器類的包名為:
org.myname.hbase.Coprocessor.RegionObserverExample
Shell 操作如下:

hbase> disable 'mytable' # 禁用表,可選
hbase> alter 'mytable', METHOD => 'table_att', 'coprocessor' => '/usr/hbase/coprocessor/HelloCoprocessor-0.0.1.jar'|org.myname.hbase.Coprocessor.RegionObserverExample|1001|arg1=1,arg2=2'
hbase> enable 'mytable' # 禁用表後啟用表,可選

結構如下:

hbase> alter 'mytable', METHOD => 'table_att', 'coprocessor' => ①|②|③|④'  

解釋下上面各個參數:
①:協處理器Jar包路徑,要保證所有的RegionServer可讀取到。也可以是本地路徑,不過建議是放在HDFS上。
②:協處理器的完整類名。
③:協處理器優先順序,整數表示。可以為空。
④:傳遞給協處理器的參數,可以為空。

註:各參數間不要有空格。

3. 驗證是否載入協處理器

hbase> desc 'mytable'

Table mytable is ENABLE
mytable, {TABLE_ATTRIBUTES => {coprocessor$1 => '/usr/hbase/coprocessor/HelloCoprocessor-0.0.1.jar'|org.myname.hbase.Coprocessor.RegionObserverExample|1001|arg1=1,arg2=2'}}

此驗證不保證協處理器能正常工作:shell命令既不保證特定位置存在jar文件,也不驗證給定類是否實際包含在jar文件中。

4. 卸載協處理器

hbase> disable 'mytable' # 禁用表,可選
hbase> alter 'mytable', METHOD => 'table_att_unset', NAME => 'coprocessor$1'
hbase> enable 'mytable' # 禁用表後啟用表,可選

坑:在沒有重啟HBase情況下,如果修改協處理器代碼並重新載入協處理器,請重命名協處理器Jar包的名字,否則不會生效。(由於當前JVM引用了現有的協處理器,因此必須通過重新啟動RegionServer來重新啟動JVM,以便替換它。)

Api 載入

具體方法是調用HtableDescriptor的addCoprocessor方法。該方法有兩個重載方法:

  • addCoprocessor(String className)
  • addCoprocessor(className,jarPath,priority,kvs)
    第二個重載方法提供了上述Shell中所需的各個參數①②③④,方法一則需要用戶手動將jar包分發到各個RegionServer的lib目錄下。

示例代碼如下:

TableName tableName = TableName.valueOf("mytable");
Path path = new Path("hdfs://<namenode>:<port>/usr/hbase/coprocessor/HelloCoprocessor-0.0.1.jar");
Configuration conf = HBaseConfiguration.create();
Connection connection = ConnectionFactory.createConnection(conf);
Admin admin = connection.getAdmin();
admin.disableTable(tableName);
HTableDescriptor hTableDescriptor = new HTableDescriptor(tableName);
HColumnDescriptor columnFamily1 = new HColumnDescriptor("f1");
columnFamily1.setMaxVersions(1);
hTableDescriptor.addFamily(columnFamily1);
HColumnDescriptor columnFamily2 = new HColumnDescriptor("f2");
columnFamily2.setMaxVersions(3);
hTableDescriptor.addFamily(columnFamily2);
hTableDescriptor.addCoprocessor('org.myname.hbase.Coprocessor.RegionObserverExample', path,
Coprocessor.PRIORITY_USER, null);
admin.modifyTable(tableName, hTableDescriptor);
admin.enableTable(tableName);

重新載入表定義,無需使用addCoprocessor()方法設置協處理器的值。這將刪除附加到表的任何協處理器。

配置文件載入

1. 修改配置文件:hbase-site.xml,配置項如下:

1.1 RegionObservers/Endpoints

<property>
    <name>hbase.coprocessor.region.classes</name>
    <value>org.myname.hbase.Coprocessor.RegionObserverExample</value> 
</property> 

1.2 WALObservers

<property>
    <name>hbase.coprocessor.wal.classes</name>
    <value>org.myname.hbase.Coprocessor.RegionObserverExample</value> 
</property> 

1.3 MasterObservers

<property>
    <name>hbase.coprocessor.master.classes</name>
    <value>org.myname.hbase.Coprocessor.RegionObserverExample</value> 
</property> 

如果想同時配置多個協處理器,可以用逗號分隔多個協處理器的類名。

2. 添加Jar包

將您的代碼放在HBase的類路徑上。一種簡單的方法是將jar(包含代碼和所有依賴項)放入HBase的安裝目錄lib/中。

3. 重啟HBase生效。

4. 靜態卸載

  • 從hbase-site.xml中刪除協處理器的元素,包括子元素。
  • 重啟HBase。
  • 從類路徑或HBase的lib/目錄中刪除協處理器的JAR文件。(可選)

掃描二維碼關註博主公眾號

轉載請註明出處!歡迎關註本人微信公眾號【HBase工作筆記】


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Linux中的所有設備都必須掛載之後才能使用,即必須給它分配“盤符”(即掛載點,就是系統中的某個空目錄)給它才能使用,Windows系統中一般是自動分配盤符,所以掛載的概念在Windows中是沒有的,比如你插入了一個U盤,Windows就會自動給它一個盤符(名稱)來連接U盤,但是Linux中必須手動 ...
  • 幫助命令 man info help help man 英文原意:format and display the on line manual pages 功能:顯示聯機幫助手冊 語法:man 選項[ fk] 命令 info (和man命令不同的是,info命令的幫助信息是一套完整的資料) 語法:in ...
  • 編輯定時任務 */10 * * * * python /root/a.py >> /www/a.log 2>&1 # 每隔10分鐘,執行一次 30 * * * * python /root/a.py >> /www/a.log 2>&1 # 每小時, 第30分鐘執行 * 2 * * * * curl ...
  • 製作鏡像有2種方式,一種是容器轉換成鏡像,另一種是使用dockerfile創建鏡像,一般後者更常用。 容器轉為鏡像 使用 命令將容器轉換成鏡像 需要轉移鏡像時,將該鏡像打成一個包 在另一臺電腦載入這個鏡像時,載入這個包 使用dockerfile創建鏡像(推薦) dockerfile是一個文本文件,包 ...
  • 最近發現我們開發環境的 IIS 上的 SSL 證書過期了,為了後面方便維護和更新,搞了一個 powershell 腳本,以後要更新的時候直接跑一下腳本就可以了,所以有了這篇文章 ...
  • 本教程主要介紹如何在Ubuntu 18.04系統上實現Spire.Cloud私有化部署。CentOS 7系統部署請參考 這篇教程。 詳細步驟如下: 一、環境配置 1、關閉防火牆 1)首先查看防火牆狀態 ufw status verbose (非管理員需在最前面加sudo) 預設情況下,防火牆狀態是i ...
  • 基本GCC命令的使用 GCC是一套由GNU項目開發的編程語言編譯器,可處理C語言、 C++、Fortran、Pascal、Objective C、Java等等。GCC通常是 跨平臺軟體的編譯器首選。gcc是GCC套件中的編譯驅動程式名。 若電腦是x86 64位系統,為了編譯成IA 32指令集, 則 ...
  • 目錄和文件都能操作的命令 rm cp mv rm 英文原意:remove files or directories 功能:刪除文件或目錄 語法:rm 選項[ fir] 文件或目錄 cp 英文原意:copy files and directories 功能:複製文件和目錄 語法:cp 選項[ adil ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...