HBase協處理器載入的三種方式

来源:https://www.cnblogs.com/zpb2016/archive/2020/04/17/12717301.html
-Advertisement-
Play Games

本文主要給大家羅列了HBase協處理器載入的三種方式:Shell載入(動態)、Api載入(動態)、配置文件載入(靜態)。其中靜態載入方式需要重啟HBase。 我們假設我們已經有一個現成的需要載入的協處理器Jar包: HelloCoprocessor 0.0.1.jar 。 協處理器載入的三種方式 S ...


本文主要給大家羅列了HBase協處理器載入的三種方式:Shell載入(動態)、Api載入(動態)、配置文件載入(靜態)。其中靜態載入方式需要重啟HBase。

我們假設我們已經有一個現成的需要載入的協處理器Jar包:HelloCoprocessor-0.0.1.jar

協處理器載入的三種方式

Shell載入

1. 上傳HDFS

將打包好的HelloCoprocessor-0.0.1.jar上傳伺服器,然後放到HDFS上。

# 切換hadoop用戶,創建演示目錄
$ hdfs dfs -mkdir /usr/hbase/coprocessor
$ hdfs dfs -put HelloCoprocessor-0.0.1.jar /usr/hbase/coprocessor

2. Shell 載入協處理器

我們假設其協處理器類的包名為:
org.myname.hbase.Coprocessor.RegionObserverExample
Shell 操作如下:

hbase> disable 'mytable' # 禁用表,可選
hbase> alter 'mytable', METHOD => 'table_att', 'coprocessor' => '/usr/hbase/coprocessor/HelloCoprocessor-0.0.1.jar'|org.myname.hbase.Coprocessor.RegionObserverExample|1001|arg1=1,arg2=2'
hbase> enable 'mytable' # 禁用表後啟用表,可選

結構如下:

hbase> alter 'mytable', METHOD => 'table_att', 'coprocessor' => ①|②|③|④'  

解釋下上面各個參數:
①:協處理器Jar包路徑,要保證所有的RegionServer可讀取到。也可以是本地路徑,不過建議是放在HDFS上。
②:協處理器的完整類名。
③:協處理器優先順序,整數表示。可以為空。
④:傳遞給協處理器的參數,可以為空。

註:各參數間不要有空格。

3. 驗證是否載入協處理器

hbase> desc 'mytable'

Table mytable is ENABLE
mytable, {TABLE_ATTRIBUTES => {coprocessor$1 => '/usr/hbase/coprocessor/HelloCoprocessor-0.0.1.jar'|org.myname.hbase.Coprocessor.RegionObserverExample|1001|arg1=1,arg2=2'}}

此驗證不保證協處理器能正常工作:shell命令既不保證特定位置存在jar文件,也不驗證給定類是否實際包含在jar文件中。

4. 卸載協處理器

hbase> disable 'mytable' # 禁用表,可選
hbase> alter 'mytable', METHOD => 'table_att_unset', NAME => 'coprocessor$1'
hbase> enable 'mytable' # 禁用表後啟用表,可選

坑:在沒有重啟HBase情況下,如果修改協處理器代碼並重新載入協處理器,請重命名協處理器Jar包的名字,否則不會生效。(由於當前JVM引用了現有的協處理器,因此必須通過重新啟動RegionServer來重新啟動JVM,以便替換它。)

Api 載入

具體方法是調用HtableDescriptor的addCoprocessor方法。該方法有兩個重載方法:

  • addCoprocessor(String className)
  • addCoprocessor(className,jarPath,priority,kvs)
    第二個重載方法提供了上述Shell中所需的各個參數①②③④,方法一則需要用戶手動將jar包分發到各個RegionServer的lib目錄下。

示例代碼如下:

TableName tableName = TableName.valueOf("mytable");
Path path = new Path("hdfs://<namenode>:<port>/usr/hbase/coprocessor/HelloCoprocessor-0.0.1.jar");
Configuration conf = HBaseConfiguration.create();
Connection connection = ConnectionFactory.createConnection(conf);
Admin admin = connection.getAdmin();
admin.disableTable(tableName);
HTableDescriptor hTableDescriptor = new HTableDescriptor(tableName);
HColumnDescriptor columnFamily1 = new HColumnDescriptor("f1");
columnFamily1.setMaxVersions(1);
hTableDescriptor.addFamily(columnFamily1);
HColumnDescriptor columnFamily2 = new HColumnDescriptor("f2");
columnFamily2.setMaxVersions(3);
hTableDescriptor.addFamily(columnFamily2);
hTableDescriptor.addCoprocessor('org.myname.hbase.Coprocessor.RegionObserverExample', path,
Coprocessor.PRIORITY_USER, null);
admin.modifyTable(tableName, hTableDescriptor);
admin.enableTable(tableName);

重新載入表定義,無需使用addCoprocessor()方法設置協處理器的值。這將刪除附加到表的任何協處理器。

配置文件載入

1. 修改配置文件:hbase-site.xml,配置項如下:

1.1 RegionObservers/Endpoints

<property>
    <name>hbase.coprocessor.region.classes</name>
    <value>org.myname.hbase.Coprocessor.RegionObserverExample</value> 
</property> 

1.2 WALObservers

<property>
    <name>hbase.coprocessor.wal.classes</name>
    <value>org.myname.hbase.Coprocessor.RegionObserverExample</value> 
</property> 

1.3 MasterObservers

<property>
    <name>hbase.coprocessor.master.classes</name>
    <value>org.myname.hbase.Coprocessor.RegionObserverExample</value> 
</property> 

如果想同時配置多個協處理器,可以用逗號分隔多個協處理器的類名。

2. 添加Jar包

將您的代碼放在HBase的類路徑上。一種簡單的方法是將jar(包含代碼和所有依賴項)放入HBase的安裝目錄lib/中。

3. 重啟HBase生效。

4. 靜態卸載

  • 從hbase-site.xml中刪除協處理器的元素,包括子元素。
  • 重啟HBase。
  • 從類路徑或HBase的lib/目錄中刪除協處理器的JAR文件。(可選)

掃描二維碼關註博主公眾號

轉載請註明出處!歡迎關註本人微信公眾號【HBase工作筆記】


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Linux中的所有設備都必須掛載之後才能使用,即必須給它分配“盤符”(即掛載點,就是系統中的某個空目錄)給它才能使用,Windows系統中一般是自動分配盤符,所以掛載的概念在Windows中是沒有的,比如你插入了一個U盤,Windows就會自動給它一個盤符(名稱)來連接U盤,但是Linux中必須手動 ...
  • 幫助命令 man info help help man 英文原意:format and display the on line manual pages 功能:顯示聯機幫助手冊 語法:man 選項[ fk] 命令 info (和man命令不同的是,info命令的幫助信息是一套完整的資料) 語法:in ...
  • 編輯定時任務 */10 * * * * python /root/a.py >> /www/a.log 2>&1 # 每隔10分鐘,執行一次 30 * * * * python /root/a.py >> /www/a.log 2>&1 # 每小時, 第30分鐘執行 * 2 * * * * curl ...
  • 製作鏡像有2種方式,一種是容器轉換成鏡像,另一種是使用dockerfile創建鏡像,一般後者更常用。 容器轉為鏡像 使用 命令將容器轉換成鏡像 需要轉移鏡像時,將該鏡像打成一個包 在另一臺電腦載入這個鏡像時,載入這個包 使用dockerfile創建鏡像(推薦) dockerfile是一個文本文件,包 ...
  • 最近發現我們開發環境的 IIS 上的 SSL 證書過期了,為了後面方便維護和更新,搞了一個 powershell 腳本,以後要更新的時候直接跑一下腳本就可以了,所以有了這篇文章 ...
  • 本教程主要介紹如何在Ubuntu 18.04系統上實現Spire.Cloud私有化部署。CentOS 7系統部署請參考 這篇教程。 詳細步驟如下: 一、環境配置 1、關閉防火牆 1)首先查看防火牆狀態 ufw status verbose (非管理員需在最前面加sudo) 預設情況下,防火牆狀態是i ...
  • 基本GCC命令的使用 GCC是一套由GNU項目開發的編程語言編譯器,可處理C語言、 C++、Fortran、Pascal、Objective C、Java等等。GCC通常是 跨平臺軟體的編譯器首選。gcc是GCC套件中的編譯驅動程式名。 若電腦是x86 64位系統,為了編譯成IA 32指令集, 則 ...
  • 目錄和文件都能操作的命令 rm cp mv rm 英文原意:remove files or directories 功能:刪除文件或目錄 語法:rm 選項[ fir] 文件或目錄 cp 英文原意:copy files and directories 功能:複製文件和目錄 語法:cp 選項[ adil ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...