本文主要給大家羅列了HBase協處理器載入的三種方式:Shell載入(動態)、Api載入(動態)、配置文件載入(靜態)。其中靜態載入方式需要重啟HBase。 我們假設我們已經有一個現成的需要載入的協處理器Jar包: HelloCoprocessor 0.0.1.jar 。 協處理器載入的三種方式 S ...
本文主要給大家羅列了HBase協處理器載入的三種方式:Shell載入(動態)、Api載入(動態)、配置文件載入(靜態)。其中靜態載入方式需要重啟HBase。
我們假設我們已經有一個現成的需要載入的協處理器Jar包:HelloCoprocessor-0.0.1.jar。
協處理器載入的三種方式
Shell載入
1. 上傳HDFS
將打包好的HelloCoprocessor-0.0.1.jar上傳伺服器,然後放到HDFS上。
# 切換hadoop用戶,創建演示目錄
$ hdfs dfs -mkdir /usr/hbase/coprocessor
$ hdfs dfs -put HelloCoprocessor-0.0.1.jar /usr/hbase/coprocessor
2. Shell 載入協處理器
我們假設其協處理器類的包名為:
org.myname.hbase.Coprocessor.RegionObserverExample
Shell 操作如下:
hbase> disable 'mytable' # 禁用表,可選
hbase> alter 'mytable', METHOD => 'table_att', 'coprocessor' => '/usr/hbase/coprocessor/HelloCoprocessor-0.0.1.jar'|org.myname.hbase.Coprocessor.RegionObserverExample|1001|arg1=1,arg2=2'
hbase> enable 'mytable' # 禁用表後啟用表,可選
結構如下:
hbase> alter 'mytable', METHOD => 'table_att', 'coprocessor' => ①|②|③|④'
解釋下上面各個參數:
①:協處理器Jar包路徑,要保證所有的RegionServer可讀取到。也可以是本地路徑,不過建議是放在HDFS上。
②:協處理器的完整類名。
③:協處理器優先順序,整數表示。可以為空。
④:傳遞給協處理器的參數,可以為空。
註:各參數間不要有空格。
3. 驗證是否載入協處理器
hbase> desc 'mytable'
Table mytable is ENABLE
mytable, {TABLE_ATTRIBUTES => {coprocessor$1 => '/usr/hbase/coprocessor/HelloCoprocessor-0.0.1.jar'|org.myname.hbase.Coprocessor.RegionObserverExample|1001|arg1=1,arg2=2'}}
此驗證不保證協處理器能正常工作:shell命令既不保證特定位置存在jar文件,也不驗證給定類是否實際包含在jar文件中。
4. 卸載協處理器
hbase> disable 'mytable' # 禁用表,可選
hbase> alter 'mytable', METHOD => 'table_att_unset', NAME => 'coprocessor$1'
hbase> enable 'mytable' # 禁用表後啟用表,可選
坑:在沒有重啟HBase情況下,如果修改協處理器代碼並重新載入協處理器,請重命名協處理器Jar包的名字,否則不會生效。(由於當前JVM引用了現有的協處理器,因此必須通過重新啟動RegionServer來重新啟動JVM,以便替換它。)
Api 載入
具體方法是調用HtableDescriptor的addCoprocessor方法。該方法有兩個重載方法:
- addCoprocessor(String className)
- addCoprocessor(className,jarPath,priority,kvs)
第二個重載方法提供了上述Shell中所需的各個參數①②③④,方法一則需要用戶手動將jar包分發到各個RegionServer的lib目錄下。
示例代碼如下:
TableName tableName = TableName.valueOf("mytable");
Path path = new Path("hdfs://<namenode>:<port>/usr/hbase/coprocessor/HelloCoprocessor-0.0.1.jar");
Configuration conf = HBaseConfiguration.create();
Connection connection = ConnectionFactory.createConnection(conf);
Admin admin = connection.getAdmin();
admin.disableTable(tableName);
HTableDescriptor hTableDescriptor = new HTableDescriptor(tableName);
HColumnDescriptor columnFamily1 = new HColumnDescriptor("f1");
columnFamily1.setMaxVersions(1);
hTableDescriptor.addFamily(columnFamily1);
HColumnDescriptor columnFamily2 = new HColumnDescriptor("f2");
columnFamily2.setMaxVersions(3);
hTableDescriptor.addFamily(columnFamily2);
hTableDescriptor.addCoprocessor('org.myname.hbase.Coprocessor.RegionObserverExample', path,
Coprocessor.PRIORITY_USER, null);
admin.modifyTable(tableName, hTableDescriptor);
admin.enableTable(tableName);
重新載入表定義,無需使用addCoprocessor()方法設置協處理器的值。這將刪除附加到表的任何協處理器。
配置文件載入
1. 修改配置文件:hbase-site.xml,配置項如下:
1.1 RegionObservers/Endpoints
<property>
<name>hbase.coprocessor.region.classes</name>
<value>org.myname.hbase.Coprocessor.RegionObserverExample</value>
</property>
1.2 WALObservers
<property>
<name>hbase.coprocessor.wal.classes</name>
<value>org.myname.hbase.Coprocessor.RegionObserverExample</value>
</property>
1.3 MasterObservers
<property>
<name>hbase.coprocessor.master.classes</name>
<value>org.myname.hbase.Coprocessor.RegionObserverExample</value>
</property>
如果想同時配置多個協處理器,可以用逗號分隔多個協處理器的類名。
2. 添加Jar包
將您的代碼放在HBase的類路徑上。一種簡單的方法是將jar(包含代碼和所有依賴項)放入HBase的安裝目錄lib/中。
3. 重啟HBase生效。
4. 靜態卸載
- 從hbase-site.xml中刪除協處理器的
元素,包括子元素。 - 重啟HBase。
- 從類路徑或HBase的lib/目錄中刪除協處理器的JAR文件。(可選)
轉載請註明出處!歡迎關註本人微信公眾號【HBase工作筆記】