1.簡介 Phoenix是一個HBase框架,可以通過SQL的方式來操作HBase。 Phoenix是構建在HBase上的一個SQL層,是內嵌在HBase中的JDBC驅動,能夠讓用戶使用標準的JDBC來操作HBase。 Phoenix使用JAVA語言進行編寫,其查詢引擎會將SQL查詢語句轉換成一個或 ...
1.簡介
Phoenix是一個HBase框架,可以通過SQL的方式來操作HBase。
Phoenix是構建在HBase上的一個SQL層,是內嵌在HBase中的JDBC驅動,能夠讓用戶使用標準的JDBC來操作HBase。
Phoenix使用JAVA語言進行編寫,其查詢引擎會將SQL查詢語句轉換成一個或多個HBase Scanner,且並行執行生成標準的JDBC結果集。
*如果需要對HBase進行複雜的操作,那麼應該使用Phoenix,其會將SQL語句轉換成HBase相應的API。
*Phoenix只能用在HBase上,其查詢性能要遠高於Hive。
2.Phoenix與HBase的關係
Phoenix與HBase中的表是獨立的,兩者之間沒有必然的關係。
Phoenix與HBase集成後會創建六張系統表:SYSTEM.CATALOG、SYSTEM.FUNCTION、SYSTEM.LOG、SYSTEM.SEQUENCE、SYSTEM.STATS,其中SYSTEM.CATALOG表用於存放Phoenix創建表時的元數據。
Phoenix創建表時會自動調用HBase客戶端創建相應的表,並且在SYSTEM.CATALOG系統表中記錄Phoenix創建表時的元數據,其主鍵的值對應HBase的RowKey,非主鍵的列對應HBase的Column(列族不指定時為0,且列會進行編碼)
如果是通過Phoenix創建的表,那麼必須通過Phoenix客戶端來對錶進行操作,因為通過Phoenix創建的表其非主鍵的列會進行編碼。
3.Phoenix語法
Phoenix的SQL中如果表名、欄位名不使用雙引號標註那麼預設轉換成大寫。
Phoenix中的字元串使用單引號進行標註。
創建表
CREATE TABLE IF NOT EXISTS us_population ( state CHAR(2) NOT NULL, city VARCHAR NOT NULL, population BIGINT CONSTRAINT my_pk PRIMARY KEY (state, city) );
*主鍵的值對應HBase中的RowKey,列族不指定時預設是0,非主鍵的列對應HBase的列。
刪除表
DROP TABLE us_population;
查詢數據
SELECT * FROM us_population WHERE state = 'NA' AND population > 10000 ORDER BY population DESC;
*在進行查詢時,支持ORDER BY、GROUP BY、LIMIT、JOIN等操作,同時Phoenix提供了一系列的函數,其中包括COUNT()、MAX()、MIN()、SUM()等,具體的函數列表可以查看:http://phoenix.apache.org/language/functions.html
*不管條件中的列是否是聯合主鍵中的,Phoenix一樣可以支持。
刪除數據
DELETE FROM us_population WHERE state = 'NA';
插入或更新數據
UPSERT INTO us_population VALUES('CA','GZ',850000);
UPSERT INTO us_population(state,city) VALUES('CA','GZ');
*如果主鍵的值重覆,那麼進行更新操作,否則插入一條新的記錄(在進行更新時,沒有更新的列保持原值,在進行插入時,沒有插入的列為null)
*在使用UPSERT時,主鍵的列不能為空(包括聯合主鍵)
4.Phoenix映射HBase
只要直接通過HBase客戶端創建的表,若想用Phoenix來進行操作,那麼必須要進行表的映射,因為SYSTEM.CATALOG表中並沒有維護Phoenix創建表的元數據。
創建表來進行表的映射
CREATE TABLE IF NOT EXISTS 表名( 列名 類型 主鍵, 列簇.列名, 列簇.列名 )
*HBase中的RowKey映射Phoenix的主鍵,HBase中的Column映射Phoenix的列,且使用列簇名.列名進行映射。
*相當於在SYSTEM.CATALOG表中錄入相關的元數據,使Phoenix能夠進行操作它。
創建視圖來進行表的映射
CREATE VIEW 視圖名( 列名 類型 主鍵, 列簇.列名, 列簇.列名 )
*Phoenix中的視圖只能進行查詢,不能進行添加、更新、刪除操作。
5.Phoenix優化
1.服務端配置優化
*往HBase安裝目錄下的conf目錄下的hbase-site.xml文件中添加配置。
2.對錶中的數據進行分區
哈希取模
通過在創建表時指定SALE_BUCKETS來實現將表中的數據預分割到多個Region中,有利於提高讀取數據的性能。
其原理是將RowKey進行散列,把得到的餘數的byte值插入到RowKey的第一個位元組中,並通過預定義每個Region的Start Key和End Key,將數據分散存儲到不同的Region中。
CREATE TABLE IF NOT EXISTS us_population ( state CHAR(2) NOT NULL, city VARCHAR NOT NULL, population BIGINT CONSTRAINT my_pk PRIMARY KEY (state, city) )SALT_BUCKETS=16;
*通過SALE_BUCKETS設置哈希函數的除數P(除留餘數法)
根據值來進行預分區
在創建表時,可以精確的指定RowKey根據什麼值來進行預分區,不同的值存儲在獨立的Region中,有利於提高讀取數據的性能。
CREATE TABLE IF NOT EXISTS us_population ( state CHAR(2) NOT NULL, city VARCHAR NOT NULL, population BIGINT CONSTRAINT my_pk PRIMARY KEY (state, city) )SPLIT ON('CS','EU','NA');
3.創建表時指定列簇
在HBase中每個列簇對應一個文件,如果要查詢的列其列簇下只有它自己,那麼將極大的提高讀取數據的性能。
CREATE TABLE IF NOT EXISTS us_population ( state CHAR(2) NOT NULL, city VARCHAR NOT NULL, C1.population BIGINT CONSTRAINT my_pk PRIMARY KEY (state, city) );
*列族只能在非主鍵列中進行指定。
4.對錶進行壓縮
在創建表時可以指定表的壓縮方式,能極大的提高數據的讀寫效率。
CREATE TABLE IF NOT EXISTS us_population ( state CHAR(2) NOT NULL, city VARCHAR NOT NULL, population BIGINT CONSTRAINT my_pk PRIMARY KEY (state, city) )COMPRESSION='GZ';
*可選的壓縮方式包括GZip、Snappy、Lzo等。
5.使用二級索引
在HBase中會自動為RowKey添加索引,因此在通過RowKey查詢數據時效率會很高,但是如果要根據其他列來進行組合查詢,那麼查詢的性能就很低下,此時可以使用Phoenix提供的二級索引,能夠極大的提高查詢數據的性能。
創建普通索引
CREATE INDEX 索引名稱 ON 表名(列名)
創建二級索引
CREATE INDEX 索引名稱 ON 表名(列名) INCLUDE(列名)
6.Phoenix的搭建
1.安裝JDK、Hadoop、Zookeeper、HBase
由於Phoenix是內嵌在HBase的JDBC驅動,且HBase是通過JAVA語言編寫的,其基於HDFS,且依賴於Zookeeper進行服務的協調和HA高可用配置,因此需要安裝JDK、Hadoop和Zookeeper,並配置好JAVA_HOME環境變數。
由於HDFS一般都以集群的方式運行,因此需要搭建HDFS集群並啟動。
*在搭建HDFS集群時,需要相互配置SSH使之互相信任並且開放防火牆相應的埠,或者直接關閉防火牆。
啟動Zookeeper集群
由於HBase一般都以集群的方式運行,因此需要搭建HBase集群並啟動。
2.安裝Phoenix
選擇對應HBase版本的Phoenix版本:http://archive.apache.org/dist
將下載後的hbase-server.jar複製到HBase安裝目錄的lib目錄下。
3.重啟HBase集群
由於已經將Phoenix的hbase-server.jar複製到HBase的lib目錄下,當HBase集群啟動時將會載入Phoenix,並載入hbase-site.xml配置文件(存放HBase和Phoenix的配置),此時可以使用Phoenix客戶端進行連接,通過標準的JDBC來操作HBase。
*Phoenix第一次啟動時,會在HBase中創建六張系統表,用於存放Phoenix的相關信息。
7.Phoenix客戶端
使用sqlline.py操作Phoenix
Phoenix提供了sqlline.py腳本用於啟動Phoenix客戶端併進行連接,啟動時只需要指定HBase連接的Zookeeper集群地址即可。
*使用!tables查詢通過Phoenix創建的表(即SYSTEM.CATALOG表中的元數據)
使用JAVA操作Phoenix
導入依賴
<dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-core</artifactId> <version>4.14.1-HBase-1.2</version> </dependency>
使用標準的JDBC來操作HBase
//載入驅動 Class.forName("org.apache.phoenix.jdbc.PhoenixDriver"); //通過DriverManager獲取連接 Connection conn = DriverManager.getConnection("jdbc:phoenix:192.168.1.80,192.168.1.81,192.168.1.82:2181); //創建Statement實例 Statement statement = conn.prepareStatement(sql); //執行增、刪、改、查等操作 execute(sql) executeUpdate(sql) executeQuery(sql)
完整的PhoenixUtils
/** * @Auther: ZHUANGHAOTANG * @Date: 2019/1/9 10:24 * @Description: */ public class PhoenixUtils { private static final Logger logger = LoggerFactory.getLogger(PhoenixUtils.class); private static final String PHOENIX_DRIVER = "org.apache.phoenix.jdbc.PhoenixDriver"; private static final String PHOENIX_URL = "jdbc:phoenix:192.168.1.80,192.168.1.81,192.168.1.82:2181"; private static Connection conn = null; static { try { Class.forName(PHOENIX_DRIVER); conn = DriverManager.getConnection(PHOENIX_URL); } catch (Exception e) { logger.info("初始化Phoenix連接時失敗", e); } } /** * 獲取Phoenix中的表(系統表除外) */ public static List<String> getTables() throws Exception { List<String> tables = new ArrayList<>(); DatabaseMetaData metaData = conn.getMetaData(); String[] types = {"TABLE"}; //"SYSTEM TABLE" ResultSet resultSet = metaData.getTables(null, null, null, types); while (resultSet.next()) { tables.add(resultSet.getString("TABLE_NAME")); } return tables; } /** * 獲取表中的所有數據 */ public static List<Map<String, String>> getList(String tableName) throws Exception { String sql = "SELECT * FROM " + tableName; PreparedStatement preparedStatement = conn.prepareStatement(sql); ResultSet resultSet = preparedStatement.executeQuery(); ResultSetMetaData resultSetMetaData = resultSet.getMetaData(); List<Map<String, String>> resultList = new ArrayList<>(); while (resultSet.next()) { Map<String, String> result = new HashMap<>(); for (int i = 1, len = resultSetMetaData.getColumnCount(); i <= len; i++) { result.put(resultSetMetaData.getColumnName(i), resultSet.getString(i)); } resultList.add(result); } return resultList; } }