體驗簡介 場景將提供一臺配置了CentOS 8.5操作系統的ECS實例（雲伺服器）。通過本教程的操作帶您體驗如何使用PolarDB-X與Flink搭建一個實時數據鏈路，模擬阿裡巴巴雙十一GMV大屏。 實驗準備 1. 創建實驗資源 開始實驗之前，您需要先創建ECS實例資源。 在實驗室頁面，單擊創建資源 ...
體驗簡介
場景將提供一臺配置了CentOS 8.5操作系統的ECS實例（雲伺服器）。通過本教程的操作帶您體驗如何使用PolarDB-X與Flink搭建一個實時數據鏈路，模擬阿裡巴巴雙十一GMV大屏。
實驗準備
1. 創建實驗資源
開始實驗之前，您需要先創建ECS實例資源。
-
在實驗室頁面，單擊創建資源。
-
（可選）在實驗室頁面左側導航欄中，單擊雲產品資源列表，可查看本次實驗資源相關信息（例如IP地址、用戶信息等）。
說明：資源創建過程需要1~3分鐘。
2. 安裝PolarDB-X
本步驟將指導您如何安裝PolarDB-X。
-
安裝並啟動Docker。
- 執行如下命令，安裝Docker。
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
- 執行如下命令，啟動Docker。
systemctl start docker
- 執行如下命令，安裝PolarDB-X。
docker run -d --name some-polardb-x -p 8527:8527 polardbx/polardb-x:2.1.0
3. 在PolarDB-X中準備訂單表
PolarDB-X支持通過MySQL Client命令行、第三方客戶端以及符合MySQL交互協議的第三方程式代碼進行連接。本實驗使用MySQL Client命令行連接到PolarDB-X資料庫。
本步驟將指導您如何連接PolarDB-X資料庫，並創建測試庫、測試表和測試數據。
- 執行如下命令，安裝MySQL。
yum install mysql -y
- 執行如下命令，查看MySQL版本號。
mysql -V
返回結果如下，表示您已成功安裝MySQL。
- 執行如下命令，登錄PolarDB-X資料庫。
說明：
-
本實驗場景中的PolarDB-X資料庫用戶名和密碼已預設，請您使用下方命令登錄即可。
-
如遇到mysql: [Warning] Using a password on the command line interface can be insecure.ERROR 2013 (HY000): Lost connection to MySQL server at 'reading initial communication packet', system error: 0報錯，請您稍等一分鐘，重新執行登錄命令即可。
mysql -h127.0.0.1 -P8527 -upolardbx_root -p123456
返回結果如下，表示您已成功登錄PolarDB-X資料庫。
- 執行如下SQL語句，創建測試庫mydb。
create database mydb;
- 執行如下SQL語句，使用測試庫mydb。
use mydb;
- 執行如下SQL語句，創建訂單表orders。
CREATE TABLE `orders` (
`order_id` int(11) NOT NULL AUTO_INCREMENT,
`order_date` datetime NOT NULL,
`customer_name` varchar(255) NOT NULL,
`price` decimal(10, 5) NOT NULL,
`product_id` int(11) NOT NULL,
`order_status` tinyint(1) NOT NULL,
PRIMARY KEY (`order_id`)
)AUTO_INCREMENT = 10001;
- 執行如下SQL語句，給訂單表orders中插入數據。
INSERT INTO orders
VALUES (default, '2020-07-30 10:08:22', 'Jark', 50.50, 102, false),
(default, '2020-07-30 10:11:09', 'Sally', 15.00, 105, false),
(default, '2020-07-30 12:00:30', 'Edward', 25.25, 106, false);
- 輸入exit退出資料庫。
4. 運行Flink
本步驟將指導您如何下載並運行Flink。
- 安裝JDK。
a.執行如下命令，使用yum安裝JDK 1.8。
yum -y install java-1.8.0-openjdk*
b.執行如下命令，查看是否安裝成功。
java -version
返回結果如下，表示您已成功安裝JDK 1.8。
- 下載Flink和Flink CDC MySQL Connector。
a.執行如下命令，下載Flink。
wget https://labfileapp.oss-cn-hangzhou.aliyuncs.com/PolarDB-X/flink-1.13.6-bin-scala_2.11.tgz
b.執行如下命令，解壓Flink。
tar xzvf flink-1.13.6-bin-scala_2.11.tgz
c.執行如下命令，進入lib目錄。
cd flink-1.13.6/lib/
d.執行如下命令，下載flink-sql-connector-mysql-cdc。
wget https://labfileapp.oss-cn-hangzhou.aliyuncs.com/PolarDB-X/flink-sql-connector-mysql-cdc-2.2.1.jar
e.執行如下命令，返回Flink目錄。
cd ..
- 啟動Flink。
a.執行如下命令，啟動Flink。
./bin/start-cluster.sh
b.執行如下命令，連接Flink。
./bin/sql-client.sh
- 在Flink中創建與PolarDB-X關聯的訂單表orders。
a.執行如下SQL語句，創建訂單表orders。
CREATE TABLE orders (
order_id INT,
order_date TIMESTAMP(0),
customer_name STRING,
price DECIMAL(10, 5),
product_id INT,
order_status BOOLEAN,
PRIMARY KEY (order_id) NOT ENFORCED
) WITH (
'connector' = 'mysql-cdc',
'hostname' = 'localhost',
'port' = '8527',
'username' = 'polardbx_root',
'password' = '123456',
'database-name' = 'mydb',
'table-name' = 'orders'
);
b.執行如下SQL語句，查看訂單表orders。
select * from orders;
返回結果如下，您可以查看到PolarDB-X的訂單表orders的數據已經同步到Flink的訂單表orders中。
c.按q鍵退出。
5. 啟動壓測腳本並實時獲取GMV
經過前面幾步操作後，我們在PolarDB-X中準備好了原始訂單表，在Flink中準備好了對應的訂單表，並通過 PolarDB-X Global Binlog與Flink CDC MySQL Connector打通了兩者之間的實時同步鏈路。 本步驟將指導您如何創建壓測腳本，模擬雙十一零點大量訂單涌入的場景。
- 準備壓測腳本。
a.在實驗頁面，單擊右上角的
圖標，創建新的終端二。
b.執行如下命令，創建配置文件mysql-config.cnf。
vim mysql-config.cnf
c.將如下代碼添加到配置文件mysql-config.cnf中。
[client]
user = "polardbx_root"
password = "123456"
host = 127.0.0.1
port = 8527
d.添加完成後的文件內容如下所示。按下Esc鍵後，輸入:wq後按下Enter鍵保存並退出。
e.執行如下命令，創建腳本buy.sh。
vim buy.sh
f.將如下代碼添加到腳本buy.sh中。
#!/bin/bash
echo "start buying..."
count=0
while :
do
mysql --defaults-extra-file=./mysql-config.cnf -Dmydb -e "insert into orders values(default, now(), 'free6om', 1024, 102, 0)"
let count++
if ! (( count % 10 )); then
let "batch = count/10"
echo $batch": got 10 products, gave 1024￥"
fi
sleep 0.05
done
g.添加完成後的文件內容如下所示。按下Esc鍵後，輸入:wq後按下Enter鍵保存並退出。
h.執行如下命令，為腳本buy.sh增加執行許可權。
chmod +x buy.sh
- 啟動Flink實時計算。
本實驗場景通過Flink SQL實時呈現GMV計算結果。
切換至終端一，在Flink中執行如下SQL語句，查詢GMV（gmv列）和訂單數（orders列）。
select 1, sum(price) as gmv, count(order_id) as orders from orders;
返回結果如下，您可在Flink的實時計算結果中查看到實時的GMV（gmv列）和訂單數（orders列）。
- 啟動壓測腳本。
a.切換至終端二，執行如下命令，啟動壓測腳本，開始創建訂單。
./buy.sh
返回結果如下，您可看到壓測腳本啟動後，不斷有訂單被創建出來。
b.切換至終端一，在Flink的實時計算結果中，可查看到實時的GMV（gmv列）和訂單數（orders列）。
恭喜完成
