前言 Lepus的慢查詢分析平臺是獨立於監控系統的模塊，該功能需要使用percona toolkit工具來採集和記錄慢查詢日誌，並且需要部署一個我們提供的shell腳本來進行數據採集。該腳本會自動開啟您資料庫的慢查詢日誌，並對慢查詢日誌進行按小時的切割，並收集慢查詢日誌的數據到監控機資料庫。隨後您通 ...
 ## 前言 Lepus的慢查詢分析平臺是獨立於監控系統的模塊，該功能需要使用percona-toolkit工具來採集和記錄慢查詢日誌，並且需要部署一個我們提供的shell腳本來進行數據採集。該腳本會自動開啟您資料庫的慢查詢日誌，並對慢查詢日誌進行按小時的切割，並收集慢查詢日誌的數據到監控機資料庫。隨後您通過Lepus系統就可以分析慢查詢了。 ## 安裝 ### 安裝 percona-toolkit ``` yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-IO-Socket-SSL perl-DBI perl-DBD-MySQL ``` 下載地址：https://www.percona.com/downloads/percona-toolkit/LATEST/ ``` ## 你也可以選擇其他版本 wget https://www.percona.com/downloads/percona-toolkit/2.2.6/RPM/percona-toolkit-2.2.6-1.noarch.rpm ``` 安裝： ``` rpm -ivh percona-toolkit-2.2.6-1.noarch.rpm ``` ###開啟慢查詢分析 在 MySQL 伺服器管理裡面電擊右側的編輯按鈕，進入伺服器編輯界面，開啟慢查詢日誌。 ### 慢查詢腳本 ```shell #!/bin/bash #****************************************************************# # ScriptName:/usr/local/sbin/lepus_slowquery.sh # Create Date:2018-11-05 #***************************************************************# # configlepus database server 監控端 lepus_db_host="192.168.1.180" lepus_db_port=9002 lepus_db_user="lepus_user" lepus_db_password="password" lepus_db_database="lepus" # configmysql server 被監控端 # 通過 which mysql 命令查詢位置 mysql_client="/usr/local/mysql/bin/mysql" mysql_host="192.168.1.190" mysql_port=3306 mysql_user="root" mysql_password="root" # configslowqury # 慢查詢日誌存放地址 slowquery_dir="/data/mysql/" # 慢日誌時間1s，可以自行定義 slowquery_long_time=1 # 獲取被監控端慢日誌存放位置 slowquery_file=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "show variables like 'slow_query_log_file';" | grep log | awk '{print $2}'` # 通過 which pt-query-digest 命令查詢位置 pt_query_digest=`/usr/bin/pt-query-digest` # config server_id，從監控列表查找ID，必須一致，否則無法展示數據 lepus_server_id=1 # collect mysqlslowquery log into lepus database; # 收集慢日誌存儲到天兔監控資料庫 $pt_query_digest --user=$lepus_db_user --password=$lepus_db_password --port=$lepus_db_port --charset=utf8 --review h=$lepus_db_host,D=$lepus_db_database,t=mysql_slow_query_review --history h=$lepus_db_host,D=$lepus_db_database,t=mysql_slow_query_review_history --no-report --limit=100% --filter="\$event->{add_column} = length(\$event->{arg}) and\$event->{serverid}=$lepus_server_id " $slowquery_file 2> /dev/null # set a new slowquery log; tmp_log=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "select concat('$slowquery_dir','slow_',date_format(now(),'%Y%m%d%H'),'.log');" | grep log | sed -n -e '2p'` # config mysqlslowquery; $mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log=1;set global long_query_time=$slowquery_long_time;" 2> /dev/null $mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log_file = '$tmp_log';" 2> /dev/null # delete log before 7days; cd $slowquery_dir /usr/bin/find ./ -name 'slow_*' -mtime +7 | xargs rm -rf ``` 配置完成後保存，並加入計劃任務。因為慢查詢做了按小時的切割，建議計劃任務時間間隔在1小時之內。 將以上腳本加入定時任務： ```shell crontab -e ``` 寫入腳本： ```shell */5 * * * * sh /usr/local/sbin/lepus_slowquery.sh > /dev/null 2>&1 ``` 這裡，我們也可以手動執行看一下效果，登錄監控端服務，查看慢查詢相關參數： ```shell mysql> show variables like 'slow_query%'; +---------------------------+--------------------------------------+ | Variable_name | Value | +---------------------------+--------------------------------------+ | slow_query_log | OFF | | slow_query_log_file | /data/mysql/slowquery_2018110609.log | +---------------------------+--------------------------------------+ mysql> show variables like 'long_query_time'; +-----------------+-----------+ | Variable_name | Value | +-----------------+-----------+ | long_query_time | 0.500000 | +-----------------+-----------+ ``` ### 參數說明 - slow_query_log 慢查詢開啟狀態 - slow_query_log_file 慢查詢日誌存放的位置（這個目錄需要MySQL的運行帳號的可寫許可權，一般設置為MySQL的數據存放目錄） - long_query_time 查詢超過多少秒才記錄 ## 展示 配置完成後，稍等片刻，即可在慢查詢分析平臺查看該庫的慢查詢日誌。  ## 小結 被監控監控機通過 percona-toolkit 工具和 shell 腳本來採集慢查詢日誌併發送到監控機，Lepus的慢查詢分析平臺對採集數據進行展示和分析。 ## 參考 http://www.lepus.cc/post/53 https://gitee.com/ruzuojun/Lepus/tree/master/client/mysql
