MySQL資料庫監控軟體lepus使用問題以及解決辦法

来源:https://www.cnblogs.com/coe2coe/archive/2018/09/27/9711967.html
-Advertisement-
Play Games

在使用lepus3.7監控MySQL資料庫的時候，碰到了以下幾個問題，本博客給出了這些問題產生的原因，以及相應的解決辦法。 1. 問題1：php頁面無法連接資料庫 直接使用php程式執行php文件，可以連接mysql，但是在httpd中同樣的php頁面無法連接mysql。 lepus的web程式(P ...


在使用lepus3.7監控MySQL資料庫的時候，碰到了以下幾個問題，本博客給出了這些問題產生的原因，以及相應的解決辦法。1. 問題1：php頁面無法連接資料庫直接使用php程式執行php文件，可以連接mysql，但是在httpd中同樣的php頁面無法連接mysql。lepus的web程式(PHP代碼)無法連接資料庫時，web界面上什麼操作也無法繼續。為此編寫了最簡單的PDO連接測試代碼：php代碼如下：[x@coe2coe lepus]$ cat mysql.php<?php  try{ #$dsn="mysql:host=127.0.0.1;dbname=lepus;"; $dsn="mysql:host=11.1.1.11;dbname=lepus;"; $user="coe2coe"; $pwd="XXXXXXXXXX"; $sql="select now() as a"; $dbh=new PDO($dsn,$user,$pwd); $stmt=$dbh->prepare($sql); $stmt->execute(); $row=$stmt->fetch(PDO::FETCH_ASSOC); echo "result:".$row['a'];  }  catch(PDOException $e) {  echo  "FAILED:".$e->getMessage();  }?>php程式直接執行php文件：[x@coe2coe lepus]$ php mysql.phpresult:2018-09-27 00:03:44通過瀏覽器訪問這個頁面：FAILED:SQLSTATE[HY000] [2003] Can't connect to MySQL server on '11.1.1.11' (13)lepus的web程式給出的錯誤提示信息更加模糊。原因：通過一番baidu之後，終於看到了一個比較靠譜的分析。Linux(CentOS7)的selinux安全機制禁止了httpd中的模塊訪問網路。[x@coe2coe lepus]$ sudo getsebool -a |grep httpdhttpd_anon_write --> offhttpd_builtin_scripting --> onhttpd_can_check_spam --> offhttpd_can_connect_ftp --> offhttpd_can_connect_ldap --> offhttpd_can_connect_mythtv --> offhttpd_can_connect_zabbix --> offhttpd_can_network_connect --> offhttpd_can_network_connect_cobbler --> offhttpd_can_network_connect_db --> offhttpd_can_network_memcache --> offhttpd_can_network_relay --> offhttpd_can_sendmail --> offhttpd_dbus_avahi --> offhttpd_dbus_sssd --> offhttpd_dontaudit_search_dirs --> offhttpd_enable_cgi --> onhttpd_enable_ftp_server --> offhttpd_enable_homedirs --> offhttpd_execmem --> offhttpd_graceful_shutdown --> onhttpd_manage_ipa --> offhttpd_mod_auth_ntlm_winbind --> offhttpd_mod_auth_pam --> offhttpd_read_user_content --> offhttpd_run_ipa --> offhttpd_run_preupgrade --> offhttpd_run_stickshift --> offhttpd_serve_cobbler_files --> offhttpd_setrlimit --> offhttpd_ssi_exec --> offhttpd_sys_script_anon_write --> offhttpd_tmp_exec --> offhttpd_tty_comm --> offhttpd_unified --> offhttpd_use_cifs --> offhttpd_use_fusefs --> offhttpd_use_gpg --> offhttpd_use_nfs --> offhttpd_use_openstack --> offhttpd_use_sasl --> offhttpd_verify_dns --> off解決辦法：臨時辦法：臨時禁用SELINUX。[x@coe2coe lepus]$ sudo setenforce 0永久辦法：修改selinux配置文件，禁用SELINUX。[x@coe2coe lepus]$ cat /etc/selinux/config# This file controls the state of SELinux on the system.# SELINUX= can take one of these three values:#     enforcing - SELinux security policy is enforced.#     permissive - SELinux prints warnings instead of enforcing.#     disabled - No SELinux policy is loaded.#SELINUX=enforcingSELINUX=disabled# SELINUXTYPE= can take one of three two values:#     targeted - Targeted processes are protected,#     minimum - Modification of targeted policy. Only selected processes are protected. #     mls - Multi Level Security protection.SELINUXTYPE=targeted 驗證：再次在瀏覽器中訪問這個php頁面：result:2018-09-27 00:09:262. 問題2：lepus日誌中出現group by警告。2018-09-27 01:12:41 [WARNING] check mysql 11.1.1.11:3408 failure: 1055 Expression #2 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'information_schema.processlist.USER' which is not functionally dependent on columns in GROUP BY clause; this is incompatible with sql_mode=only_full_group_by原因：這是lepus後端監控程式寫的log。預設情況下sql_mode包含ONLY_FULL_GROUP_BY。mysql> select @@sql_mode;+-------------------------------------------------------------------------------------------------------------------------------------------+| @@sql_mode                                                                                                                                |+-------------------------------------------------------------------------------------------------------------------------------------------+| ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION |+-------------------------------------------------------------------------------------------------------------------------------------------+1 row in set (0.01 sec)解決辦法：去掉ONLY_FULL_GROUP_BY。sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION3. 問題3：複製監控查詢不到數據。沒有查詢到數據.解決辦法：show_compatibility_56=14. 問題4：表空間分析沒有數據。5. 問題5:慢查詢沒有數據。前提：MySQL的my.cnf配置文件中已經配置了慢查詢日誌。slow_query_log=1long_query_time=10log_slow_admin_statements=1log_slow_slave_statements=1原因：1.lepus慢查詢分析基於pecona-toolkit工具包中的pt-query-digest程式。需要先安裝這個工具包。2. pt-query-digest程式與lepus3.7建的表有點衝突。Pipeline process 5 (iteration) caused an error: DBD::mysql::st execute failed: Data truncated for column 'checksum' at row 1 [for Statement "REPLACE INTO `lepus`.`mysql_slow_query_review_history`(`checksum`, `sample`, `serverid_max`, `db_max`, `user_max`, `ts_min`, .....Terminating pipeline because process 4 (iteration) caused too many errors.修改mysql_slow_query_review：mysql> alter table mysql_slow_query_review modify checksum varchar(100) not null ;Query OK, 0 rows affected (0.03 sec)Records: 0  Duplicates: 0  Warnings: 0修改mysql_slow_query_review_history:mysql> alter table mysql_slow_query_review_history modify checksum varchar(100) not null;Query OK, 0 rows affected (0.02 sec)Records: 0  Duplicates: 0  Warnings: 0mysql> alter table mysql_slow_query_review_history modify serverid_max smallint(4) null;Query OK, 0 rows affected (0.02 sec)Records: 0  Duplicates: 0  Warnings: 0修改腳本：原始的lepus_slowquery.sh文件存在一些問題。(1) 需要人工指定lepus_server_id。這個腳本需要在每個MySQL伺服器上部署，因此如果要監控的MySQL很多，會比較容易出錯。lepus_server_id這個參數很重要。下麵的代碼可以自動取得這個id。id=$( $mysql_client -h$lepus_db_host -P$lepus_db_port -u$lepus_db_user -p$lepus_db_password  -e "select id,host,port from $lepus_db_database.db_servers_mysql where host='$mysql_host' and port=$mysql_port\G" 2>/dev/null |grep "id:" |awk -F": " '{print $2}')(2）同一臺機器上如果部署有多個MySQL服務實例時，應該只需要一個定時任務即可，在另一腳本中同時對本機的多個MySQL服務實例進行檢查。這個總的定時腳本如下,測試時開啟了6個MySQL實例,埠依次為：3306 3307 3308 3406 3407 3408.其中3306和3406為MASTER，其它為SLAVE。在這個總的腳本中對每個實例調用lepus_slowquery.sh。[x@coe2coe mysql]$ cat slowquery.sh###################################################################   FileName    ：slowquery.sh#   Author      : [email protected]#   Created     ：2018-09-27#   Description ：http://www.cnblogs.com/coe2coe/##################################################################!/bin/bashports=(3306 3307 3308 3406 3407 3408)i=0while [ $i -lt ${#ports[*]} ]do  port=${ports[$i]}  echo -e "/lepus_slowquery.sh $port"  ./lepus_slowquery.sh $port   let i=i+1done(3)原始的lepus_slowquery.sh會去修改MySQL的全局配置參數，個人認為不需要修改，這兩個配置還是應該按照MySQL伺服器的my.cnf文件中配置的為準,不應該因為部署了一個lepus監控系統就隨意的修改這個參數。因此直接註釋掉了最後面的幾行代碼。long_query_timeslow_query_log_file修改後的完整的lepus_slowquery.sh文件如下：[x@coe2coe mysql]$ cat lepus_slowquery.sh#!/bin/bash#****************************************************************## ScriptName: /usr/local/sbin/lepus_slowquery.sh# Create Date: 2014-03-25 10:01# Modify Date: 2014-03-25 10:01#***************************************************************#port=$1id=$2if [ "$port" == "" ] || [ $port -lt 1 ] then  echo -e "invalid argument port"  exit 1fiecho -e "mysql port is :{$port} "#config lepus database serverlepus_db_host="11.1.1.11"lepus_db_port=3306lepus_db_user="lepus_monitor"lepus_db_password="XXXXXXXXXX"lepus_db_database="lepus"#config mysql servermysql_client="/usr/bin/mysql"mysql_host="11.1.1.11"mysql_port=$portmysql_user="lepus_monitor"mysql_password="XXXXXXXXXX"id=$( $mysql_client -h$lepus_db_host -P$lepus_db_port -u$lepus_db_user -p$lepus_db_password  -e "select id,host,port from $lepus_db_database.db_servers_mysql where host='$mysql_host' and port=$mysql_port\G" 2>/dev/null |grep "id:" |awk -F": " '{print $2}')if [ "$id" == "" ] || [ $id -lt 1 ]then   echo -e "invalid argument id"   exit 2fiecho -e "mysql lepus id is :{$id}"#config slowquryslowquery_dir="/tmp/"slowquery_long_time=1slowquery_file=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password  -e "show variables like 'slow_query_log_file'" 2>/dev/null |grep log|awk '{print $2}'`pt_query_digest="/usr/bin/pt-query-digest"#config server_idlepus_server_id=$id#collect mysql slowquery log into lepus database$pt_query_digest --user=$lepus_db_user --password=$lepus_db_password --port=$lepus_db_port --review h=$lepus_db_host,D=$lepus_db_database,t=mysql_slow_query_review  --history h=$lepus_db_host,D=$lepus_db_database,t=mysql_slow_query_review_history  --no-report --limit=100% --filter=" \$event->{add_column} = length(\$event->{arg}) and \$event->{serverid}=$lepus_server_id " $slowquery_file > /tmp/lepus_slowquery.log##### set a new slow query log ############tmp_log=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "select concat('$slowquery_dir','slowquery_', '$port','_', date_format(now(),'%Y%m%d%H'),'.log');" 2>/dev/null |grep log|sed -n -e '2p'`#config mysql slowquery#$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log=1;set global long_query_time=$slowquery_long_time;" 2>/dev/null#$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log_file = '$tmp_log'; "#delete log before 7 days#cd $slowquery_dir#/usr/bin/find ./ -name 'slowquery_*' -mtime +7|xargs rm -rf ;####END####6. 問題6：web慢查詢查詢不到lepus中的數據在mysql_slow_query_review表中記錄了慢查詢，但是在lepus web界面上沒有數據。執行：select sleep(14)有時候無法在web界面查詢到。原因：有時候pt-query-digest產生的結果中db_max為NULL，導致查詢不出來。這個欄位安裝的原始資料庫是NOT NULL，但是在NOT NULL的情況下pt-query-digest有時會插入NULL數據，導致報錯。所以修改為了NULL。修改為NULL後，web界面中查詢時使用的PHP程式的SQL語句有問題，沒有考慮NULL的情況，導致查詢不出來這部分數據。解決辦法：臨時打開general_log這個全局參數，再做web查詢慢日誌，就可以很快找到這個SQL語句，再根據這個SQL語句就可以找到有問題的PHP代碼。將 application/controllers/lp_mysql.php中的以下語句註釋掉即可。修改前：$this->db->where( "b.db_max !=", 'information_schema'");修改後：//$this->db->where( "b.db_max !=", 'information_schema'");7. 問題7：主機監控中的三項都沒有數據。原因：監控主機以及被監控主機上沒有安裝snmpd，snmptrapd。解決辦法：在所有主機上安裝snmpd和snmptrapd。軟體包：x@coe2coe snmp]$ ls net-snmp*net-snmp-5.7.2-32.el7.x86_64.rpmnet-snmp-agent-libs-5.7.2-32.el7.x86_64.rpmnet-snmp-devel-5.7.2-32.el7.x86_64.rpmnet-snmp-libs-5.7.2-32.el7.x86_64.rpmnet-snmp-perl-5.7.2-32.el7.x86_64.rpmnet-snmp-python-5.7.2-32.el7.x86_64.rpmnet-snmp-sysvinit-5.7.2-32.el7.x86_64.rpmnet-snmp-utils-5.7.2-32.el7.x86_64.rpmCentOS7-everything-xxx.iso上有這些軟體包。安裝完畢後啟動snmpd和snmptrapd服務。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • orcl創建表及管理表
    常用的欄位數據類型： .字元串（varchar2(n)） n表示保存最大長度，基本200作用。.整數（number(n)） n位的整數，也可用int代替.小數（number(n,m)） m為小數位，n-m為整數位，有時候用float代替.日期（date） 存放日期.大文本（clob） 存儲海量文字（ ...
  • orcl創建資料庫
    1、首先先創建一個文件夾存放資料庫目錄：d:cs 用戶及密碼為cs 2、創建表空間： create tablespace csdatafile 'O:\cs\cs.dbf' size 50M autoextend on next 10M maxsize unlimited logging exten ...
  • mysql innodb 從 ibd 文件恢復表數據
    最近內部的 mysql 資料庫發生了一件奇怪的事，其中有一個表 users625 突然出現問題， 所有對它的操作都報錯誤 。 它還顯示在列表裡，在 mysql 數據目錄中也可以找到對應的表文件，也沒有 進行過刪除操作，突然出現這樣的錯誤非常奇怪。 <! more 內部運行環境： | 名稱 | 值 | ...
  • 踩坑記:mysql timeStamp預設值0000-00-00 00:00:00 報錯
    報錯現象： 從mysql5.5資料庫導出的數據結構放到mysql5.7.10 報錯create_time timestamp NOT NULL DEFAULT ‘0000-00-00 00:00:00’ 則會出現以下的異常： Invalid default value for ‘create_tim ...
  • Sql查詢今天、本周和本月的記錄(時間欄位為時間戳)
    工作中遇到的問題，小結一下 查詢今日添加的記錄： select * from [表名] where datediff(day,CONVERT(VARCHAR(20),DATEADD(SECOND,[時間欄位],'1970-01-01 00:00:00'),120),getdate())=0 這裡的 ...
  • SQLServer之創建主XML索引
    創建主XML索引註意事項 若要創建主 XML 索引，請使用 CREATE INDEX (Transact-SQL) Transact-SQL DDL 語句。 XML 索引不完全支持可用於非 XML 索引的所有選項。 創建 XML 索引時註意下列事項： 若要創建主 XML 索引，含有被索引的 XML ...
  • Hadoop的版本演變
    Hadoop版本演變 Apache Hadoop的四大分支構成了三個系列的Hadoop版本： 0.20.X系列 主要有兩個特征：Append與Security 0.21.0/0.22.X系列 整個Hadoop項目被分割成三個獨立的模塊： 1.Common模塊 2.HDFS模塊 3.Mapreduce ...
  • mysql 從 frm 文件恢復 table 表結構的3種方法
    mysql 正常運行的時候，[查看 table 的結構][show create table doc]並不是困難的事。 但是有時 mysql 發生故障，這種方法便不再可行。 當遇到故障，通常使用新的 mysql 實例來恢復當前的數據。 建表是非常重要的步驟，我們必須有其它的方法來尋找 table 的 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類