資料庫學習之十:mysql日誌管理

来源:https://www.cnblogs.com/cuiyongchao007/archive/2020/05/08/12853288.html
-Advertisement-
Play Games

十、mysql日誌管理 課程大綱 1、日誌的類型簡介 mysql show variables like '%log_error%';在配置文件中指定錯誤日誌位置。 mysql show variables like '%gen%'; 一般日誌查詢 二進位日誌,記錄修改記錄。 | 日誌文件 | 選項 ...


十、mysql日誌管理

課程大綱

1、MySQL日誌類型簡介

2、MySQL錯誤日誌配置及查看

3、MySQL binlog介紹及管理實戰

4、MySQL 慢查詢日誌設置及管理實戰

1、日誌的類型簡介

mysql> show variables like '%log_error%';在配置文件中指定錯誤日誌位置。

mysql> show variables like '%gen%'; 一般日誌查詢

二進位日誌,記錄修改記錄。

日誌文件 選項 文件名 程式
表名稱
錯誤 --log-error host_name.err N/A
常規 --general_log host_name.log,general_log N/A
慢速查詢 --slow_query_log --long_query_time host_name-slow. log,slow_log mysqldumpslow
二進位 --log-bin --expire-logs-days host_name-bin.000001 mysqlbinlog
審計 --audit_log--audit_log_file... audit.log N/A

2、MySQL錯誤日誌配置及查看

錯誤日誌:
配置方法:
[mysqld]
log-error=/data/mysql/mysql.log
查看配置方式:
mysql> show variables like '%log%error%';
作用:
記錄mysql資料庫的一般狀態信息及報錯信息,是我們對於資料庫常規報錯處理的常用日誌。
一般查詢日誌:
配置方法:
[mysqld]
general_log=on
general_log_file=/data/mysql/server2.log
查看配置方式:
show variables like '%gen%';
作用:
記錄mysql所有執行成功的SQL語句信息,可以做審計用,但是我們很少開啟。

3、MySQL binlog介紹及管理實戰

1、二進位日誌都記錄了什麼?
已提交的數據記錄,以event的形式記錄到二進位文件中
2、二進位記錄格式有哪些?
row:行模式,即數據行的變化過程,如將Age=19修改成Age=20的過程事件。(一般都是應用這個模式)
statement:語句模式,如將update語句進行記錄。
mixed:以上兩者的混合模式。
3、三總模式有什麼優缺點?
4、binlog的作用
備份恢復、複製

二進位日誌管理:

1、開啟二進位日誌
set sql_log_bin=0    -->在會話級別修改為臨時關閉
vi /etc/my.cnf
log-bin=/data/mysql/mysql-bin  -->在全局打開binlog

2、設置二進位日誌記錄格式(建議是ROW):
配置文件中修改:
binlog-format=ROW
命令行修改
mysql> SET GLOBAL binlog_format = 'STATEMENT';
mysql> SET GLOBAL binlog_format = 'ROW';
mysql> SET GLOBAL binlog_format = 'MIXED';    
3、查看binlog設置
show variables like '%binlog%';

查詢二進位日誌方法:
mysql> show variables like 'binlog';
mysql> show binary logs;
mysql> show master status; 最近一次的,當前正在使用的二進位日誌
mysql> show binlog events in 'mysql-bin.000014';
可以通過linux命令行中進程查詢:
[root@centos6-kvm3 mysql]# pwd
/application/mysql/data/mysql
[root@centos6-kvm3 data]# mysqlbinlog mysql-bin.000014 #真正二進位日誌內容
詳細的查詢:日誌內容分析
[root@centos6-kvm3 data]# mysqlbinlog --help | more
[root@centos6-kvm3 data]# mysqlbinlog --base64-output=decode-rows -v mysql-bin.000014
根據需求截取二進位日誌:
[root@centos6-kvm3 data]# mysqlbinlog --start-position=1077  --stop-position=1119 mysql-bin.000014
----
二進位日誌
-----
mkdir /data/binlog -p
chown -R mysql.mysql /data/binlog

vim /etc/my.cnf
log-bin=/data/binlog
binlog_format=row
sync_binlog=1

show binary logs;
show binlog events in 'my-bin.000002'
show master status;
截取獲取二進位日誌,進行恢復:
mysqlbinlog  --base64-output=decode-rows -v my-bin.000002  #日誌內容分析
mysqlbinlog --start-position=120 --stop-position=721   my-bin.000002 #截取二進位日誌
mysqlbinlog --start-position=340 --stop-position=721   my-bin.000002 >/tmp/binlog.sql
source /tmp/binlog.sql
二進位日誌管理:
刷新二進位日誌
flush logs
截取二進位日誌
mysqlbinlog --start-position=  --stop-position=    >a.sql 
問題:
1、什麼是事件?
2、什麼是position	?	

1、通過截取binlog恢復損壞數據
mysqbinlog --start-position=340 --stop-position=721 my-bin.000002 >/tmp/binlog.sql
2、二進位日誌翻轉實現閃回數據(擴展)
source /tmp/binlog.sql

刪除二進位:
預設情況下,不會刪除舊的日誌文件。
根據存在時間刪除日誌:
SET GLOBAL expire_logs_days = 7;
…或者…
PURGE BINARY LOGS BEFORE now() - INTERVAL 3 day;
根據文件名刪除日誌:
PURGE BINARY LOGS TO 'mysql-bin.000010';
reset master;#重啟啟用一個二進位文件。

4、慢日誌管理:

功能:
slow-log,記錄所有條件內的慢的SQL語句
優化的一種工具日誌。幫我們定位問題。
是將mysql伺服器中影響資料庫性能的相關SQL語句記錄到日誌文件
通過對這些特殊的SQL語句分析,改進以達到提高資料庫性能的目的。

慢日誌設置:
long_query_time    :   設定慢查詢的閥值,超出次設定值的SQL即被記錄到慢查詢日誌,預設值為10s
slow_query_log      :  指定是否開啟慢查詢日誌
slow_query_log_file :  指定慢日誌文件存放位置,可以為空,系統會給一個預設的文件host_name-slow.log
min_examined_row_limit:查詢檢查返回少於該參數指定行的SQL不被記錄到慢查詢日誌
log_queries_not_using_indexes: 不使用索引的慢查詢日誌是否記錄到索引

配置例子,添加在配置文件中:
slow_query_log=1 
slow_query_log_file=/data/slow/slow.log
long_query_time=0.5
log_queries_not_using_indexes
	
處理慢日誌:
mysqldumpslow命令

mysqldumpslow -s c -t 10 /data/slow/slow.log
mysqldumpslow -s at -t 10 /data/slow/slow.log

這會輸出記錄次數最多的10條SQL語句,
其中:
-s
是表示按照何種方式排序
c、t、l、r分別是按照記錄次數、時間、查詢時間、返回的記錄數來排序。
ac、at、al、ar,表示相應的倒敘。
-t
是top n的意思,即為返回前面多少條的數據;

----------自己擴展工具
pt-query-diagest    percona-toolkit
mysqlsla

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1、打開啟動文件,找到並跳轉至SystemInit函數 1 void SystemInit(void) 2 { 3 stc_clk_systickcfg_t stcCfg; 4 5 // TODO load trim from flash 6 //hcr 4MHz manual trim. 7 Cl ...
  • [toc] 原文鏈接: "joselynzhao·CSDN·MacBook鍵盤鎖定、按鍵失效、無反應等問題" MacBook按鍵無反應 最近被ubuntu虛擬機折騰得夠嗆,關機之後再啟動就各種問題 於是我瞎百度了一波,各種快捷鍵一陣瞎按。 結果就是,我發現的鍵盤失靈了,按什麼鍵都沒有反應。 相應“重 ...
  • 遷移概述 系統的遷移是指把源主機上的 操作系統 和 應用程式 移動到目的主機,並且能夠在目的主機上正常 運行 在沒有虛擬機的時代,物理機之間的遷移依靠的是系統備份和恢復技術。在源主機上實時備份操作系統和應用程式的狀態,然後把存儲介質連接到目標主機上,最後在目標主機上恢復系統。隨著虛擬機技術的發展,系 ...
  • Zabbix 5.0 增加了很多新功能,如:垂直菜單、隱藏菜單、用戶界面中的測試項目、限制代理檢查、查找並替換預處理步驟 ES7支持等等...快來部署體驗一把嘗鮮體驗 Zabbix 5.0 吧 升級須知 升級要求 PHP版本 PHP版本已從最低的5.4.0 升級到 7.2.0 資料庫版本 MySQL ...
  • 在bash shell中,環境變數分為兩類: 全局變數 局部變數 全局環境變數 全局環境變數對於shell會話和所有生成的子shell都是可見的。例如 : 局部環境變數 局部環境變數只能在定義它們的進程中可見。Linux也定義了標準的局部環境變數。 使用 命令可以顯示該進程的所有環境變數,包括 局部 ...
  • [TOC] 前言 1.備份數據的意義 運維工作的核心簡單概括起來就是兩件事:第一個是保護公司的數據,第二個是讓網站能夠7 24小時提供服務。 雖然這兩件事情都很重要,但是相比較而言,丟失一部分數據和讓網站7 24小時提供服務,哪個更重要呢? 對於絕大多數企業來講,失去數據就相當於失去商機,失去產品, ...
  • 2020 5/9 十九、分頁查詢 應用場景:當要顯示的數據,一頁顯示不全,需要分頁提交sql請求 語法:(執行順序已標出) SELECT 查詢列表 ⑦每執行一步都會生成一個虛擬的結果集 FROM 表名 ① [join type join 表2 ② on 連接條件 ③ where 篩選條件 ④ gro ...
  • 十一、mysql 備份恢復 課程大綱 運維工作的核心簡單概括就兩件事: 第一個是保護公司的數據。 第二個是讓網站能7 24小時提供服務(用戶體驗)。 1、備份的類型 冷備份:關閉數據、停止業務 溫備份:枷鎖備份 熱備份:線上備份,不會影響業務。 2、備份方式 邏輯備份: 基於sql語句的備份: ①m ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...