MySQL主從資料庫同步延遲問題解決

来源:http://www.cnblogs.com/zhulin516114/archive/2017/08/10/7339454.html
-Advertisement-
Play Games

最近在做MySQL主從資料庫同步測試,發現了一些問題,其中主從同步延遲問題是其中之一,下麵內容是從網上找到的一些講解,記錄下來以便自己學習; MySQL的主從同步是一個很成熟的架構,優點為:①在從伺服器可以執行查詢工作(即我們常說的讀功能),降低主伺服器壓力;②在從主伺服器進行備份,避免備份期間影響 ...


最近在做MySQL主從資料庫同步測試,發現了一些問題,其中主從同步延遲問題是其中之一,下麵內容是從網上找到的一些講解,記錄下來以便自己學習;

MySQL的主從同步是一個很成熟的架構,優點為:①在從伺服器可以執行查詢工作(即我們常說的讀功能),降低主伺服器壓力;②在從主伺服器進行備份,避免備份期間影響主伺服器服務;③當主伺服器出現問題時,可以切換到從伺服器。

MySQL主從同步故障-Slave_SQL_Running: No http://www.linuxidc.com/Linux/2014-02/96945.htm

MySQL主從同步搭建 http://www.linuxidc.com/Linux/2013-12/93934.htm

MySQL主從複製配置詳述 http://www.linuxidc.com/Linux/2014-02/97136.htm

MySQL Replication(主從伺服器)配置實例 http://www.linuxidc.com/Linux/2013-12/94485.htm

在Linux系統中做MySQL資料庫主從伺服器 http://www.linuxidc.com/Linux/2013-12/93986.htm

MySQL 安裝與主從配置 http://www.linuxidc.com/Linux/2013-12/93378.htm

相信大家對於這些好處已經非常瞭解了,在項目的部署中也採用這種方案。但是MySQL的主從同步一直有從庫延遲的問題,那麼為什麼會有這種問題。這種問題如何解決呢?

1. MySQL資料庫主從同步延遲原理。

2. MySQL資料庫主從同步延遲是怎麼產生的。

3. MySQL資料庫主從同步延遲解決方案。

1. MySQL資料庫主從同步延遲原理。

答:談到MySQL資料庫主從同步延遲原理,得從mysql的資料庫主從複製原理說起,mysql的主從複製都是單線程的操作,主庫對所有DDL和DML產生binlog,binlog是順序寫,所以效率很高,slave的Slave_IO_Running線程到主庫取日誌,效率很比較高,下一步,問題來了,slave的Slave_SQL_Running線程將主庫的DDL和DML操作在slave實施。DML和DDL的IO操作是隨即的,不是順序的,成本高很多,還可能可slave上的其他查詢產生lock爭用,由於Slave_SQL_Running也是單線程的,所以一個DDL卡主了,需要執行10分鐘,那麼所有之後的DDL會等待這個DDL執行完才會繼續執行,這就導致了延時。有朋友會問:“主庫上那個相同的DDL也需要執行10分,為什麼slave會延時?”,答案是master可以併發,Slave_SQL_Running線程卻不可以。

2. MySQL資料庫主從同步延遲是怎麼產生的。

答:當主庫的TPS併發較高時,產生的DDL數量超過slave一個sql線程所能承受的範圍,那麼延時就產生了,當然還有就是可能與slave的大型query語句產生了鎖等待。

3. MySQL資料庫主從同步延遲解決方案

答:最簡單的減少slave同步延時的方案就是在架構上做優化,儘量讓主庫的DDL快速執行。還有就是主庫是寫,對數據安全性較高,比如sync_binlog=1,innodb_flush_log_at_trx_commit = 1 之類的設置,而slave則不需要這麼高的數據安全,完全可以講sync_binlog設置為0或者關閉binlog,innodb_flushlog也可以設置為0來提高sql的執行效率。另外就是使用比主庫更好的硬體設備作為slave。

mysql-5.6.3已經支持了多線程的主從複製。原理和丁奇的類似,丁奇的是以表做多線程,Oracle使用的是以資料庫(schema)為單位做多線程,不同的庫可以使用不同的複製線程。

sync_binlog=1

This makes MySQL synchronize the binary log’s contents to disk each time it commits a transaction

預設情況下,並不是每次寫入時都將binlog與硬碟同步。因此如果操作系統或機器(不僅僅是MySQL伺服器)崩潰,有可能binlog中最後的語句丟 失了。要想防止這種情況,你可以使用sync_binlog全局變數(1是最安全的值,但也是最慢的),使binlog在每N次binlog寫入後與硬碟 同步。即使sync_binlog設置為1,出現崩潰時,也有可能表內容和binlog內容之間存在不一致性。如果使用InnoDB表,MySQL伺服器 處理COMMIT語句,它將整個事務寫入binlog並將事務提交到InnoDB中。如果在兩次操作之間出現崩潰,重啟時,事務被InnoDB回滾,但仍 然存在binlog中。可以用--innodb-safe-binlog選項來增加InnoDB表內容和binlog之間的一致性。(註釋:在MySQL 5.1中不需要--innodb-safe-binlog;由於引入了XA事務支持,該選項作廢了),該選項可以提供更大程度的安全,使每個事務的 binlog(sync_binlog =1)和(預設情況為真)InnoDB日誌與硬碟同步,該選項的效果是崩潰後重啟時,在滾回事務後,MySQL伺服器從binlog剪切回滾的 InnoDB事務。這樣可以確保binlog反饋InnoDB表的確切數據等,並使從伺服器保持與主伺服器保持同步(不接收 回滾的語句)。

innodb_flush_log_at_trx_commit (這個很管用)

抱怨Innodb比MyISAM慢 100倍?那麼你大概是忘了調整這個值。預設值1的意思是每一次事務提交或事務外的指令都需要把日誌寫入(flush)硬碟,這是很費時的。特別是使用電 池供電緩存(Battery backed up cache)時。設成2對於很多運用,特別是從MyISAM表轉過來的是可以的,它的意思是不寫入硬碟而是寫入系統緩存。日誌仍然會每秒flush到硬 盤,所以你一般不會丟失超過1-2秒的更新。設成0會更快一點,但安全方面比較差,即使MySQL掛了也可能會丟失事務的數據。而值2只會在整個操作系統 掛了時才可能丟數據。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在mac上,cordova打包ionic項目為蘋果手機app出現 這個問題:ERROR Internal navigation rejected - <allow-navigation> not set for url='about:blank' 解決方案: 出現這個錯誤的原因是因為沒有設置白名單打 ...
  • iOS精選源碼 自己維護的框架, 超級多功能 圖片選擇SDK:支持多選,相冊選擇,預覽,網路圖預覽 一款可以簡單實現長按拖拽重排的 UICellCollectionView Cell框... 動畫引擎 FXAnimationEngine MJCIOS/MJCSegmentInterface(分段界面 ...
  • 一,效果圖。 二,代碼。 ViewController.m ...
  • 當遇到資料庫占用空間很大的情況下,可以用以下語句查找大數據量的表 運行結果 ...
  • 索引分析 單表 創建表並插入數據 查詢語句(查詢category_id為1 且comments大於1的情況下view最多的author_id) sql分析 結果:type為All(變數全表)即最壞的情況,Extra里還出現了using filesor(文件排序)即使用一個外部的索引排序情況也是最壞所 ...
  • DDL(data definition language)創建和管理表 1.創建表 1.直接創建 2.通過子查詢的方式創建 2.修改表 1.增加新的列 2.修改現有的列 3.重命名現有的列 4.刪除現有的列 3.清空表中的數據 4.重命名錶 5.刪除表 DML(data manipulation l ...
  • 事務是資料庫進行併發控制非常重要的機制,通過本文來系統的瞭解一下事務到底是怎麼回事。 1、什麼是事務? 事務是作為單個邏輯工作單元執行的一系列操作,它由一條或者一組語句組成,它們麽全部成功,要麼全部失敗。 舉個例子,比如在12306訂火車票,要麼你訂票成功,餘票顯示就減少一張;要麼你訂票失敗,餘票顯 ...
  • 用c++簡單封裝了redis的基本操作(hiredis) 介面包括:①鏈接和斷開連接、②設置鍵值對(set)、③查詢鍵值對(get)、④刪除鍵值對(del)、⑤將所有鍵顯示出來 若任何一處發生錯誤,返回對應的錯誤狀態碼,同時可以調用getErrorMsg()查看錯誤信息 所有碼包括: M_REDIS ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...