MySQL同步常見問題解答(自己的小心得)

来源:http://www.cnblogs.com/jsgren/archive/2016/12/08/6143428.html
-Advertisement-
Play Games

前幾天剛剛註冊了博客園,我想寫一些技巧性的教程,今天給大家分享一個MySQL同步常見問題解答。 Q:如果主伺服器正在運行並且不想停止主伺服器,怎樣配置一個從伺服器? A:有多種方法。如果你在某時間點做過主伺服器備份並且記錄了相應快照的二進位日誌名和偏移量(通過SHOW MASTER STATUS命令 ...


前幾天剛剛註冊了博客園,我想寫一些技巧性的教程,今天給大家分享一個MySQL同步常見問題解答。


Q:如果主伺服器正在運行並且不想停止主伺服器,怎樣配置一個從伺服器?

A:有多種方法。如果你在某時間點做過主伺服器備份並且記錄了相應快照的二進位日誌名和偏移量(通過SHOW MASTER STATUS命令的輸出),採用下麵的步驟:

1.確保從伺服器分配了一個唯一的伺服器ID號。

2.在從伺服器上執行下麵的語句,為每個選項填入適當的值:
mysql> CHANGE MASTER TO
-> MASTER_HOST='master_host_name',
-> MASTER_USER='master_user_name',
-> MASTER_PASSWORD='master_pass',
-> MASTER_LOG_FILE='recorded_log_file_name',
-> MASTER_LOG_POS=recorded_log_position;


3.在從伺服器上執行START SLAVE語句。

如果你沒有備份主伺服器,這裡是一個創建備份的快速程式。所有步驟都應該在主伺服器主機上執行。

1.發出該語句:
mysql> FLUSH TABLES WITH READ LOCK;

2.仍然加鎖時,執行該命令(或它的變體):
shell> tar zcf /tmp/backup.tar.gz /var/lib/mysql

3.發出該語句並且確保記錄了以後用到的輸出:
mysql>SHOW MASTER STATUS;

4.釋放鎖:
mysql> UNLOCK TABLES;

一個可選擇的方法是,轉儲主伺服器的SQL來代替前面步驟中的二進位複製。要這樣做,你可以在主伺服器上使用mysqldump --master-data,以後裝載SQL轉儲到到你的從伺服器。然而,這比進行二進位複製速度慢。

不管你使用這兩種方法中的那一個,當你有一個快照和記錄了日誌名與偏移量時,後來根據說明操作。你可以使用相同的快照建立多個從伺服器。一旦你擁有主伺服器的一個快照,可以等待創建一個從伺服器,只要主伺服器的二進位日誌完整。兩個能夠等待的時間實際的限制是指在主伺服器上保存二進位日誌的可用硬碟空間和從伺服器同步所用的時間。

你也可以使用LOAD DATA FROM MASTER。這是一個方便的語句,它傳輸一個快照到從伺服器並且立即調整日誌名和偏移量。將來,LOAD DATA FROM MASTER將成為創建從伺服器的推薦方法。然而需要註意,它只工作在MyISAM表上並且可能長時間持有讀鎖定。它並不象我們希望的那樣高效率地執行。如果你有大表,執行FLUSH TABLES WITH READ LOCK語句後,這時首選方法仍然是在主伺服器上製作二進位快照。


Q:從伺服器需要始終連接到主伺服器嗎?

A:不,不需要。從伺服器可以宕機或斷開連接幾個小時甚至幾天,重新連接後獲得更新信息。例如,你可以在通過撥號的鏈接上設置主伺服器/從伺服器關係,其中只是偶爾短時間內進行連接。這意味著,在任何給定時間,從伺服器不能保證與主伺服器同步除非你執行某些特殊的方法。將來,我們將使用選項來阻塞主伺服器直到有一個從伺服器同步。


Q:我怎樣知道從伺服器與主伺服器的最新比較? 換句話說,我怎樣知道從伺服器複製的最後一個查詢的日期?

A:你可以查看SHOW SLAVE STATUS語句的Seconds_Behind_Master列的結果。當從伺服器SQL線程執行從主伺服器讀取的事件時,它根據事件時間戳修改自己的時間(這是TIMESTAMP能夠很好複製的原因)。在SHOW PROCESSLIST語句輸出的Time列內,為從伺服器SQL線程顯示的秒數是最後一個複製事件的時間戳和從伺服器主機的實際時間之間相差的秒數。你可以使用它來確定最後一個複製事件的日期。註意,如果你的從伺服器與主伺服器連接斷開一個小時,然後重新連接,在SHOW PROCESSLIST結果中,你可以立即看到從伺服器SQL線程的Time值為3600。這可能是因為從伺服器執行的語句是一個一小時之前的。


Q:我怎樣強制主伺服器阻塞更新直到從伺服器同步?

A:使用下麵的步驟:

1.在主伺服器上,執行這些語句:
mysql> FLUSH TABLES WITH READ LOCK;
mysql> SHOW MASTER STATUS;

記錄SHOW語句的輸出的日誌名和偏移量。這些是複製坐標。

2.在從伺服器上,發出下麵的語句,其中Master_POS_WAIT()函數的參量是前面步驟中的得到的複製坐標值:
mysql> SELECT MASTER_POS_WAIT('log_name', log_offset);

SELECT語句阻塞直到從伺服器達到指定的日誌文件和偏移量。此時,從伺服器與主伺服器同步,語句返回。

3.在主伺服器上,發出下麵的語句允許主伺服器重新開始處理更新:
mysql> UNLOCK TABLES;


Q:當設置雙向複製時我應該知道發出那些語句?

A:MySQL複製目前不支持主伺服器和從伺服器之間的任何鎖定協議來保證分散式(跨伺服器)更新的原子性。換句話說,這樣做是可能的:客戶A根據協作-主伺服器1更新,同時,在它傳給協作-主伺服器2之前,客戶B能夠根據協作-主伺服器2更新,這樣客戶A的更新與它在協作-主伺服器1的更新不同。這樣,當客戶A根據協作-主伺服器2更新時,它產生的表與在協作-主伺服器1上的不同,即使所有根據協作-主伺服器2的更新已經傳過來。這意味著,在雙向複製關係中,你不應該把兩個伺服器串連在一起,除非你確信任何順序的更新是安全的,或者除非你在客戶端代碼中註意怎樣避免更新順序錯誤。

你還必須認識到從更新角度,雙向複製實際上並不能顯著地提高性能(或者根本不能提高性能)。兩個伺服器都需要做相同數量的更新,如同在一個伺服器做的那樣。唯一的差別是鎖競爭要少,這因為源於另一個伺服器的更新在一個從線程中序列化。即使這個益處可能被網路延遲抵消。


Q:怎樣通過複製來提高系統的性能?

A:你應將一個伺服器設置為主伺服器並且將所有寫指向該伺服器。然後根據預算配置儘可能多的從伺服器以及棧空間,並且在主伺服器和從伺服器之間分發讀取操作。你也可以用--skip-innodb、--skip-bdb、--low-priority-updates以及--delay-key-write=ALL選項啟動從伺服器,以便在從伺服器端提高速度。在這種情況下,為了提高速度,從伺服器使用非事務MyISAM表來代替InnoDB和BDB表。


Q:為了使用高性能的複製,我應該在自己的應用程式中怎樣準備客戶端代碼?

A:如果你的代碼中資料庫訪問部分已經正確地模塊化,應該能夠平滑和容易地轉換為在複製步驟中運行的代碼。僅需要更改資料庫訪問執行部分,以便發送所有的寫操作到主伺服器,以及發送讀操作到主伺服器或某個從伺服器。如果你的代碼沒有這個級別,設置一個複製系統以便清除。應先通過下麵的函數創建一個包裝庫或模塊:

·safe_writer_connect()
·safe_reader_connect()
·safe_reader_statement()
·safe_writer_statement()

每個函數名的safe_意味著函數比較小心地處理所有錯誤。你可以使用不同名的函數。重要是對於讀連接、寫連接、讀和寫有一個統一的介面。

然後,你應該轉換客戶端代碼使用包裝庫。剛開始這可能是痛苦和恐慌的過程,但從長遠來看是值得的。使用剛纔討論的方法的所有應用程式都能夠利用主伺服器/從伺服器配置的優越性,即使是含有多個從伺服器的配置。代碼非常容易維護,並且添加排錯選項也很容易。你僅需要修改一兩個函數;例如,記錄每個語句執行的時間,或者你的上千個語句中哪個語句發生了錯誤。

如果你已經編寫了許多代碼,你可能想使用replace工具自動進行轉換,該工具隨標準MySQL一起發佈,或可以自己編寫轉換腳本。理想情況,你的代碼使用一致的程式轉換風格。否則,可能最好重新編寫代碼,或者至少手工對其進行規則化以使用一致的風格。


Q:MySQL複製能夠何時和多大程度提高系統性能?

A:MySQL複製對於頻繁讀和頻繁寫的系統具有最大好處。理論上,通過使用單個主伺服器/多從伺服器設置,可以通過添加更多的從伺服器來擴充系統,直到用完網路帶寬,或者你的更新負載已經增長到主伺服器不能處理的點。

在獲得的收益開始吃平之前,為了確定可以有多少從伺服器,以及可以將你的站點的性能提高多少,需要知道查詢模式,並且要通過基準測試並根據經驗確定一個典型的主伺服器和從伺服器中的讀取(每秒鐘讀取量,或者max_reads)吞吐量和寫(max_writes)吞吐量的關係。通過一個假設的帶有複製的系統,本例給出了一個非常簡單的計算結果。

假設系統負載包括10%的寫和90%的讀取,並且我們通過基準測試確定max_reads是1200 –2 × max_writes。換句話說,如果沒有寫操作,系統每秒可以進行1,200次讀取操作,平均寫操作是平均讀操作所用時間的兩倍,並且關係是線性的。我們假定主伺服器和每個從伺服器具有相同的性能,並且我們有一個主伺服器和N個從伺服器。那麼,對於每個伺服器(主伺服器或從伺服器),我們有:

reads = 1200 – 2 × writes
reads = 9 × writes / (N + 1) (讀取是分離的, 但是寫入所有伺服器)
9 × writes / (N + 1) + 2 × writes = 1200
writes = 1200 / (2 + 9/(N+1))

最後的等式表明瞭N個從伺服器的最大寫操作數,假設最大可能的讀取速率是每分鐘1,200次,讀操作與寫操作的比率是9。

如上分析可以得到下麵的結論:

·如果N = 0(這表明沒有複製),系統每秒可以處理大約1200/11 = 109個寫操作。

·如果N = 1,每秒得到184個寫操作。

·如果N = 8,每秒得到400個寫操作。

·如果N = 17,每秒得到480個寫操作。

·最後,當 N趨於無窮大(以及我們預算的負無窮大)時,可以得到非常接近每秒600個寫操作,系統吞吐量增加將近5.5倍。然而,如果只用8個伺服器,增加接近4倍。

請註意,這些計算假設網路帶寬無窮大並忽略掉了其它一些因素,那些因素可能對系統產生重要的影響。在許多情況下,不能執行與剛纔類似的計算,即如果添加N台複製從伺服器,應該準確預報系統將發生哪些影響。回答下麵的問題應能夠幫助你確定複製是否和在多大程度上能夠提高系統的性能:

·系統上的讀取/寫比例是什麼?

·如果減少讀取操作,一個伺服器可以多處理多少寫負載?

·網路帶寬可滿足多少從伺服器的需求?


Q:如何使用複製來提供冗餘/高可用性?

A:利用目前的可用特性,必須設置一個主伺服器和一個從伺服器(或多個從伺服器),以及寫一個腳本來監視主伺服器是否啟動。如果主伺服器失敗,通知應用程式和從伺服器切換主伺服器。下麵是一些建議:

·告知從伺服器更改其主伺服器,使用CHANGE MASTER TO語句。

·通知應用程式主伺服器位置的一個很好的方法是對主伺服器提供動態DNS入口。用bind可以使用nsupdate動態更新DNS。

·應該用--logs-bin選項而不用 --logs-slave-updates選項運行從伺服器。這樣,一旦你在其它從伺服器上發出STOP SLAVE; RESET MASTER, 以及CHANGE MASTER TO語句,該從伺服器可以切換為主伺服器。例如,假設有下麵的設置:

WC
\
v
WC----> M
/ | \
/ | \
v v v
S1 S2 S3

M代表主伺服器,S代表從伺服器,WC代表發出資料庫寫和讀取操作的客戶;只發出資料庫讀取操作的客戶沒有給出,因為它們不需要切換。S1、S2以及S3是從伺服器,用--logs-bin選項而沒有用--logs-slave-updates運行。因為從伺服器收到的主伺服器的更新沒有記錄在二進位日誌中,除非指定 --logs-slave-updates選項,每個從伺服器上的二進位日誌是空的。如果因為某些原因M 變得不可用,你可以選取一個從伺服器變為新的主伺服器。例如,如果你選取了S1,所有WC應該重新指向S1和S2,並且S3然後應從S1複製。

確保所有從伺服器已經處理了中繼日誌中的所有語句。金絲閣在每個從伺服器上,發出STOP SLAVE IO_THREAD語句,然後檢查SHOW PROCESSLIST語句的輸出,直到你看到Has read all relay log。當所有從伺服器都執行完這些,它們可以被重新配置為一個新的設置。在被提升為主伺服器的從伺服器S1上,發出STOP SLAVE和RESET MASTER語句。

在其它從伺服器S2和S3上,使用STOP SLAVE和CHANGE MASTER TO MASTER_HOST='S1'(其中'S1'表示S1實際的主機名)。為CHANGE MASTER添加關於從S2或S3如何連接到S1的所有信息(user、password、port)。在CHANGE MASTER命令中,不需要指定從其讀取的S1的二進位日誌名或二進位日誌位置:我們知道它是第1個二進位日誌,位置是4,這是CHANGE MASTER命令的預設值。最後,在S2和S3上使用START SLAVE 命令。

然後,指示所有WC把它們的語句指向S1。此後,WC發出的所有發送到S1的更新語句被寫入S1的二進位日誌,S1則包含M死掉之後的發送到 S1的每一個更新語句。

結果是下麵的配置:


WC
/
|
WC | M(unavailable)
\ |
\ |
v v
S1<--S2 S3
^ |
+-------+

當M重新啟動後,你必須在M上發出相同的CHANGE MASTER語句,與在S2和S3上發出的語句一樣,以便M變為S1的從伺服器並且恢覆在它宕機後丟失的所有WC寫操作。要把 M 再次作為主伺服器(例如,因為它是功能最強的機器),使用前面的步驟,好像S1不可用並且M變為一個新的主伺服器一樣。在這個過程中,在S1、S2以及S3作為M的從伺服器之前,不要忘記在M上運行RESET MASTER。否則,它們可能拾取M變得不可用之前的舊WC寫操作。

我們目前正在MySQL集成自動主伺服器選擇系統,但在準備好之前,你必須創建自己的監控工具。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • position選項來定義元素的定位屬性,選項有5個可選值:static、relative、absolute、fixed、inherit 屬性值為relative、absolute、fixed時top | left | right| bottom | z-index才能起作用。 static(預設值 ...
  • <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd"> <html> <head> <meta http-equiv="Content-Type" content="text ...
  • 【文章來源】由於自己對於form研究甚少,所以一直用的都是AJAX進行提交,這次後臺提出要用form提交,順便深入研究一下;之前在做表單的時候,發現input可以通過設置不同的type屬性,調用不同的移動端軟鍵盤,但是對於軟鍵盤中的【搜索】和【前往】不知道怎麼進行控制 【form 和 ajax 區別 ...
  • float: none | left | right | inherit none:預設值,即不浮動 left:向頁面的左側浮動 right:向頁面的右側浮動 inherit:繼承父元素的float值(一般不建議使用inherit,ie不支持這個選項) 重點: 1、對於塊級元素來說,在不設置寬度的情 ...
  • 一、BFC與IFC 1.1、BFC與IFC概要 BFC(Block Formatting Context)即“塊級格式化上下文”, IFC(Inline Formatting Context)即行內格式化上下文。常規流(也稱標準流、普通流)是一個文檔在被顯示時最常見的佈局形態。一個框在常規流中必須屬 ...
  • 網上搜集了css3對不同系統手機瀏覽器的支持情況(ios/android/winphone)備份一下以便查看. 以下資料由微信產品部"白樹"整理, 轉載請註明.√:完全支持 √:部分支持 ×:不支持 (-webkit):添加-webkit首碼才支持 (-ms):添加 -ms首碼才支持 css3總結: ...
  • /* Mark 1 的原理:判斷點擊事件發生在區域外的條件是:1. 點擊事件的對象不是目標區域本身2. 事件對象同時也不是目標區域的子元素*/ 原文地址:https://segmentfault.com/q/1010000000452465 ...
  • 1.在頁面中加入canvas元素 eg: 註意:上面的代碼中增加了值為“diagonal”的ID特性,這樣做可以方便以後通過ID來快速找到canvas元素,對於任何cnavas對象來說,ID特性都是十分重要的,因為對canvas元素的所有操作都是通過腳本代碼控制的,沒有ID的話,想要找到要操作的ca ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...