資料庫學習之十三：mysql高可用配置

来源:https://www.cnblogs.com/cuiyongchao007/archive/2020/05/10/12861355.html
-Advertisement-
Play Games

十三、mysql高可用 1、普通主從複製架構存在的不足 高可用？ 業務不間斷的工作。 用戶的體驗不出來業務斷點。 普通主從環境，存在的問題： 2、企業高可用解決方案： MMM（過時） MHA（目前推薦） PXC、Galera Cluster（出現很多年，企業很少用） 5.7.17 MGR 、Inno ...


十三、mysql高可用

1、普通主從複製架構存在的不足

高可用？
業務不間斷的工作。
用戶的體驗不出來業務斷點。

普通主從環境，存在的問題：

1、監控的問題：APP應用程式，並不具備監控資料庫的功能，沒有責任監控資料庫是否能連接。
2、選主的問題：
3、failover：VIP漂移，對於應用透明
4、數據補償

2、企業高可用解決方案：

MMM（過時）

MHA（目前推薦）
PXC、Galera Cluster（出現很多年，企業很少用）
5.7.17 MGR 、Innodb Cluster（未來的趨勢，儘早研究）
MySQL NDB Cluster（出現很多年，仍然不完善）
MyCAT 高可用

3、MHA高可用架構部署實戰：

3.0 MHA介紹及工作原理

（1）Manager程式負責監控所有已知Node（1主2從所有節點）
（2）當主庫發生意外宕機
	（2.1）mysql實例故障（SSH能夠連接到主機）
		   0、監控到主庫宕機，選擇一個新主（取消從庫角色，reset slave），選擇標準：數據較新的從庫會被選擇為新主(show slave status\G)
		   1、從庫通過MHA自帶腳本程式，立即保存缺失部分的binlog
		   2、二號從庫會重新與新主構建主從關係，繼續提供服務
		   3、如果VIP機制，將vip從原主庫漂移到新主，讓應用程式無感知
	（2.2）主節點伺服器宕機（SSH已經連接不上了）
		   0、監控到主庫宕機，嘗試SSH連接，嘗試失敗
		   1、選擇一個數據較新的從庫成為新主庫（取消從庫角色 reset slave），判斷細節：show slave status\G
		   2、計算從庫之間的relay-log的差異，補償到2號從庫
		   3、二號從庫會重新與新主構建主從關係，繼續提供服務
		   4、如果VIP機制，將vip從原主庫漂移到新主，讓應用程式無感知
		   5、如果有binlog server機制，會繼續將binlog server中的記錄的缺失部分的事務，補償到新的主庫

3.1、安裝mha node：

依賴包perl-DBD-MySQL ，併在三個節點都安裝node軟體

MHA高可用架構部署細節:
三台MySQL獨立節點實例，主機名、IP、防火牆關閉等
開啟1主2從GTID複製結構
關閉各節點relay-log自動刪除功能
各節點部署node工具包及依賴包
選擇其中一個從節點進行部署manager工具包
各節點ssh秘鑰互信配置
配置manager節點配置文件（註意：在資料庫中添加mha管理用戶和密碼）
做ssh互信檢查和主從狀態檢查
開啟MHA功能

檢查防火牆和enforce開關情況：
iptables -L
getenforce
關閉二進位日誌刪除功能：relay_log_purge=0;
資料庫中全局關閉：set relay_log_purge=0;
檢查狀態：mysql -e "show variables like '%relay%'";
上傳MHA軟體，然後解壓：unzip mha.zip
#涉及到安裝兩個軟體，node和manager；
依賴包perl-DBD-MySQL ，併在三個節點都安裝node軟體（三個節點都安裝node）
rpm包直接
rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm

3.2、主庫中創建mha管理用戶

grant all privileges on *.* to mha@'10.0.0.%' identified by 'mha';		(會同步給從庫)

3.3、配置軟連接

ln -s /application/mysql/bin/mysqlbinlog /usr/bin/mysqlbinlog
ln -s /application/mysql/bin/mysql /usr/bin/mysql
#mha小bug只能在/usr/bin下使用

3.4、部署manger節點（建議在從節點db03）

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo
yum install -y perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes

3.5、安裝 manager軟體

rpm -ivh mha4mysql-manager-0.56-0.el6.noarch.rpm

3.6、創建Manager必要目錄與配置文件（DB03）

mkdir -p /etc/mha
mkdir -p /var/log/mha/app1    ----》可以管理多套主從複製
創建配置文件 (不需要的配置不要留著，註釋沒用,切換後會重寫)
vim /etc/mha/app1.cnf     -----》serverdefault可以獨立
[server default]                        
manager_log=/var/log/mha/app1/manager
manager_workdir=/var/log/mha/app1
master_binlog_dir=/data/binlog
user=mha
password=mha
ping_interval=2
repl_password=123
repl_user=repl
ssh_user=root

[server1]
hostname=10.0.0.51
port=3306

[server2]
hostname=10.0.0.52
port=3306

[server3]
hostname=10.0.0.53
port=3306

3.7、配置互信(所有節點)

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa >/dev/null 2>&1

ssh-copy-id -i /root/.ssh/id_dsa.pub [email protected]
ssh-copy-id -i /root/.ssh/id_dsa.pub [email protected]
ssh-copy-id -i /root/.ssh/id_dsa.pub [email protected]

測試：ssh 10.0.0.51 date
...

3.8、檢測互信

 masterha_check_ssh  --conf=/etc/mha/app1.cnf

3.9、檢測主從

 masterha_check_ssh  --conf=/etc/mha/app1.cnf

3.10、啟動MHA manager

nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

tail -f /var/log/mha/app1/manager

故障演練：

1、宕掉db01主庫
/etc/init.d/mysqld stop
2、tail -f /var/log/mha/app1/manager  觀察日誌變化(實時監控日誌)
3、恢復主庫運行，重新將db01加入到主從複製關係中
檢查狀態：
show slave stauts\G;
/etc/init.d/mysqld start
CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';
start slave;
show slave status\G;
4、將配置文件中加入修稿的故障節點(宕機後自動刪除被刪除的server信息)
5、啟動MHA了manager程式（經歷主庫宕機後，manager會完成自殺進程的步驟）
 masterha_check_ssh  --conf=/etc/mha/app1.cnf 
 masterha_check_ssh  --conf=/etc/mha/app1.cnf 
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

3.11、使用MHA自帶腳本實現IP FailOver(vip 漂移，應用透明)
#################################END#########################################

配置步驟

上傳準備好的/usr/local/bin/master_ip_failover(腳本文件)
chmod +x master_ip_failover
dos2unix /usr/local/bin/master_ip_failover

vim /etc/mha/app1.cnf
添加：
master_ip_failover_script=/usr/local/bin/master_ip_failover

重啟mha
masterha_stop --conf=/etc/mha/app1.cnf

nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

手工在主庫上綁定vip，註意一定要和配置文件中的ethN一致（master_ip_failover），我的是eth0:1(1是key指定的值)

ifconfig eth0:1 10.0.0.55/24

切換測試：
停主庫，看vip是否漂移

/etc/init.d/mysqld stop

3.12、binlogserver配置：

找一臺額外的機器，必須要有5.6以上的版本，支持gtid並開啟，我們直接用的第二個slave
vim /etc/mha/app1.cnf（在10.0.0.53機器上）
[binlog1]
no_master=1
hostname=10.0.0.53
master_binlog_dir=/data/mysql/binlog

提前創建好,這個目錄不能和原有的binlog一致
mkdir -p /data/mysql/binlog
chown -R mysql.mysql /data/mysql/*
修改完成後，將主庫binlog拉過來（從000001開始拉，之後的binlog會自動按順序過來）

cd /data/mysql/binlog     -----》必須進入到自己創建好的目錄，在主庫的/data/binlog目錄中查看是否是從以下001開始的。

mysqlbinlog  -R --host=10.0.0.51 --user=mha --password=mha --raw  --stop-never mysql-bin.000001 &

重啟MHA，生效配置：

重啟mha
masterha_stop --conf=/etc/mha/app1.cnf

nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

3.13、其他參數說明
ping_interval=2 manager檢測節點存活的間隔時間，總共會探測4次。

設置為候選master，如果設置該參數以後，發生主從切換以後將會將此從庫提升為主庫，即使這個主庫不是集群中事件最新的slave

candidate_master=1

預設情況下如果一個slave落後master 100M的relay logs的話，MHA將不會選擇該slave作為一個新的master，

因為對於這個slave的恢復需要花費很長時間，通過設置check_repl_delay=0,
MHA觸發切換在選擇一個新的master的時候將會忽略複製延時，這個參數對於設置了candidate_master=1的主機非常有用，
因為這個候選主在切換的過程中一定是新的master
check_repl_delay=0


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 解壓內核鏡像
    步驟 0 uboot 將 zImage 複製到記憶體之後，跳轉到 zImage 處開始執行，首先執行的代碼是 arch/arm/boot/compressed/head.S 文件，首先是一些涉及不同體繫結構調試相關的彙編巨集定義 ifdef DEBUG if defined(CONFIG_DEBUG_I ...
  • Linux下3種常用的網路測速工具
    大家好，我是良許。 不管你用的是什麼操作系統，網速都是你非常關心的一個性能指標，畢竟，誰都不想看個視頻結果網速卡到你懷疑人生。本文介紹三個 Linux 命令行下的網路測速工具，讓你隨時隨地知道你的網路狀況。 fast 是 Netflix 提供的一項服務，它不僅可以通過命令行來使用，而且可以直接在 W ...
  • Linux全面指令
    Linux常用命令大全（非常全！！！） 最近都在和Linux打交道，感覺還不錯。我覺得Linux相比windows比較麻煩的就是很多東西都要用命令來控制，當然，這也是很多人喜歡linux的原因，比較短小但卻功能強大。我將我瞭解到的命令列舉一下，僅供大家參考： 系統信息 arch 顯示機器的處理器架構 ...
  • 進程概念介紹
    linux進程,這塊太難了,太多命令,太多新概念.作為初學者戰戰兢兢.同時也在匍匐前進. ...
  • ARM32 內核記憶體佈局
    Linux內核在啟動時會列印出內核記憶體空間的佈局圖，下麵是ARM Vexpress平臺列印出來的記憶體空間佈局圖： 這部分信息列印是在mem_init()函數中實現的。 編譯器在編譯目標文件並且鏈接完成之後，就可以知道內核映像文件最終的大小，接下來打包成二進位文件，該操作由 控制，其中也劃定了內核的內 ...
  • sed 命令備忘
    常用選項: -i #直接修改目標文件內容. -n #取消預設輸出. 實例: #刪除 sed -i '/content/d' temp.txt #刪除中temp.txt匹配content內容的行. sed -i '/^$/d' temp.txt #刪除文件中所有空行. sed -i 'nd' temp ...
  • EF如何分頁最大優化
    public static class QueryableExtension { public static IQueryable<T> Paged<T>(this IQueryable<T> query, Expression<Func<T, object>> expression, OrderB ...
  • 資料庫學習之十四：讀寫分離 Atlas架構
    十四、讀寫分離 Atlas架構 1、安裝軟體 2、修改配置 3、啟動atlas 4、測試 5、管理atlas 6、擴展——atlas 自動分表 ...
一周排行
    -Advertisement-
    Play Games
  • 如何基於surging跨網關跨語言進行緩存降級
    基於.NET Framework 4.8 開發的深度學習模型部署測試平臺，提供了YOLO框架的主流系列模型，包括YOLOv8~v9，以及其系列下的Det、Seg、Pose、Obb、Cls等應用場景，同時支持圖像與視頻檢測。模型部署引擎使用的是OpenVINO™、TensorRT、ONNX runti... ...
  • 十年沉澱，重啟開發之路
    十年沉澱，重啟開發之路 十年前，我沉浸在開發的海洋中，每日與代碼為伍，與演算法共舞。那時的我，滿懷激情，對技術的追求近乎狂熱。然而，隨著歲月的流逝，生活的忙碌逐漸占據了我的大部分時間，讓我無暇顧及技術的沉澱與積累。 十年間，我經歷了職業生涯的起伏和變遷。從初出茅廬的菜鳥到逐漸嶄露頭角的開發者，我見證了 ...
  • C#.NET體系圖文概述—2024最全總結
    C# 是一種簡單、現代、面向對象和類型安全的編程語言。.NET 是由 Microsoft 創建的開發平臺，平臺包含了語言規範、工具、運行，支持開發各種應用，如Web、移動、桌面等。.NET框架有多個實現，如.NET Framework、.NET Core（及後續的.NET 5+版本），以及社區版本M... ...
  • 班級擂臺（光榮）榜 - 極簡教育小工具
    前言 本文介紹瞭如何使用三菱提供的MX Component插件實現對三菱PLC軟元件數據的讀寫，記錄了使用電腦模擬，模擬PLC，直至完成測試的詳細流程，並重點介紹了在這個過程中的易錯點，供參考。 用到的軟體： 1. PLC開發編程環境GX Works2，GX Works2下載鏈接 https:// ...
  • web server apache tomcat11-31-websocket
    前言 整理這個官方翻譯的系列，原因是網上大部分的 tomcat 版本比較舊，此版本為 v11 最新的版本。 開源項目 從零手寫實現 tomcat minicat 別稱【嗅虎】心有猛虎，輕嗅薔薇。 系列文章 web server apache tomcat11-01-官方文檔入門介紹 web serv ...
  • day31-jQuery
    1、jQuery介紹 jQuery是什麼 jQuery是一個快速、簡潔的JavaScript框架，是繼Prototype之後又一個優秀的JavaScript代碼庫（或JavaScript框架）。jQuery設計的宗旨是“write Less，Do More”，即倡導寫更少的代碼，做更多的事情。它封裝 ...
  • aardio爬蟲) 實戰篇：逆向有道翻譯web介面
    前言 之前的文章把js引擎(aardio封裝庫) 微軟開源的js引擎(ChakraCore))寫好了，這篇文章整點js代碼來測一下bug。測試網站：https://fanyi.youdao.com/index.html#/ 逆向思路 逆向思路可以看有道翻譯js逆向（MD5加密，AES加密）附完整源碼 ...
  • 面試官：這就是你理解的Java多線程基礎？
    引言 現代的操作系統（Windows，Linux，Mac OS）等都可以同時打開多個軟體（任務），這些軟體在我們的感知上是同時運行的，例如我們可以一邊瀏覽網頁，一邊聽音樂。而CPU執行代碼同一時間只能執行一條，但即使我們的電腦是單核CPU也可以同時運行多個任務，如下圖所示，這是因為我們的 CPU 的 ...
  • Python文本統計與分析從基礎到進階
    掌握使用Python進行文本英文統計的基本方法，並瞭解如何進一步優化和擴展這些方法，以應對更複雜的文本分析任務。 ...
  • Redis多數據源，看這篇就夠了
    背景 Redis多數據源常見的場景： 分區數據處理：當數據量增長時，單個Redis實例可能無法處理所有的數據。通過使用多個Redis數據源，可以將數據分區存儲在不同的實例中，使得數據處理更加高效。 多租戶應用程式：對於多租戶應用程式，每個租戶可以擁有自己的Redis數據源，以確保數據隔離和安全性。 ...
所有分類