資料庫讀寫分離Master-Slave

来源:https://www.cnblogs.com/taojietaoge/archive/2019/07/02/11117806.html
-Advertisement-
Play Games

資料庫讀寫分離Master-Slave 一個平臺或系統隨著時間的推移和用戶量的增多,資料庫操作往往會變慢,這時我們需要一些有效的優化手段來提高資料庫的執行速度;如SQL優化、表結構優化、索引優化、引擎優化和讀寫分離優化等手段。 1、SQL優化(簡單列幾點): 儘量避免用SELECT*;只查詢一條記錄 ...


資料庫讀寫分離Master-Slave

 

一個平臺或系統隨著時間的推移和用戶量的增多,資料庫操作往往會變慢,這時我們需要一些有效的優化手段來提高資料庫的執行速度;如SQL優化、表結構優化、索引優化、引擎優化和讀寫分離優化等手段。

1、SQL優化(簡單列幾點)

儘量避免用SELECT*;
只查詢一條記錄時使用limit1;
使用連接查詢代替子查詢;
儘量使用一些能通過索引查詢的關鍵字。

2、表結構優化:

儘量使用數字類型欄位,提高對比效率;
長度不變且對查詢速度要求高的數據可以考慮使用char,否則使用varchar;
表中欄位過多時可以適當的進行垂直分割,將部分欄位移動到另一張表;
表中數據量大可以適當的進行水平分割,將部分數據移動到另一張表。

3、索引優化:

對查詢頻率高的欄位適當建立索引,提高效率。(在經常用到的欄位上適合建立索引)

4、引擎優化:

選擇合適的引擎提高資料庫性能,如InnoDB和MyISAM,InnoDB和MyISAM是許多人在使用MySQL時最常用的兩個表類型,這兩個表類型各有優劣,視具體應用而定。基本的差別為:MyISAM類型不支持事務處理等高級處理,而InnoDB類型支持。MyISAM類型的表強調的是性能,其執行數度比InnoDB類型更快,但是不提供事務支持,而InnoDB提供事務支持已經外部鍵等高級資料庫功能。
InnoDB:
支持事務處理,支持外鍵,支持崩潰修複能力和併發控制。如果需要對事務的完整性要求比較高(比如銀行),要求實現併發控制(比如售票),那選擇InnoDB有很大的優勢。如果需要頻繁的更新、刪除操作的資料庫,也可以選擇InnoDB,因為支持事務的提交(commit)和回滾(rollback)。
MyISAM:
插入數據快,空間和記憶體使用比較低。如果表主要是用於插入新記錄和讀出記錄,那麼選擇MyISAM能實現處理高效率。如果應用的完整性、併發性要求比較低,也可以使用。
MEMORY:
所有的數據都在記憶體中,數據的處理速度快,但是安全性不高。如果需要很快的讀寫速度,對數據的安全性要求較低,可以選擇MEMOEY。它對錶的大小有要求,不能建立太大的表。所以,這類資料庫只使用在相對較小的資料庫表。
註意:
同一個資料庫也可以使用多種存儲引擎的表,如果一個表要求比較高的事務處理,可以選擇InnoDB;這個資料庫中可以將查詢要求比較高的表選擇MyISAM存儲;如果該資料庫需要一個用於查詢的臨時表,可以選擇MEMORY存儲引擎。

5、讀寫分離優化:

隨著用戶量的增多,資料庫操作往往會成為一個系統的瓶頸所在,但一般的系統“讀”的壓力遠遠大於“寫”,So我們可以通過實現資料庫讀寫分離-主從複製來提高系統的性能。

主從設計思路:

通過設置主從資料庫實現讀寫分離,主資料庫負責“寫操作”,從資料庫負責“讀操作”,根據壓力情況,從資料庫可以部署多個提高“讀”的速度,藉此來提高系統總體的性能。當然,我們可以根據項目等需要配置多個從庫。

如上圖所示,讀寫分離的實現,主要是解決主從資料庫數據同步的問題,在主資料庫寫入數據後要保證從資料庫的數據也要更新。主伺服器master記錄資料庫操作日誌到Binary log,從伺服器開啟i/o線程將二進位日誌記錄的操作同步到relay log(存在從伺服器的緩存中),另外sql線程將relay log日誌記錄的操作在從伺服器執行。

Master-Slave具體步驟

準備工作,在這之前需要準備兩個伺服器,分別在上面安裝Mysql資料庫,一個作為Master,另外一個是Slave,當然需要多個從庫可以自己搞多個Slave。如下圖:

兩個虛擬機伺服器:

分別安裝Mysql資料庫:

1.主mysql資料庫配置文件修改

[root@tjt03 ~]# vim /etc/my.cnf

在主伺服器master上配置開啟Binary log,主要是在[mysqld]下麵添加:

server-id=132
log-bin=master-bin      //[必須]啟用二進位日誌
log-bin-index=master-bin.index     //[必須]伺服器唯一ID,預設是1,一般取IP最後一段

配置修改好後重主庫Mysql:

[root@tjt03 ~]# sudo service mysqld stop
Stopping mysqld (via systemctl):                           [  OK  ]
[root@tjt03 ~]# sudo service mysqld start
Starting mysqld (via systemctl):                           [  OK  ]
[root@tjt03 ~]# 

在主資料庫檢查配置效果:

mysql> SHOW MASTER STATUS;

可以看到下圖表示配置沒問題,這裡面的File名:master-bin.000001 我們接下來在從資料庫的配置會使用:

2.從mysql資料庫配置文件修改

[root@tjt02 mysql]# vim /etc/my.cnf

在從伺服器slave上的[mysqld]下麵添加:

server-id=131    //這裡面的server-id 一定要和主庫的不同
relay-log-index=slave-relay-bin.index
relay-log=slave-relay-bin

配置修改好後重從庫Mysql:

[root@tjt02 mysql]# service mysqld stop
Stopping mysqld (via systemctl):                           [  OK  ]
[root@tjt02 mysql]# service mysqld start
Starting mysqld (via systemctl):                           [  OK  ]
[root@tjt02 mysql]# 

3、配置兩個資料庫的關聯

首先我們先建立一個操作主從同步的資料庫用戶,切換到主資料庫執行:

mysql> GRANT REPLICATION SLAVE ON *.* to 'tjt'@'%' identified by 'TANjintao@520';

這個配置的含義就是創建了一個資料庫用戶tjt,密碼是TANjintao@520, 在從伺服器使用tjt這個賬號和主伺服器連接的時候,就賦予其REPLICATION SLAVE的許可權, *.* 錶面這個許可權是針對主庫的所有表的,“%”表示所有客戶端都可能連,只要帳號,密碼正確,此處可用具體客戶端IP代替,如192.168.145.226,加強安全。

進入從資料庫執行授權Slave:

mysql> change master to master_host='172.16.114.132',master_port=3306,master_user='tjt',master_password='TANjintao@520',master_log_file='master-bin.000001',master_log_pos=0;

上述步驟執行完畢後執行start slave啟動配置:

mysql> start slave;

停止主從同步的命令為:

mysql> stop slave;

查看狀態命令,\G表示換行查看:

mysql> show slave status \G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 172.16.114.132
                  Master_User: tjt
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: master-bin.000001
          Read_Master_Log_Pos: 870
               Relay_Log_File: slave-relay-bin.000002
                Relay_Log_Pos: 1085
        Relay_Master_Log_File: master-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: 
          Replicate_Ignore_DB:

可以看到狀態如下:

這裡看到從資料庫已經在等待主庫的消息了,接下來在主庫的操作,在從庫都會執行了。我們可以主庫負責寫,從庫負責讀,達到讀寫分離的效果。

註:Slave_IO及Slave_SQL進程必須正常運行,即YES狀態,否則都是錯誤的狀態(如:其中一個NO均屬錯誤)。

簡單測試

在主資料庫中創建一個新的資料庫:

mysql> create database tjt0702;

在從資料庫查看資料庫:

mysql> show databases;

到這裡,資料庫的主從複製Master-Slave已經OK了。

代碼層面實現讀寫分離

假設我們使用的是主流的SpringBoot框架開發的web項目,實現資料庫讀寫分離如下。

配置了一個從庫Slave:

https://blog.csdn.net/zhouzeqiang/article/details/87800590

配置了兩個從庫Slave:

https://my.oschina.net/u/560547/blog/1843462  

 

 

配置兩個資料庫的關聯

配置兩個資料庫的關聯

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本文轉自: http://www.cnblogs.com/ggjucheng/archive/2012/01/14/2322659.html https://www.cnblogs.com/Jtianlin/p/4330723.html 簡介 用簡單的話來定義tcpdump,就是:dump the ...
  • 線程池和連接池 線程池的原理: 來看一下線程池究竟是怎麼一回事?其實線程池的原理很簡單,類似於操作系統中的緩衝區的概念,它的流程如下:先啟動若幹數量的線程,並讓這些線程都處於睡眠狀態,當客戶端有一個新請求時,就會喚醒線程池中的某一個睡眠線程,讓它來處理客戶端的這個請求,當處理完這個請求後,線程又處於 ...
  • 回到目錄 和前面介紹二極體的PN結的工作原理一樣,BJT的量子級工作機制也非常複雜,一般教科書上為了幫助學習者能快速理解,也都是用一種簡化模型的方法來介紹BJT的工作機理,一般只需大致瞭解即可。只要記住關鍵的一點:BJT本質上是一種流控電流源(CCCS)。它可以用一個較小的基極電流控制一個較大的集電 ...
  • 一 RBAC 1.1 RBAC授權 基於角色的訪問控制(RBAC)是一種基於個人用戶的角色來管理對電腦或網路資源的訪問的方法。 RBAC使用rbac.authorization.k8s.io API組來推動授權決策,允許管理員通過Kubernetes API動態配置策略。 使用--authoriz ...
  • 多進程的實現原理 多道技術 操作系統介紹 下圖是操作系統在整個電腦中所在的位置: 位於應用軟體和硬體設備之間,本質上也是一個軟體, 由系統內核(管理所有硬體資源)與系統介面(提供給程式員使用的介面)組成 操作系統是為方便用戶操作電腦而提供的一個運行在硬體之上的軟體 操作系統的兩個核心作用 1.為 ...
  • 今天的任務是在公司的一臺壓力測試機上安裝一個性能監控工具:glances 因為以前我已經多次安裝和使用這個工具,我大意的以為整個過程是這樣的: 分分鐘搞定完事 然而 我們公司的伺服器版本實在是太老了,於是我就在今天早晨踏上了不歸路 yum install epel-release -y yum in ...
  • pwd命令 顯示當前所在的目錄 pwd命令 顯示當前所在的目錄 ls命令 顯示目錄下的子目錄和文件 ls 顯示當前目錄下的子目錄和文件 ls命令 顯示目錄下的子目錄和文件 ls 顯示當前目錄下的子目錄和文件 ls -a 顯示當前目錄下的所以子目錄和文件(包括隱藏文件和文件夾) ls -a 顯示當前目 ...
  • SET SERVEROUTPUT ONBEGIN --列印輸出 DBMS_OUTPUT.PUT_LINE('hello everyone!');END; DECLARE v_name VARCHAR2(10); v_sal NUMBER(7,2); v_hiredate DATE; c_tax_ra ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...