如果有一個特別大的訪問量到資料庫上,怎麼做優化?主從複製、讀寫分離

来源:https://www.cnblogs.com/HuiH/archive/2020/03/23/12551593.html
-Advertisement-
Play Games

第一個就是使用優化查詢的方法。這個在前期的內容中有具體說明,這裡不再做說明。 第二、這裡簡要說明一個以下幾個方法: 主從複製、讀寫分離、負載均衡 目前,大部分的主流關係型資料庫都提供了主從複製的功能,通過配置兩台(或多台)資料庫的主從關係,可以將一臺資料庫伺服器的數據更新同步到另一臺伺服器上。網站可 ...


第一個就是使用優化查詢的方法。這個在前期的內容中有具體說明,這裡不再做說明。

第二、這裡簡要說明一個以下幾個方法:

  主從複製、讀寫分離、負載均衡

  目前,大部分的主流關係型資料庫都提供了主從複製的功能,通過配置兩台(或多台)資料庫的主從關係,可以將一臺資料庫伺服器的數據更新同步到另一臺伺服器上。網站可以利用資料庫的這一功能,實現資料庫的讀寫分離,從而改善資料庫的負載壓力。一個系統的讀操作遠遠多於其寫操作,因此寫操作發向master,讀操作發向slaves進行操作(簡單的輪循演算法來決定使用哪個slave)。

  利用資料庫的讀寫分離,web伺服器在寫數據的時候,訪問著資料庫(Master),主資料庫通過主從複製機制將數據更新同步到從資料庫(Slave),這樣web伺服器讀數據的時候,就可以通過從資料庫獲得數據。這一方案使得在大量讀操作的web應用可以輕鬆地讀取數據,而主資料庫也只會承受少量的寫入操作,還可以實現數據熱備份,可謂是一舉兩得的方案。

1.複製的基本原則

  MySQL複製是非同步的且串列化的;

  每個Slave只有一個Master;

  每個Slave只有一個唯一的伺服器ID;

  每個Master可以有多個Slave;

2.一主一從常見配置:

  MySQL版本一致且後臺以服務運行;

  主從都配置在[mysqld]結點下,都是小寫,主機修改my.ini配置文件,從機修改my.cnf配置文件,因修改過配置文件,請主機+從機都重啟後臺MySQL服務;

  主機從機都關閉防火牆;

  在Windows主機上建立賬戶並授權slave;

  在Linux從機上配置需要複製的主機;

  主機新建庫,新建表,insert記錄,從機複製;

  通過stop slave 停止從機複製;

 

       

 主從複製的原理:

  影響MySQL-A資料庫的操作,在資料庫執行後,都會寫入本地的日誌系統A中。假設,實時的將變化了的日誌系統中的資料庫事件操作,通過網路發給MySQL-B。MySQL-B收到後,寫入本地日誌系統B,然後一條條地將資料庫事件在資料庫中完成。那麼MySQL-A的變化,MySQL-B也會變化,這樣就是所謂的MySQL的複製。

  在上面的模型中,MySQL-A就是主伺服器,即master,MySQL-B就是從伺服器,即slave。

  日誌系統A,其實它是MySQL的日誌類型的二進位日誌,也就是專門用來保存修改資料庫的所有動作,即bin log。【註意MySQL會在執行語句之後,釋放鎖之前,寫入二進位日誌,確保事務安全。】

  日誌系統B,並不是二進位日誌,由於它是從MySQL-A的二進位日誌複製過來的,並不是自己的資料庫變化產生的,有點接力的感覺,稱為中繼日誌,即relay log。

  可以發現,通過上面的機制,可以保證MySQL-A和MySQL-B的資料庫數據一致,但是時間上肯定有延遲,即MySQL-B的數據是滯後的。

簡化版:

MySQL主(稱master)從(稱slave)複製的原理:

  1.master將數據改變記錄到二進位日誌(binary log)中,也即是配置文件log-bin指定的文件(這些記錄叫做二進位日誌事件,binary log events)

    PS:從圖中可以看出,Slave伺服器中有一個I/O線程(I/O Thread)在不停地監聽Master的二進位日誌(binary log)是否有更新:如果沒有,它會睡眠等待Master產生新的日誌事件;如果有新的日誌事件(log events),則會將其拷貝至Slave伺服器中的中繼日誌(relay log)。

  2.slave將master的二進位日誌事件(binary log events)拷貝到它的中繼日誌(relay log)。

  3.slave重做中繼日誌中的事件,將Master上的改變反映到它自己的資料庫中。所以兩端的數據是完全一樣的。

    PS:從圖中可以看出,Slave伺服器有一個SQL線程(SQL Thread)從中繼日誌讀取事件,並重做其中的事件,從而更新Slave的數據,使其與Master中的數據一致。只要該線程與I/O線程保持一致,中繼日誌通常會位於OS的緩存中,所以中繼日誌的開銷很小。

  

 主從複製的幾種方式:

 1.同步複製

  主伺服器在將更新的數據寫入它的二進位日誌(binlog)文件中後,必須等待驗證所有的從伺服器的更新數據是否已經複製到其中,之後才可以自由處理其他進入的事務處理請求。

2.非同步複製

  主伺服器在將更新的數據寫入它的二進位日誌(binlog)文件中後,無需等待驗證更新數據是否複製到從伺服器中,就可以自由處理其他進入的事務處理請求。

3.半非同步複製

  主伺服器在將更新的數據寫入它的二進位日誌(binlog)文件中後,只需等待驗證其中一臺從伺服器的更新數據是否已經複製到其中,就可以自由處理其他進入的事務處理請求,其他的從伺服器不用管。

資料庫分表、分區、分庫

  分表見上期描述。

  分區就是把一張表的數據分成多個區塊,這些區塊可以在一個磁碟上,也可以在不同的磁碟上,分區後,錶面上還是一張表,但數據散列在多個位置,這樣一來,多塊硬碟同時處理不同請求,從而提高磁碟IO讀寫性能,實現比較簡單。包括水平分區和垂直分區。

  分庫是根據業務不同把相關的表且分到不同的資料庫中,比如web、bbs、blog等庫。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • pyaudio模塊讀取設備名稱來指定相應的設備進行錄音,涉及操作系統編碼、IDE解碼等問題 ...
  • 在linux和windows中都有路由配置的方法,在日常開發中也經常遇到,比如自己公司各個網站內部開了openvpn這種應用以後,路由配置不好有可能導致改走vpn的不走,網路卡頓甚不能正常上網 1.命令格式 看不懂不要緊,看下麵常用命令那的用法 2.常用選項和參數說明 2.1 選項說明 2.2 參數 ...
  • 前面系列文章講解了Linux下通過文件傳輸、文件共用、郵件系統來分享和獲取資源,本文講解網路資源獲取和共用的另外一種形式,通過Apache服務程式來提供Web服務。 ...
  • 為什麼提交到github的commit都是一個作者 "參考鏈接" "重要知識點講解" 問題如下所示 git是分散式去中心化的管理系統 ssh秘鑰對生成。並把id_rsa.pub加入github.com中(這個過程只是建立一個可以互訪的通道而已) 只是建立了github倉庫之間可以互訪 到底是本地哪個 ...
  • https://www.cnblogs.com/tan-chao/p/11023181.html 簡介 MongoDB[1] 是一個基於分散式文件存儲的資料庫。由C 語言編寫。旨在為WEB應用提供可擴展的高性能數據存儲解決方案。 MongoDB[2] 是一個介於關係資料庫和非關係資料庫之間的產品,是 ...
  • 在一張表裡有多個索引 , 我們where欄位里條件有多個索引的值 , 那麼究竟使用的哪個呢? 我們可以使用explain來查看 , 其中的key_len欄位可以看得出來 比如下麵這條sql explain select * from ent_calendar_diary where email='x ...
  • 分享攢了多年的mssql腳本 腳本類別包括:備份還原表分區常用函數錯誤日誌定時自動抓取耗時SQL並歸檔發郵件腳本模塊鏡像批量腳本資料庫收縮資料庫損壞資料庫賬號統計資料庫大小性能作業 腳本數量:54個 github地址:https://github.com/xiaohuazi123/mssql-scr ...
  • SQL 包含以下 4 部分: 1 數據定義語言(DDL):DROP、CREATE、ALTER 等語句。 2 數據操作語言(DML):INSERT(插入)、UPDATE(修改)、DELETE(刪除)語句。 3 數據查詢語言(DQL):SELECT 語句。 4 數據控制語言(DCL): GRANT、RE ...
一周排行
    -Advertisement-
    Play Games
  • Dapr Outbox 是1.12中的功能。 本文只介紹Dapr Outbox 執行流程,Dapr Outbox基本用法請閱讀官方文檔 。本文中appID=order-processor,topic=orders 本文前提知識:熟悉Dapr狀態管理、Dapr發佈訂閱和Outbox 模式。 Outbo ...
  • 引言 在前幾章我們深度講解了單元測試和集成測試的基礎知識,這一章我們來講解一下代碼覆蓋率,代碼覆蓋率是單元測試運行的度量值,覆蓋率通常以百分比表示,用於衡量代碼被測試覆蓋的程度,幫助開發人員評估測試用例的質量和代碼的健壯性。常見的覆蓋率包括語句覆蓋率(Line Coverage)、分支覆蓋率(Bra ...
  • 前言 本文介紹瞭如何使用S7.NET庫實現對西門子PLC DB塊數據的讀寫,記錄了使用電腦模擬,模擬PLC,自至完成測試的詳細流程,並重點介紹了在這個過程中的易錯點,供參考。 用到的軟體: 1.Windows環境下鏈路層網路訪問的行業標準工具(WinPcap_4_1_3.exe)下載鏈接:http ...
  • 從依賴倒置原則(Dependency Inversion Principle, DIP)到控制反轉(Inversion of Control, IoC)再到依賴註入(Dependency Injection, DI)的演進過程,我們可以理解為一種逐步抽象和解耦的設計思想。這種思想在C#等面向對象的編 ...
  • 關於Python中的私有屬性和私有方法 Python對於類的成員沒有嚴格的訪問控制限制,這與其他面相對對象語言有區別。關於私有屬性和私有方法,有如下要點: 1、通常我們約定,兩個下劃線開頭的屬性是私有的(private)。其他為公共的(public); 2、類內部可以訪問私有屬性(方法); 3、類外 ...
  • C++ 訪問說明符 訪問說明符是 C++ 中控制類成員(屬性和方法)可訪問性的關鍵字。它們用於封裝類數據並保護其免受意外修改或濫用。 三種訪問說明符: public:允許從類外部的任何地方訪問成員。 private:僅允許在類內部訪問成員。 protected:允許在類內部及其派生類中訪問成員。 示 ...
  • 寫這個隨筆說一下C++的static_cast和dynamic_cast用在子類與父類的指針轉換時的一些事宜。首先,【static_cast,dynamic_cast】【父類指針,子類指針】,兩兩一組,共有4種組合:用 static_cast 父類轉子類、用 static_cast 子類轉父類、使用 ...
  • /******************************************************************************************************** * * * 設計雙向鏈表的介面 * * * * Copyright (c) 2023-2 ...
  • 相信接觸過spring做開發的小伙伴們一定使用過@ComponentScan註解 @ComponentScan("com.wangm.lifecycle") public class AppConfig { } @ComponentScan指定basePackage,將包下的類按照一定規則註冊成Be ...
  • 操作系統 :CentOS 7.6_x64 opensips版本: 2.4.9 python版本:2.7.5 python作為腳本語言,使用起來很方便,查了下opensips的文檔,支持使用python腳本寫邏輯代碼。今天整理下CentOS7環境下opensips2.4.9的python模塊筆記及使用 ...