阿裡雲CentOS自動備份MySql 8.0並上傳至七牛雲

来源:https://www.cnblogs.com/xrzs/archive/2019/04/08/10651614.html
-Advertisement-
Play Games

本文主要介紹一下阿裡雲CentOS7下如何對MySql 8.0資料庫進行自動備份,並使用.NET Core 將備份文件上傳至七牛雲存儲上,並對整個過程所踩的坑加以記錄. 環境、工具、準備工作 伺服器:阿裡雲64位CentOS 7.4.1708版本;並安裝MySql 8.0 資料庫(如何安裝點擊) 客 ...


本文主要介紹一下阿裡雲CentOS7下如何對MySql 8.0資料庫進行自動備份,並使用.NET Core 將備份文件上傳至七牛雲存儲上,並對整個過程所踩的坑加以記錄.

環境、工具、準備工作

  • 伺服器:阿裡雲64位CentOS 7.4.1708版本;並安裝MySql 8.0 資料庫(如何安裝點擊)
  • 客戶端:Windows 10;
  • SFTP客戶端:FileZilla;用來進行文件傳輸;
  • SSH工具:Putty;用來在Windows 上遠程訪問CentOS;

編寫Shell腳本實現自動備份MySql資料庫

1.創建相關目錄

使用mkdir命令創建兩個目錄,一個用來存放Shell和上傳七牛雲的APP;命令如下

mkdir /home/software/mysql/backupapp      //此目錄用來存放相關shell和應用程式
mkdir /home/software/mysql/backupfiles    //此目錄用來存放mysql的備份文件

2.編寫MySQL備份Shell

  •  使用命令進如shell存放的目錄,命令如下: 
    cd /home/software/mysql/backupapp
  • 創建備份的shell文件,命令如下: 
    vi backup.sh //vi命令學習
  • 編寫mysql備份shell命令,內容如下: 
    db_user="dbuser"       //輸入你的資料庫用戶名 
    db_password="password" //輸入你的資料庫密碼
    db_name="dbname"       //輸入你要備份的資料庫名   
mysqldump -u$db_user -p$db_password $db_name | gzip > /home/software/mysql/backupfiles/$(date +%Y%m%d%H%M%S).sql.gz 
    //將導出的腳本按照年月日時分秒命名並壓縮成gz文件,要保證/home/software/mysql/backupfiles存在,並註意腳本不能在windows環境下編寫,註意腳本的空格與相關字元的全半形.

  • 測試腳本是否正常,命令如下:

    sh /home/software/mysql/backupapp/backup.sh 
    //沒有錯誤信息或者提示 Using a password on the command line interface can be insecure 表示正常
    cd /home/software/mysql/backupfile //進入備份文件目錄並使用ls命令查看是否備份成功

  • 設置shell的許可權並設置可運行,命令如下:

    chmod 777 /home/software/mysql/backupapp/backup.sh    //chmod命令學習

3.設置crontab實現自動執行Shell備份資料庫

  •  創建定時任務使備份腳本能定時運行,命令如下: 
    crontab -e  //進入調度器編輯視窗
    //編寫如下命令,此命令表示每天凌晨01:00分執行腳本backup.sh crontab命令學習
    0 1 * * * /home/software/mysql/backupapp/backup.sh
    //註意事項:保證/home/software/mysql/backupapp/backup.sh至少有讀和可執行許可權
    //為方便測試可設置10 * * * * 表示每10分鐘執行一次shell
  • 重啟crontab使命令生效,命令如下: 
    systemctl restart crond

開發APP實現將資料庫備份文件上傳至七牛雲

1.註冊七牛雲(已註冊可忽略)

因為七牛雲免費提供10G的對象存儲空間,所以本文選擇七牛雲做遠程備份.相關註冊操作請跳轉至七牛雲並創建存儲空間.

2.新建控制台應用程式編寫代碼實現上傳功能

使用.NET Core創建一個Console應用程式,並使用NuGet安裝Newtonsoft.json和Qiniu.Shared;上傳功能代碼如下:

using Microsoft.Extensions.Configuration;
using Qiniu.Common;
using Qiniu.Http;
using Qiniu.IO;
using Qiniu.IO.Model;
using Qiniu.Util;
using System;
using System.IO;
using System.Runtime.InteropServices;

namespace QiniuManagerApp
{
    internal class Program
    {
        private const string AccessKey = "";//設置七牛AccessKey
        private const string SecretKey = "";設置七牛SecretKey
        private const string Bucket = "";//設置你的Bucket,就是你新建的存儲空間名稱

        private static void Main(string[] args)
        {
            var systemPath = Environment.CurrentDirectory;
            if (RuntimeInformation.IsOSPlatform(OSPlatform.Linux))
            {
                systemPath = Path.GetDirectoryName(typeof(Program).Assembly.Location);
            }
            var logPath = systemPath + @"/logs/";
            var uploadBackupPath = systemPath + @"/filebackup/";
            DeleteFile(uploadBackupPath, 7);
            var config = new ConfigurationBuilder()
                          .SetBasePath(systemPath)
                          .AddJsonFile("appsettings.json")
                          .Build();
            //讀取配置
            var filePath = config["filePath"];
            if (!string.IsNullOrEmpty(filePath))
            {
                Console.WriteLine("當前文件路徑:" + filePath);
                var logName = DateTime.Now.ToString("yyyy-MM-dd") + ".txt";
                if (!File.Exists(logPath + logName))
                {
                    File.Create(logPath + logName);
                }
                using (StreamWriter sw = new StreamWriter(logPath + logName, true))
                {
                    try
                    {
                        var files = Directory.GetFiles(filePath);
                        if (files.Length > 0)
                        {
                            sw.WriteLine("[Start]=============================================================================================================================");
                            for (int i = 0; i < files.Length; i++)
                            {
                                FileInfo file = new FileInfo(files[i]);
                                if (file.Extension == ".gz")
                                {
                                    sw.WriteLine($"[DateTime]:  {DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss.ffff")}");
                                    var reslut = string.Empty;
                                    if (UploadFile(file.DirectoryName + @"/", file.Name, out reslut))
                                    {
                                        sw.WriteLine($"[FileName]:{file.Name} upload successfully.");
                                        Console.WriteLine($"[FileName]:{file.Name} upload successfully.");
                                        file.MoveTo(uploadBackupPath + @"/" + file.Name);
                                    }
                                    else
                                    {
                                        sw.WriteLine($"[FileName]:{file.Name} upload unsuccessfully.");
                                        Console.WriteLine($"[FileName]:{file.Name} upload unsuccessfully.");
                                        sw.WriteLine($"[ Result ]:{reslut}");
                                    }
                                }
                                sw.WriteLine();
                            }
                            sw.WriteLine("[ End ]=============================================================================================================================");
                        }
                    }
                    catch (Exception ex)
                    {
                        sw.WriteLine("[Exception]=============================================================================================================================");
                        sw.WriteLine(ex.Message);
                        sw.WriteLine("[Exception]=============================================================================================================================");
                        throw;
                    }
                }
                Console.WriteLine("上傳完成!");
            }
        }

        private static bool UploadFile(string filePath, string fileName, out string error)
        {
            Mac mac = new Mac(AccessKey, SecretKey);
            // 設置上傳策略，詳見：https://developer.qiniu.com/kodo/manual/1206/put-policy
            PutPolicy putPolicy = new PutPolicy();
            // 設置要上傳的目標空間
            putPolicy.Scope = Bucket;
            // 上傳策略的過期時間(單位:秒)
            putPolicy.SetExpires(3000);
            // 生成上傳token
            string token = Auth.CreateUploadToken(mac, putPolicy.ToJsonString());
            // 設置上傳區域
            Config.SetZone(ZoneID.CN_North, false);
            // 表單上傳
            FormUploader target = new FormUploader();
            // 上傳文件
            var fileBytes = File.ReadAllBytes(filePath + fileName);
            HttpResult result = target.UploadData(fileBytes, fileName, token);
            error = result.ToString();
            if (result.Code == 200)
            {
                return true;
            }
            return false;
        }

        private static void DeleteFile(string filePath, int createdDays)
        {
            if (!Directory.Exists(filePath))
            {
                Directory.CreateDirectory(filePath);
            }
            DirectoryInfo di = new DirectoryInfo(filePath);
            var files = di.GetFiles();
            for (int i = 0; i < files.Length; i++)
            {
                if (files[i].CreationTime >= DateTime.Now.AddDays(createdDays))
                {
                    files[i].Delete();
                }
            }
        }
    }
}

//appsetting.json的內容,文件要新建,預設console程式沒有該文件
{
  "filePath": "/home/software/mysql/backupfiles"//設置你MySQL備份文件所在路徑
}

註意事項:

  • 註意設置七牛雲相關配置如AccessKey ,SecretKey ,Bucket 選擇正確的上傳區域;
  • 發佈程式時,需要將console依賴的相關文件都拷貝至應用程式根目錄下(此處可能是.NET Core的一個bug);
  • 註意區分獲取程式根目錄的方式(在Linux伺服器和Window 伺服器獲取方式不一樣)

3.將Console部署至阿裡雲CentOS併進行測試

  • 將程式部署至CentOS(參見此文或官方文檔),目錄路徑為:/home/software/mysql/backupapp/qiniuapp
  • 使用chmod命令,設置console程式的可執行許可權;命令如下: 
    chmod 777 /home/software/mysql/backupapp/qiniuapp/QiniuManagerApp.dll
  • 測試程式;命令如下: 
    dotnet /home/software/mysql/backupapp/qiniuapp/QiniuManagerApp.dll
  • 進入七牛站點,查看文件是否上傳成功;
  • 編寫app shell腳本;內容如下: 
    cd /home/software/mysql/backupapp 
vi backupapp.sh
    //編寫如下內容:
    dotnet /home/software/mysql/backupapp/qiniuapp/QiniuManagerApp.dll

4.設置crond 實現自動將備份文件上傳至七牛雲

  •  創建定時任務使備份App能定時運行,命令如下: 
    crontab -e  //進入調度器編輯視窗
    //編寫如下命令
    10 1 * * * /home/software/mysql/backupapp/backupapp.sh   
    //註意事項:保證/home/software/mysql/backupapp/backupapp.sh至少有讀和可執行許可權
  • 重啟crontab使命令生效,命令如下: 
    systemctl restart crond

 

至此,阿裡雲CentOS自動備份MySql 8.0並上傳至七牛雲 已經結束;

如果這篇博文對你有所幫助,麻煩動動手指點個贊^-^

作者：微沙 　　　　 出處：https://www.cnblogs.com/xrzs 　　　　 本文版權歸作者和博客園共有，歡迎轉載，但未經作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文連接，否則保留追究法律責任的權利。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • docker（5）：數據的管理
    Docker的volume捲 為了能持久話保存和共用容器的數據。 使用docker volume捲的兩種方式 1：數據捲 2：數據捲容器 1：數據捲 數據捲：數據捲會繞過docker 的ufs 直接寫在物理設備上，對數據捲的操作可以及時生效，並且數據捲是可以進行共用重用的，為一個或者多個容器提供訪問 ...
  • 基於Kubernetes 構建.NET Core 的技術體系
    轉自：https://mp.weixin.qq.com/s/iwtdISME4VotLgnuAhtflQ 很多公司技術支持崗位的工作，如配置功能變數名稱，部署環境，修改複位配置，服務重啟，擴容縮容，梳理和完善監控，根據開發的需要查找日誌等工作，需要和開發進行大量的溝通，如什麼是外網功能變數名稱，什麼是內網功能變數名稱、A ...
  • Windows無人值守文件unattend製作以及系統安裝
    原文鏈接：Create media for automated unattended install of Windows 10 我從來沒看到過像上面的文章一樣這麼詳細的描述過Windows10的無人值守安裝過程，看完長知識了，值得一看。之後我會將自己的製作過程發出來，讓大家學習一下。 只為了學習， ...
  • Linux 操作系統文件略解
    1.使用tree命令查看根目錄的樹結構 如果沒有tree命令，可以使用yum進行安裝 執行命令後，即可看到根下一共有19個目錄 . 當前目錄 / 根目錄 /bin 存放必要的命令; 軟連接 /usr/bin /boot 存放內核以及啟動所需的文件; /dev 存放硬體設備文件 /etc 存放系統配置 ...
  • Saltstack_使用指南07_遠程執行-執行模塊
    1. 主機規劃 遠程執行教程文檔 所有模塊文檔 模塊在機器上存在的位置 註意事項 2. 使用格式 2.1. 指定目標 上一篇文章詳細說過，這裡簡單說下 2.2. 指定執行模塊 2.3. 執行參數 3. 使用示例 3.1. network 3.2. service 3.3. cp【可使用Salt-cp ...
  • Windows 使用 L2TP 協議連接VPN服務
    Windows 使用 L2TP 協議連接VPN服務 首先, 點擊"添加 VPN 連接" 其次, 選擇 L2TP 協議 此時若嘗試連接發現會失敗, 打開網路共用中心, 會發現多了一個 VPN 的連接, 右鍵屬性 勾選相應選項, 再嘗試連接即可成功. ...
  • 樹莓派 連接 JY901(MPU9250) python 代碼
    先說BUG，最近要做項目需要樹莓派和陀螺儀，資金充足的話肯定是買一個硬體卡爾曼濾波的感測器類似JY901模塊，資金不足的就買MPU6050。 網上關於MPU6050在樹莓派上的代碼還能用，關於JY901的代碼真的是千奇百怪，而且複製現象特別嚴重，有很多系統本身有問題，導致很多像我一樣的新手在上面浪費 ...
  • Saltstack_使用指南06_遠程執行-指定目標
    1. 主機規劃 Targeting Minions文檔 另請參見：自動化運維神器之saltstack （三）節點組及複合匹配器 註意事項 修改了master或者minion的配置文件，那麼必須重啟對應的服務。 2. 目標指定方式 Letter Match Type Example Alt Delim ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類