一文瞭解騰訊雲資料庫SaaS服務

来源:https://www.cnblogs.com/qcloud1001/archive/2019/01/25/10319009.html
-Advertisement-
Play Games

本文由雲+社區發表 作者: 邵宗文,2009年加入騰訊,現為騰訊雲資料庫專家產品經理。之前曾負責為OMG事業群構建資料庫平臺,部署,規劃及運維支持,為騰訊網,新聞客戶端,快報,視頻,財經,體育等提供了穩定的服務。06 09年曾任新浪資料庫專家,資料庫平臺主管,有非常豐富的海量大數據經驗。 下方視頻為 ...


本文由雲+社區發表

作者:邵宗文,2009年加入騰訊,現為騰訊雲資料庫專家產品經理。之前曾負責為OMG事業群構建資料庫平臺,部署,規劃及運維支持,為騰訊網,新聞客戶端,快報,視頻,財經,體育等提供了穩定的服務。06-09年曾任新浪資料庫專家,資料庫平臺主管,有非常豐富的海量大數據經驗。

下方視頻為邵宗文在未來大會演講實錄。每個行業對資料庫有不一樣的要求,雲上資料庫通過智能化運維,數據會越來越多,準確度也越來越高,模型也會越來越精準。騰訊雲上資料庫如何滿足用戶多樣化的訴求?一起來聽聽吧。

資料庫SaaS服務體系

數據SaaS服務涵蓋用戶從上雲,日常運維使用,數據安全審計,及訂閱商業分析。

騰訊雲資料庫讓您可以輕鬆在雲端部署、使用資料庫。通過雲資料庫MySQL,您在幾分鐘內即可部署可擴展的資料庫實例。不僅經濟實惠,而且可以彈性調整硬體容量的大小而無需停機。TencentDB for MySQL 提供備份回檔、監控、快速擴容、數據傳輸等資料庫運維全套解決方案,為您簡化 IT 運維工作,讓您能更加專註於業務發展。

img

資料庫遷移

數據傳輸服務(Data Transmission Serivce DTS)提供數據遷移、數據同步、數據訂閱於一體的資料庫數據傳輸服務,幫助您在業務不停服的前提下輕鬆完成資料庫遷移,利用實時同步通道輕鬆構建異地容災的高可用資料庫架構。數據傳輸服務DTS的目標是幫用戶將複雜的數據交互工作承擔下來,讓用戶可以專註於上層的業務開發。

img

數據遷移

支持不同環境及不同類型的資料庫遷移。支持遷移的源庫包括有公網IP的外網自建資料庫,通過VPN、專線等網路環境接入騰訊雲的自建資料庫,雲伺服器CVM自建資料庫;目標庫為TencentDB for MySQL實例。支持查看所有遷移任務的狀態及多任務批量操作。 DTS提供的數據遷移功能是您數據上雲的的最佳選擇。數據遷移僅需幾步設置,則可幫助您完成數據從本地遷移上雲的一系列繁瑣工作。遷移過程中並不影響源資料庫繼續對外提供服務,最小化上雲過程對您業務的影響。

img

提供自建 MySQL 資料庫到雲資料庫 TencentDB for MySQL 的連續數據複製,用戶可在不停服的情況下對數據進行線上熱遷移,支持具有公網 IP/Port 或專線接入騰訊雲的本地 IDC 或騰訊云云伺服器 CVM 上 MySQL 資料庫遷移。實例有關聯災備實例暫不支持數據傳輸服務,請建工單進行遷移。(通過增量遷移的時間建議不超過15天,請確保主從追上之後單擊遷移完成按鈕。)

img

1.Redis 遷移

線上遷移工具暫不支持的遷移類型:主從版、集群版、自研CKV+引擎 三者實例間的遷移。

遷移註意事項
  1. 目前僅支持遷移到騰訊雲 redis 的主從版本;
  2. 為保障遷移效率,CVM 自建實例遷移不支持跨地域遷移;
  3. 由於 rdb 協議限制,暫不支持自建實例 redis 3.2 版本的遷移;
  4. 外網實例遷移時,請確保源實例服務在外網環境下可訪問;
  5. 進行遷移任務時,只允許遷移正常運行狀態下的實例,且未初始化密碼或者有其他任務在執行中的實例,是不能夠遷移的;
  6. 目的實例必須是沒有數據的空實例,遷移過程中,會鎖住實例,不能對實例進行寫入操作;
  7. 遷移成功時,由業務側驗證數據後,可斷開源實例連接,將連接切換到目標實例。

2.PostgreSQL 資料庫遷移

數據傳輸服務 DTS 支持數據遷移功能,提供自建 PostgreSQL 資料庫到雲資料庫TencentDB for MySQL的連續數據複製,用戶可在不停服的情況下對數據進行線上熱遷移,支持具有公網 IP/Port 或專線接入騰訊雲的本地 IDC 或騰訊云云伺服器 CVM 上 PostgreSQL 資料庫遷移。數據遷移目前只支持 PostgreSQL 資料庫的版本是9.3.x,9.5.x,同時9.3.x 不支持增量同步,9.5.x 需要通過線上同步插件才能支持。

資料庫審計

資料庫審計是騰訊雲為瞭解決行業客戶遇到的諸如金融審計需求,以及實際運行中遇到的安全防護,SQL 延遲性能問題等多種綜合需求而提供的產品。

1.全面審計

  • 資料庫訪問的全部記錄,最大程度滿足用戶審計需求,可追溯對應用者的身份和行為;
  • 準確審計:用戶可設置規則,只保證規則匹配到的審計規則有數據保存,規則也可以設置為全量審計;
  • 提供海量 TB 級數據存儲,可以後續根據用戶要求提供長期備份。

2.高效審計

  • 與目前其他通過旁路做審計檢查方式不同,騰訊雲資料庫 TencentDB for MySQL 通過內核插件進行上報;
  • 後期還會逐步增加實時阻隔功能,另外在實際測試影響性能不到 2%;
  • 高效分析:提供用戶、IP、客戶端工具、訪問時間、操作對象、SQL 操作類型、成功與否、訪問時長、影響行數等多種檢索條件的快速分析與檢索,實測 30 多億級數據 6-8 秒內響應。

img

背景說明

管理風險

系統管理員存在的誤操作、違規操作、越權操作,損害業務系統安全運行;

多人公用一個帳號,責任難以分清;

第三方開發維護人員的誤操作,惡意操作和篡改;

超級管理員許可權過大,無法審計監控。

技術風險

應用系統開發商後門或漏洞;

離職員工留下後門。

政策風險

無法達到國家等級保護(三級)明確要求(7.1.3.3);

滿足不了行業信息安全合規性文件要求——如人行《金融行業信息系統信息安全等級保護實施指引》;

img

數據訂閱

數據傳輸服務 DTS 提供了基於 binlog 的增量數據訂閱功能,僅需幾步簡單操作,即可訂閱雲資料庫 TencentDB for MySQL 的增量更新數據:

  • 在騰訊雲 DTS 控制台購買並創建 TencentDB for MySQL 實例的訂閱通道。
  • 使用 DTS 數據訂閱 SDK 連接這個訂閱通道,訂閱並消費增量數據。

img

原理

我們會通過模擬從庫向主庫獲取對應 binlog 內容進行分析,大概架構圖如下,我們會通過解析 binlog ,按照訂閱通道配置的庫表進行分析,所以幾乎對主庫沒有影響。

註意:

  • 目前我們對訂閱的消息內容預設會保留最近 3 天。
  • 另外如果訂閱整庫的話,後續新增的表也是會在原有訂閱通道出現,不需要對原訂閱通道進行新增配置操作。
  • 目前只支持 TencentDB for MySQL5.6,後續會很快支持 TencentDB for MySQL5.7。
  • 數據訂閱暫不支持view,觸發器和外鍵。
  • 數據訂閱初次配置需要對相關 binlog_row_image 參數做調整,會根據符合條件自動 kill 老的 session 使參數立即生效。
  • 數據訂閱目前支持的字元集包括 latin1,utf8,utf8mb4。

img

總結

未來的雲資料庫將會成為企業IT架構的“水,電,煤”,可以按需快速啟動,支持各種類型的數據,滿足所有種類的業務,無限存儲,無伺服器,全智能,自驅動,零運維,閑時免費,覆蓋全球並能自動擴展到近用戶端,提供穩定可靠自由擴展的服務,騰訊雲資料庫將不懈的努力將更多的產品能力普惠世界。

此文已由騰訊雲+社區在各渠道發佈

獲取更多新鮮技術乾貨,可以關註我們騰訊雲技術社區-雲加社區官方號及知乎機構號


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一. 庫的操作 1.創建資料庫 創建資料庫: create database 庫名 charset utf8; charset uft8 可選項 1.2 資料庫命名規範: 可以由字母、數字、下劃線、@、#、$ 區分大小寫 唯一性 不能使用關鍵字如 create select 不能單獨使用數字 最長1 ...
  • 修改資料庫架構註意事項 用戶與架構完全分離。 ALTER SCHEMA 僅可用於在同一資料庫中的架構之間移動安全對象。 若要更改或刪除架構中的安全對象,請使用特定於該安全對象的 ALTER 或 DROP 語句。 如果對 securable_name 使用了由一部分組成的名稱,則將使用當前生效的名稱解 ...
  • 項目開發後,開始移植之前老系統的數據,需要將舊數據遷移到新的資料庫中,碰見了表設計不一樣的問題 舊數據表如下 如圖:sql Nt_News 表數據 需要導入的新表 qm_live 表結構如圖: 需要將原表的內容與新表的欄位對應,部分欄位值需要略作修改。 對應規則如下: 新表 qm_live :liv ...
  • 按照wso2官網(https://docs.wso2.com/display/ADMIN44x/Changing+to+MySQL)配置AM的資料庫,想從H2換成Mysql5.7,費了將近一天的時間,老是報錯,提示AuthorizationUtils Could not set authorizat ...
  • 需要導出資料庫中表的欄位及屬性,製成表格保存到word中 首先找到要導的庫, 在查詢頁面輸入sql 得到結果 然後進行複製, 就能將結果複製下來 註意,複製的是內容,沒有表頭和表的格式,需要自己在word上畫一個大小合適的表格,然後將數據粘貼上去就行了 ...
  • mysqldump "C:\Program Files\MySQL\MySQL Server 5.7\bin\mysqldump.exe" --host=localhost --protocol=tcp --user=lzf -p --force=TRUE --allow-keywords=TRUE ...
  • 正文 作為SQL Trace的擴展功能,Oracle 10046 event(10046事件)是一個重要的調試事件,也可以說是系統性能分析時最重要的一個事件,它包含比SQL Trace更多的信息。但可惜的是,10046事件並不是Oracle官方提供給用戶的診斷工具,官方文檔上面也沒有詳細的說明,不過 ...
  • Oracle中通過修改SQL語句,達到將查詢的內容拼接為指定的字元串格式 eg: select '<ta:datagridItem id="' || lower(column_name) || '" key="' || comments || '" align="center" dataAlign= ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...