本文由雲+社區發表 作者: 邵宗文,2009年加入騰訊,現為騰訊雲資料庫專家產品經理。之前曾負責為OMG事業群構建資料庫平臺,部署,規劃及運維支持,為騰訊網,新聞客戶端,快報,視頻,財經,體育等提供了穩定的服務。06 09年曾任新浪資料庫專家,資料庫平臺主管,有非常豐富的海量大數據經驗。 下方視頻為 ...
本文由雲+社區發表
作者:邵宗文,2009年加入騰訊,現為騰訊雲資料庫專家產品經理。之前曾負責為OMG事業群構建資料庫平臺,部署,規劃及運維支持,為騰訊網,新聞客戶端,快報,視頻,財經,體育等提供了穩定的服務。06-09年曾任新浪資料庫專家,資料庫平臺主管,有非常豐富的海量大數據經驗。
下方視頻為邵宗文在未來大會演講實錄。每個行業對資料庫有不一樣的要求,雲上資料庫通過智能化運維,數據會越來越多,準確度也越來越高,模型也會越來越精準。騰訊雲上資料庫如何滿足用戶多樣化的訴求?一起來聽聽吧。
資料庫SaaS服務體系
數據SaaS服務涵蓋用戶從上雲,日常運維使用,數據安全審計,及訂閱商業分析。
騰訊雲資料庫讓您可以輕鬆在雲端部署、使用資料庫。通過雲資料庫MySQL,您在幾分鐘內即可部署可擴展的資料庫實例。不僅經濟實惠,而且可以彈性調整硬體容量的大小而無需停機。TencentDB for MySQL 提供備份回檔、監控、快速擴容、數據傳輸等資料庫運維全套解決方案,為您簡化 IT 運維工作,讓您能更加專註於業務發展。
資料庫遷移
數據傳輸服務(Data Transmission Serivce DTS)提供數據遷移、數據同步、數據訂閱於一體的資料庫數據傳輸服務,幫助您在業務不停服的前提下輕鬆完成資料庫遷移,利用實時同步通道輕鬆構建異地容災的高可用資料庫架構。數據傳輸服務DTS的目標是幫用戶將複雜的數據交互工作承擔下來,讓用戶可以專註於上層的業務開發。
數據遷移
支持不同環境及不同類型的資料庫遷移。支持遷移的源庫包括有公網IP的外網自建資料庫,通過VPN、專線等網路環境接入騰訊雲的自建資料庫,雲伺服器CVM自建資料庫;目標庫為TencentDB for MySQL實例。支持查看所有遷移任務的狀態及多任務批量操作。 DTS提供的數據遷移功能是您數據上雲的的最佳選擇。數據遷移僅需幾步設置,則可幫助您完成數據從本地遷移上雲的一系列繁瑣工作。遷移過程中並不影響源資料庫繼續對外提供服務,最小化上雲過程對您業務的影響。
提供自建 MySQL 資料庫到雲資料庫 TencentDB for MySQL 的連續數據複製,用戶可在不停服的情況下對數據進行線上熱遷移,支持具有公網 IP/Port 或專線接入騰訊雲的本地 IDC 或騰訊云云伺服器 CVM 上 MySQL 資料庫遷移。實例有關聯災備實例暫不支持數據傳輸服務,請建工單進行遷移。(通過增量遷移的時間建議不超過15天,請確保主從追上之後單擊遷移完成按鈕。)
1.Redis 遷移
線上遷移工具暫不支持的遷移類型:主從版、集群版、自研CKV+引擎 三者實例間的遷移。
遷移註意事項
- 目前僅支持遷移到騰訊雲 redis 的主從版本;
- 為保障遷移效率,CVM 自建實例遷移不支持跨地域遷移;
- 由於 rdb 協議限制,暫不支持自建實例 redis 3.2 版本的遷移;
- 外網實例遷移時,請確保源實例服務在外網環境下可訪問;
- 進行遷移任務時,只允許遷移正常運行狀態下的實例,且未初始化密碼或者有其他任務在執行中的實例,是不能夠遷移的;
- 目的實例必須是沒有數據的空實例,遷移過程中,會鎖住實例,不能對實例進行寫入操作;
- 遷移成功時,由業務側驗證數據後,可斷開源實例連接,將連接切換到目標實例。
2.PostgreSQL 資料庫遷移
數據傳輸服務 DTS 支持數據遷移功能,提供自建 PostgreSQL 資料庫到雲資料庫TencentDB for MySQL的連續數據複製,用戶可在不停服的情況下對數據進行線上熱遷移,支持具有公網 IP/Port 或專線接入騰訊雲的本地 IDC 或騰訊云云伺服器 CVM 上 PostgreSQL 資料庫遷移。數據遷移目前只支持 PostgreSQL 資料庫的版本是9.3.x,9.5.x,同時9.3.x 不支持增量同步,9.5.x 需要通過線上同步插件才能支持。
資料庫審計
資料庫審計是騰訊雲為瞭解決行業客戶遇到的諸如金融審計需求,以及實際運行中遇到的安全防護,SQL 延遲性能問題等多種綜合需求而提供的產品。
1.全面審計
- 資料庫訪問的全部記錄,最大程度滿足用戶審計需求,可追溯對應用者的身份和行為;
- 準確審計:用戶可設置規則,只保證規則匹配到的審計規則有數據保存,規則也可以設置為全量審計;
- 提供海量 TB 級數據存儲,可以後續根據用戶要求提供長期備份。
2.高效審計
- 與目前其他通過旁路做審計檢查方式不同,騰訊雲資料庫 TencentDB for MySQL 通過內核插件進行上報;
- 後期還會逐步增加實時阻隔功能,另外在實際測試影響性能不到 2%;
- 高效分析:提供用戶、IP、客戶端工具、訪問時間、操作對象、SQL 操作類型、成功與否、訪問時長、影響行數等多種檢索條件的快速分析與檢索,實測 30 多億級數據 6-8 秒內響應。
背景說明
管理風險
系統管理員存在的誤操作、違規操作、越權操作,損害業務系統安全運行;
多人公用一個帳號,責任難以分清;
第三方開發維護人員的誤操作,惡意操作和篡改;
超級管理員許可權過大,無法審計監控。
技術風險
應用系統開發商後門或漏洞;
離職員工留下後門。
政策風險
無法達到國家等級保護(三級)明確要求(7.1.3.3);
滿足不了行業信息安全合規性文件要求——如人行《金融行業信息系統信息安全等級保護實施指引》;
數據訂閱
數據傳輸服務 DTS 提供了基於 binlog 的增量數據訂閱功能,僅需幾步簡單操作,即可訂閱雲資料庫 TencentDB for MySQL 的增量更新數據:
- 在騰訊雲 DTS 控制台購買並創建 TencentDB for MySQL 實例的訂閱通道。
- 使用 DTS 數據訂閱 SDK 連接這個訂閱通道,訂閱並消費增量數據。
原理
我們會通過模擬從庫向主庫獲取對應 binlog 內容進行分析,大概架構圖如下,我們會通過解析 binlog ,按照訂閱通道配置的庫表進行分析,所以幾乎對主庫沒有影響。
註意:
- 目前我們對訂閱的消息內容預設會保留最近 3 天。
- 另外如果訂閱整庫的話,後續新增的表也是會在原有訂閱通道出現,不需要對原訂閱通道進行新增配置操作。
- 目前只支持 TencentDB for MySQL5.6,後續會很快支持 TencentDB for MySQL5.7。
- 數據訂閱暫不支持view,觸發器和外鍵。
- 數據訂閱初次配置需要對相關 binlog_row_image 參數做調整,會根據符合條件自動 kill 老的 session 使參數立即生效。
- 數據訂閱目前支持的字元集包括 latin1,utf8,utf8mb4。
總結
未來的雲資料庫將會成為企業IT架構的“水,電,煤”,可以按需快速啟動,支持各種類型的數據,滿足所有種類的業務,無限存儲,無伺服器,全智能,自驅動,零運維,閑時免費,覆蓋全球並能自動擴展到近用戶端,提供穩定可靠自由擴展的服務,騰訊雲資料庫將不懈的努力將更多的產品能力普惠世界。
此文已由騰訊雲+社區在各渠道發佈
獲取更多新鮮技術乾貨,可以關註我們騰訊雲技術社區-雲加社區官方號及知乎機構號