7月14日晚間,周傑倫最新專輯《最偉大的作品》在QQ音樂正式上線,立即成為全網最大的熱點事件。作為一張“六年等一回”的新專輯,《最偉大的作品》於7月8日開啟預售,截止到7月18日,已在QQ音樂售出超500萬張。 當全國人民沉浸在音樂的狂歡中,對於QQ音樂團隊來卻有著更多的涵義:海**量的數據意味著更 ...
7月14日晚間,周傑倫最新專輯《最偉大的作品》在QQ音樂正式上線,立即成為全網最大的熱點事件。作為一張“六年等一回”的新專輯,《最偉大的作品》於7月8日開啟預售,截止到7月18日,已在QQ音樂售出超500萬張。
當全國人民沉浸在音樂的狂歡中,對於QQ音樂團隊來卻有著更多的涵義:海量的數據意味著更高標準的數據分析業務,底層的資料庫,將迎來流量峰值期間的高併發和快速響應挑戰。同時,如何通過用戶行為以及音樂內容標簽數據,深入洞察用戶需求,為億萬用戶帶來更優質的音樂體驗?是對QQ音樂大數據團隊的挑戰以及機遇。
海量數據場景下,如何保證用戶體驗?
作為一款國民級音樂應用,QQ音樂月活躍用戶人數超過2.2億,周傑倫又是其最具號召力的歌手。從流量數據來看,專輯同名先行曲MV《最偉大的作品》在QQ音樂發佈15分鐘,播放量超120萬次,上線僅1小時47分,播放總量突破600萬次,分享總次數突破20萬,評論總次數突破12萬,MV巔峰榜達成1000萬等級認證,均打破QQ音樂MV單日數據歷史紀錄。
從這也可以看出,作為音樂類應用,QQ音樂坐擁海量數據,而且業務場景較多。大體來看,新音樂數字專輯上線,對於資料庫來說可能面臨如下挑戰:
首先是高併發低延時的需求,活動開始的時候會有大量用戶瞬間同時訪問同一個歌手、同一首歌或者同一張專輯的信息,這就需要解決資料庫熱點更新、高併發低延遲的問題。
其次是資料庫快速擴縮容的需求,因為活動時間緊,瞬間併發量高,需要資料庫能夠快速支持多倍性能。
最後是數據海量存儲和數據安全性的需求,由於訂單數據和日誌流水非常多,且數據不能丟失,需要資料庫既能保證數據安全又能支撐海量數據的存儲。
QQ音樂資料庫運維負責人趙新強說,此次周傑倫專輯發佈活動涉及到的資料庫主要是售賣專輯的訂單庫,在專輯預售和正售時會有大量訂單同時寫入和更新資料庫,對資料庫的性能和一致性要求都較高,數據不能丟失,還需要保證高性能查詢、寫入和更新。
此種背景下,QQ音樂的資料庫整個架構需要更安全、更穩定的服務模式。而騰訊雲企業級分散式資料庫TDSQL正好滿足了本次活動的需求。
TDSQL支持強同步、半同步、非同步三種同步方式,且強同步的性能基本接近非同步複製方式。在周傑倫新專輯上線這一場景下,TDSQL的強同步正好滿足了該場景的需求。另外,TDSQL支持主備快速切換和快速增加分片和副本,在對業務透明的情況下快速擴容了多個分片和副本,即時滿足了活動的要求。壓測過程中也出現了多個副本和分片集中在少數幾台設備的情況,通過主備切換和數據快速搬遷後,平穩和快速地解決了該問題。
藉助騰訊雲資料庫完善基礎設施和服務
QQ音樂打造了“聽、看、玩”的立體泛音樂娛樂生態圈,為累計註冊數在8億以上的用戶提供多元化音樂生活體驗,優質服務的背後,是每天萬億級新增音樂內容和行為數據,PB數據量級的數據計算服務。經過QQ音樂和騰訊雲資料庫雙方技術團隊無數次技術架構升級和性能優化,逐步形成高可用、高性能、高安全的計算分析平臺。
“音樂的業務場景較多,單一的資料庫架構不能完全滿足業務需求,所以針對不同的業務場景,我們選擇了不同的資料庫架構”,QQ音樂資料庫運維負責人趙新強說, QQ音樂藉助TDSQL的分散式能力部署了一主一從、一主多從的資料庫集群;針對核心業務,採用騰訊雲原生資料庫TDSQL-C的全球資料庫架構,實現了多地容災節點部署,在性能、成本和數據安全上均衡使用,滿足不同業務的需求。
如今,QQ音樂接入騰訊雲資料庫已有兩年多的時間,整體數據規模已超過100T。就業務場景來說,QQ音樂主要的特點是離線分析場景較多,在日常的運維過程中會經常遇到一些資料庫性能相關的疑難雜症或者組件管控的問題,騰訊雲資料庫團隊能夠及時地響應解決。
在資料庫的管理中,QQ音樂主要面臨以下幾個問題:
一是隨著日誌、流水、訂單類的業務數據不斷增長,原生的MySQL集中架構需要不斷的進行分庫分表,DBA工作量大,且對業務邏輯需要適配,TDSQL 支持自動水平拆分,能很好地解決該類問題;
二是隨著業務的增長,開發的DDL需求不斷增多,通過騰訊雲原生資料庫TDSQL-C提供的Instant DDL內核能力,1秒內完成原先需要幾十分鐘甚至小時級別的變更,極大提升了DBA的運維效率;
三是DBA日常頻繁應對各種慢查詢、低性能的排查,TDSQL的扁鵲DBbrain平臺通過對資料庫實例各項指標進行綜合分析和診斷,能夠快速準確的找到資料庫的性能瓶頸。
目前,QQ音樂業務在多種資料庫架構的基礎上,滿足了實時動態、最新評論、置頂等多業務功能,跨城讀取毫秒級延遲,且支持活動彈性擴縮容,輕鬆應對千萬級別用戶基數的高併發讀寫,管理更輕鬆,更專註業務。
深入業務,向資料庫智能化運維演進
當前,雲端大數據基礎設施產品以其技術開放性、全鏈路覆蓋、靈活性獲得了互聯網企業數據IT團隊的一致認可。藉助於雲端大數據基礎設施推動業務創新、運營創新已成為互聯網企業的共識。
趙新強表示,目前QQ音樂處於自研上雲的階段,未來的主要方向是藉助騰訊雲完善的基礎設施和服務脫離底層繁瑣、基礎的運維工作,將更多精力深入業務,另外QQ音樂也會不斷建設自動化運維繫統和工具,逐步向資料庫智能化運維努力。
在這方面,騰訊雲原生資料庫TDSQL-C基於計算存儲分離的架構,提供HTAP、極致彈性擴縮、海量分散式存儲等能力,同時具備智能運維平臺、Severless版本等標準統一的產品服務方案,可全方位滿足QQ音樂及業務的各類需求。
騰訊雲資料庫智能統一管控平臺,可讓數據在不同引擎之間自由流動,更好地支持業務快速發展。具體包括:以豐富的介面能力,支持系統實現不同應用場景靈活調用、一鍵運營;實現90%常見故障秒級診斷及SQL優化建議的智能運維體系,大幅降低系統運維複雜度;基於多源同步工具,實現多引擎數據秒級同步,對業務屏蔽引擎差異;實現插件式負載均衡管理,進一步提升可用性。
QQ音樂通過騰訊雲資料庫的全棧服務,滿足了AP、TP全場景需求,支撐著千萬用戶的訂單、評論等核心業務,從大數據基礎設施、全鏈路數據工具鏈、領域數據價值應用在內的各個環節,互利共贏,釋放多元數據價值。而這也正是周傑倫新專輯帶來的啟示,對於互聯網企業來說,需要採用集數據安全、高性能、高彈性、易擴展等多種能力於一身的資料庫,才能幫助更有效地應對未來發展。