《最偉大的作品》,解密周傑倫新專輯背後的數據密碼

来源:https://www.cnblogs.com/tencentdb/archive/2022/07/19/16492941.html
-Advertisement-
Play Games

7月14日晚間,周傑倫最新專輯《最偉大的作品》在QQ音樂正式上線,立即成為全網最大的熱點事件。作為一張“六年等一回”的新專輯,《最偉大的作品》於7月8日開啟預售,截止到7月18日,已在QQ音樂售出超500萬張。 當全國人民沉浸在音樂的狂歡中,對於QQ音樂團隊來卻有著更多的涵義:海**量的數據意味著更 ...


file
7月14日晚間,周傑倫最新專輯《最偉大的作品》在QQ音樂正式上線,立即成為全網最大的熱點事件。作為一張“六年等一回”的新專輯,《最偉大的作品》於7月8日開啟預售,截止到7月18日,已在QQ音樂售出超500萬張。

當全國人民沉浸在音樂的狂歡中,對於QQ音樂團隊來卻有著更多的涵義:海量的數據意味著更高標準的數據分析業務,底層的資料庫,將迎來流量峰值期間的高併發和快速響應挑戰。同時,如何通過用戶行為以及音樂內容標簽數據,深入洞察用戶需求,為億萬用戶帶來更優質的音樂體驗?是對QQ音樂大數據團隊的挑戰以及機遇。

海量數據場景下,如何保證用戶體驗?

作為一款國民級音樂應用,QQ音樂月活躍用戶人數超過2.2億,周傑倫又是其最具號召力的歌手。從流量數據來看,專輯同名先行曲MV《最偉大的作品》在QQ音樂發佈15分鐘,播放量超120萬次,上線僅1小時47分,播放總量突破600萬次,分享總次數突破20萬,評論總次數突破12萬,MV巔峰榜達成1000萬等級認證,均打破QQ音樂MV單日數據歷史紀錄

從這也可以看出,作為音樂類應用,QQ音樂坐擁海量數據,而且業務場景較多。大體來看,新音樂數字專輯上線,對於資料庫來說可能面臨如下挑戰:

首先是高併發低延時的需求,活動開始的時候會有大量用戶瞬間同時訪問同一個歌手、同一首歌或者同一張專輯的信息,這就需要解決資料庫熱點更新、高併發低延遲的問題。

其次是資料庫快速擴縮容的需求,因為活動時間緊,瞬間併發量高,需要資料庫能夠快速支持多倍性能。

最後是數據海量存儲和數據安全性的需求,由於訂單數據和日誌流水非常多,且數據不能丟失,需要資料庫既能保證數據安全又能支撐海量數據的存儲。

QQ音樂資料庫運維負責人趙新強說,此次周傑倫專輯發佈活動涉及到的資料庫主要是售賣專輯的訂單庫,在專輯預售和正售時會有大量訂單同時寫入和更新資料庫,對資料庫的性能和一致性要求都較高,數據不能丟失,還需要保證高性能查詢、寫入和更新

此種背景下,QQ音樂的資料庫整個架構需要更安全、更穩定的服務模式。而騰訊雲企業級分散式資料庫TDSQL正好滿足了本次活動的需求。

TDSQL支持強同步、半同步、非同步三種同步方式,且強同步的性能基本接近非同步複製方式。在周傑倫新專輯上線這一場景下,TDSQL的強同步正好滿足了該場景的需求。另外,TDSQL支持主備快速切換和快速增加分片和副本,在對業務透明的情況下快速擴容了多個分片和副本,即時滿足了活動的要求。壓測過程中也出現了多個副本和分片集中在少數幾台設備的情況,通過主備切換和數據快速搬遷後,平穩和快速地解決了該問題。

藉助騰訊雲資料庫完善基礎設施和服務

QQ音樂打造了“聽、看、玩”的立體泛音樂娛樂生態圈,為累計註冊數在8億以上的用戶提供多元化音樂生活體驗,優質服務的背後,是每天萬億級新增音樂內容和行為數據,PB數據量級的數據計算服務。經過QQ音樂和騰訊雲資料庫雙方技術團隊無數次技術架構升級和性能優化,逐步形成高可用、高性能、高安全的計算分析平臺。

音樂的業務場景較多,單一的資料庫架構不能完全滿足業務需求,所以針對不同的業務場景,我們選擇了不同的資料庫架構”,QQ音樂資料庫運維負責人趙新強說, QQ音樂藉助TDSQL的分散式能力部署了一主一從、一主多從的資料庫集群;針對核心業務,採用騰訊雲原生資料庫TDSQL-C的全球資料庫架構,實現了多地容災節點部署,在性能、成本和數據安全上均衡使用,滿足不同業務的需求。

如今,QQ音樂接入騰訊雲資料庫已有兩年多的時間,整體數據規模已超過100T。就業務場景來說,QQ音樂主要的特點是離線分析場景較多,在日常的運維過程中會經常遇到一些資料庫性能相關的疑難雜症或者組件管控的問題,騰訊雲資料庫團隊能夠及時地響應解決。

在資料庫的管理中,QQ音樂主要面臨以下幾個問題:

一是隨著日誌、流水、訂單類的業務數據不斷增長,原生的MySQL集中架構需要不斷的進行分庫分表,DBA工作量大,且對業務邏輯需要適配,TDSQL 支持自動水平拆分,能很好地解決該類問題;

二是隨著業務的增長,開發的DDL需求不斷增多,通過騰訊雲原生資料庫TDSQL-C提供的Instant DDL內核能力,1秒內完成原先需要幾十分鐘甚至小時級別的變更,極大提升了DBA的運維效率;

三是DBA日常頻繁應對各種慢查詢、低性能的排查,TDSQL的扁鵲DBbrain平臺通過對資料庫實例各項指標進行綜合分析和診斷,能夠快速準確的找到資料庫的性能瓶頸。

目前,QQ音樂業務在多種資料庫架構的基礎上,滿足了實時動態、最新評論、置頂等多業務功能,跨城讀取毫秒級延遲,且支持活動彈性擴縮容,輕鬆應對千萬級別用戶基數的高併發讀寫,管理更輕鬆,更專註業務

深入業務,向資料庫智能化運維演進

當前,雲端大數據基礎設施產品以其技術開放性、全鏈路覆蓋、靈活性獲得了互聯網企業數據IT團隊的一致認可。藉助於雲端大數據基礎設施推動業務創新、運營創新已成為互聯網企業的共識。

趙新強表示,目前QQ音樂處於自研上雲的階段,未來的主要方向是藉助騰訊雲完善的基礎設施和服務脫離底層繁瑣、基礎的運維工作,將更多精力深入業務,另外QQ音樂也會不斷建設自動化運維繫統和工具,逐步向資料庫智能化運維努力。

在這方面,騰訊雲原生資料庫TDSQL-C基於計算存儲分離的架構,提供HTAP、極致彈性擴縮、海量分散式存儲等能力,同時具備智能運維平臺、Severless版本等標準統一的產品服務方案,可全方位滿足QQ音樂及業務的各類需求。

騰訊雲資料庫智能統一管控平臺,可讓數據在不同引擎之間自由流動,更好地支持業務快速發展。具體包括:以豐富的介面能力,支持系統實現不同應用場景靈活調用、一鍵運營;實現90%常見故障秒級診斷及SQL優化建議的智能運維體系,大幅降低系統運維複雜度;基於多源同步工具,實現多引擎數據秒級同步,對業務屏蔽引擎差異;實現插件式負載均衡管理,進一步提升可用性。

QQ音樂通過騰訊雲資料庫的全棧服務,滿足了AP、TP全場景需求,支撐著千萬用戶的訂單、評論等核心業務,從大數據基礎設施、全鏈路數據工具鏈、領域數據價值應用在內的各個環節,互利共贏,釋放多元數據價值。而這也正是周傑倫新專輯帶來的啟示,對於互聯網企業來說,需要採用集數據安全、高性能、高彈性、易擴展等多種能力於一身的資料庫,才能幫助更有效地應對未來發展


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 半自動化安裝腳本 在可以聯網的機器準備 準備離線裝機包 # 安裝yum-utils # yum-utils是管理repository及擴展包的工具,包含一系列yum工具,我們需要使用yumdownloader來下載cobbler相關的依賴包 yum install -y yum-utils 使用yu ...
  • OmniFocus 3 mac版管理您忙碌生活中的一切。使用項目自然地組織任務,然後添加標簽以組織跨項目。在旅途中輕鬆輸入任務,併在有時間時處理它們。點擊預測視圖(顯示任務和日曆事件)以獲取當天的處理。使用“審核”透視圖可以使項目和任務保持正常運行。然後讓我們的免費同步系統確保每台Mac上的數據都相 ...
  • 新一期鏡像站體驗官任務發佈,希望熱愛科技、熱愛開源一起共建更加美好的鏡像站,投稿一經採納即可獲得優酷VIP卡一張(最多一張),被採納配置信息超過3個便可得天貓精靈音箱一個。 因為熱愛,所以行動 作為程式員肯定要和開源軟體打交道,很多情況需要用到相關的代碼庫,而依賴和軟體包的下載是最耗時最浪費精力的事 ...
  • OmniPlayer Pro全能播放器Mac版是Mac平臺上的一款幾乎適用於所有格式的多媒體播放器。Omni全能播放器Mac版是一款支持macOS上幾乎所有音頻和視頻格式的多媒體播放器。 詳情:OmniPlayer Pro for Mac(全能多媒體播放器) 特點介紹 主要功能: * 支持多種音視頻 ...
  • (文章目錄) 前言 相信大多數人都有自己搭建博客網站的想法,本文就手把手一步一步的進行,最終結果類似如下樣式: 一、網站軟體的選擇 軟體選擇成熟而免費的WordPress,WordPress是一款能讓您建立出色網站、博客或應用程式的開源軟體。 可充分利用超過55,000個插件擴展WordPress, ...
  • MySQL 的許可權管理(非重點) mysql用戶分類角度: 1.管理用戶: root,具有最高許可權,具有創建用戶的許可權,可以為其他用戶授權 2.普通用戶: 普通由root用戶創建,許可權由root分配 mysql用戶分類角度(訪問主機不同) 本地用戶-- 只能在安裝mysql的機器上訪問mysql數據 ...
  • 01 | 基礎架構:一條SQL查詢語句是如何執行的? Server 層 所有跨存儲引擎的功能都在這一層實現,比如存儲過程、觸發器、視圖等。 存儲引擎層負責數據的存儲和提取。其架構模式是插件式的,在 create table 語句中使用 engine=memory, 來指定使用記憶體引擎創建表 連接器 ...
  • 數據持久化 數據持久化就是將記憶體中的數據模型轉換為存儲模型,以及將存儲模型轉換為記憶體中的數據模型的統稱。數據模型可以是任何數據結構或對象模型,存儲模型可以是關係模型、XML、二進位流等。 瞬時狀態 保存在記憶體的程式數據,程式退出,數據就消失了 持久狀態 保存在磁碟上的程式數據,程式退出後依然存在 數 ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...