《最偉大的作品》,解密周傑倫新專輯背後的數據密碼

来源:https://www.cnblogs.com/tencentdb/archive/2022/07/19/16492941.html
-Advertisement-
Play Games

7月14日晚間,周傑倫最新專輯《最偉大的作品》在QQ音樂正式上線,立即成為全網最大的熱點事件。作為一張“六年等一回”的新專輯,《最偉大的作品》於7月8日開啟預售,截止到7月18日,已在QQ音樂售出超500萬張。 當全國人民沉浸在音樂的狂歡中,對於QQ音樂團隊來卻有著更多的涵義:海**量的數據意味著更 ...


file
7月14日晚間,周傑倫最新專輯《最偉大的作品》在QQ音樂正式上線,立即成為全網最大的熱點事件。作為一張“六年等一回”的新專輯,《最偉大的作品》於7月8日開啟預售,截止到7月18日,已在QQ音樂售出超500萬張。

當全國人民沉浸在音樂的狂歡中,對於QQ音樂團隊來卻有著更多的涵義:海量的數據意味著更高標準的數據分析業務,底層的資料庫,將迎來流量峰值期間的高併發和快速響應挑戰。同時,如何通過用戶行為以及音樂內容標簽數據,深入洞察用戶需求,為億萬用戶帶來更優質的音樂體驗?是對QQ音樂大數據團隊的挑戰以及機遇。

海量數據場景下,如何保證用戶體驗?

作為一款國民級音樂應用,QQ音樂月活躍用戶人數超過2.2億,周傑倫又是其最具號召力的歌手。從流量數據來看,專輯同名先行曲MV《最偉大的作品》在QQ音樂發佈15分鐘,播放量超120萬次,上線僅1小時47分,播放總量突破600萬次,分享總次數突破20萬,評論總次數突破12萬,MV巔峰榜達成1000萬等級認證,均打破QQ音樂MV單日數據歷史紀錄

從這也可以看出,作為音樂類應用,QQ音樂坐擁海量數據,而且業務場景較多。大體來看,新音樂數字專輯上線,對於資料庫來說可能面臨如下挑戰:

首先是高併發低延時的需求,活動開始的時候會有大量用戶瞬間同時訪問同一個歌手、同一首歌或者同一張專輯的信息,這就需要解決資料庫熱點更新、高併發低延遲的問題。

其次是資料庫快速擴縮容的需求,因為活動時間緊,瞬間併發量高,需要資料庫能夠快速支持多倍性能。

最後是數據海量存儲和數據安全性的需求,由於訂單數據和日誌流水非常多,且數據不能丟失,需要資料庫既能保證數據安全又能支撐海量數據的存儲。

QQ音樂資料庫運維負責人趙新強說,此次周傑倫專輯發佈活動涉及到的資料庫主要是售賣專輯的訂單庫,在專輯預售和正售時會有大量訂單同時寫入和更新資料庫,對資料庫的性能和一致性要求都較高,數據不能丟失,還需要保證高性能查詢、寫入和更新

此種背景下,QQ音樂的資料庫整個架構需要更安全、更穩定的服務模式。而騰訊雲企業級分散式資料庫TDSQL正好滿足了本次活動的需求。

TDSQL支持強同步、半同步、非同步三種同步方式,且強同步的性能基本接近非同步複製方式。在周傑倫新專輯上線這一場景下,TDSQL的強同步正好滿足了該場景的需求。另外,TDSQL支持主備快速切換和快速增加分片和副本,在對業務透明的情況下快速擴容了多個分片和副本,即時滿足了活動的要求。壓測過程中也出現了多個副本和分片集中在少數幾台設備的情況,通過主備切換和數據快速搬遷後,平穩和快速地解決了該問題。

藉助騰訊雲資料庫完善基礎設施和服務

QQ音樂打造了“聽、看、玩”的立體泛音樂娛樂生態圈,為累計註冊數在8億以上的用戶提供多元化音樂生活體驗,優質服務的背後,是每天萬億級新增音樂內容和行為數據,PB數據量級的數據計算服務。經過QQ音樂和騰訊雲資料庫雙方技術團隊無數次技術架構升級和性能優化,逐步形成高可用、高性能、高安全的計算分析平臺。

音樂的業務場景較多,單一的資料庫架構不能完全滿足業務需求,所以針對不同的業務場景,我們選擇了不同的資料庫架構”,QQ音樂資料庫運維負責人趙新強說, QQ音樂藉助TDSQL的分散式能力部署了一主一從、一主多從的資料庫集群;針對核心業務,採用騰訊雲原生資料庫TDSQL-C的全球資料庫架構,實現了多地容災節點部署,在性能、成本和數據安全上均衡使用,滿足不同業務的需求。

如今,QQ音樂接入騰訊雲資料庫已有兩年多的時間,整體數據規模已超過100T。就業務場景來說,QQ音樂主要的特點是離線分析場景較多,在日常的運維過程中會經常遇到一些資料庫性能相關的疑難雜症或者組件管控的問題,騰訊雲資料庫團隊能夠及時地響應解決。

在資料庫的管理中,QQ音樂主要面臨以下幾個問題:

一是隨著日誌、流水、訂單類的業務數據不斷增長,原生的MySQL集中架構需要不斷的進行分庫分表,DBA工作量大,且對業務邏輯需要適配,TDSQL 支持自動水平拆分,能很好地解決該類問題;

二是隨著業務的增長,開發的DDL需求不斷增多,通過騰訊雲原生資料庫TDSQL-C提供的Instant DDL內核能力,1秒內完成原先需要幾十分鐘甚至小時級別的變更,極大提升了DBA的運維效率;

三是DBA日常頻繁應對各種慢查詢、低性能的排查,TDSQL的扁鵲DBbrain平臺通過對資料庫實例各項指標進行綜合分析和診斷,能夠快速準確的找到資料庫的性能瓶頸。

目前,QQ音樂業務在多種資料庫架構的基礎上,滿足了實時動態、最新評論、置頂等多業務功能,跨城讀取毫秒級延遲,且支持活動彈性擴縮容,輕鬆應對千萬級別用戶基數的高併發讀寫,管理更輕鬆,更專註業務

深入業務,向資料庫智能化運維演進

當前,雲端大數據基礎設施產品以其技術開放性、全鏈路覆蓋、靈活性獲得了互聯網企業數據IT團隊的一致認可。藉助於雲端大數據基礎設施推動業務創新、運營創新已成為互聯網企業的共識。

趙新強表示,目前QQ音樂處於自研上雲的階段,未來的主要方向是藉助騰訊雲完善的基礎設施和服務脫離底層繁瑣、基礎的運維工作,將更多精力深入業務,另外QQ音樂也會不斷建設自動化運維繫統和工具,逐步向資料庫智能化運維努力。

在這方面,騰訊雲原生資料庫TDSQL-C基於計算存儲分離的架構,提供HTAP、極致彈性擴縮、海量分散式存儲等能力,同時具備智能運維平臺、Severless版本等標準統一的產品服務方案,可全方位滿足QQ音樂及業務的各類需求。

騰訊雲資料庫智能統一管控平臺,可讓數據在不同引擎之間自由流動,更好地支持業務快速發展。具體包括:以豐富的介面能力,支持系統實現不同應用場景靈活調用、一鍵運營;實現90%常見故障秒級診斷及SQL優化建議的智能運維體系,大幅降低系統運維複雜度;基於多源同步工具,實現多引擎數據秒級同步,對業務屏蔽引擎差異;實現插件式負載均衡管理,進一步提升可用性。

QQ音樂通過騰訊雲資料庫的全棧服務,滿足了AP、TP全場景需求,支撐著千萬用戶的訂單、評論等核心業務,從大數據基礎設施、全鏈路數據工具鏈、領域數據價值應用在內的各個環節,互利共贏,釋放多元數據價值。而這也正是周傑倫新專輯帶來的啟示,對於互聯網企業來說,需要採用集數據安全、高性能、高彈性、易擴展等多種能力於一身的資料庫,才能幫助更有效地應對未來發展


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 半自動化安裝腳本 在可以聯網的機器準備 準備離線裝機包 # 安裝yum-utils # yum-utils是管理repository及擴展包的工具,包含一系列yum工具,我們需要使用yumdownloader來下載cobbler相關的依賴包 yum install -y yum-utils 使用yu ...
  • OmniFocus 3 mac版管理您忙碌生活中的一切。使用項目自然地組織任務,然後添加標簽以組織跨項目。在旅途中輕鬆輸入任務,併在有時間時處理它們。點擊預測視圖(顯示任務和日曆事件)以獲取當天的處理。使用“審核”透視圖可以使項目和任務保持正常運行。然後讓我們的免費同步系統確保每台Mac上的數據都相 ...
  • 新一期鏡像站體驗官任務發佈,希望熱愛科技、熱愛開源一起共建更加美好的鏡像站,投稿一經採納即可獲得優酷VIP卡一張(最多一張),被採納配置信息超過3個便可得天貓精靈音箱一個。 因為熱愛,所以行動 作為程式員肯定要和開源軟體打交道,很多情況需要用到相關的代碼庫,而依賴和軟體包的下載是最耗時最浪費精力的事 ...
  • OmniPlayer Pro全能播放器Mac版是Mac平臺上的一款幾乎適用於所有格式的多媒體播放器。Omni全能播放器Mac版是一款支持macOS上幾乎所有音頻和視頻格式的多媒體播放器。 詳情:OmniPlayer Pro for Mac(全能多媒體播放器) 特點介紹 主要功能: * 支持多種音視頻 ...
  • (文章目錄) 前言 相信大多數人都有自己搭建博客網站的想法,本文就手把手一步一步的進行,最終結果類似如下樣式: 一、網站軟體的選擇 軟體選擇成熟而免費的WordPress,WordPress是一款能讓您建立出色網站、博客或應用程式的開源軟體。 可充分利用超過55,000個插件擴展WordPress, ...
  • MySQL 的許可權管理(非重點) mysql用戶分類角度: 1.管理用戶: root,具有最高許可權,具有創建用戶的許可權,可以為其他用戶授權 2.普通用戶: 普通由root用戶創建,許可權由root分配 mysql用戶分類角度(訪問主機不同) 本地用戶-- 只能在安裝mysql的機器上訪問mysql數據 ...
  • 01 | 基礎架構:一條SQL查詢語句是如何執行的? Server 層 所有跨存儲引擎的功能都在這一層實現,比如存儲過程、觸發器、視圖等。 存儲引擎層負責數據的存儲和提取。其架構模式是插件式的,在 create table 語句中使用 engine=memory, 來指定使用記憶體引擎創建表 連接器 ...
  • 數據持久化 數據持久化就是將記憶體中的數據模型轉換為存儲模型,以及將存儲模型轉換為記憶體中的數據模型的統稱。數據模型可以是任何數據結構或對象模型,存儲模型可以是關係模型、XML、二進位流等。 瞬時狀態 保存在記憶體的程式數據,程式退出,數據就消失了 持久狀態 保存在磁碟上的程式數據,程式退出後依然存在 數 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...