如何基於 ZEGO SDK 實現 Android 通話質量監測

来源:https://www.cnblogs.com/zegodeveloper/archive/2022/05/09/16249570.html
-Advertisement-
Play Games

在進行視頻通話過程中,用戶有時候會出現網路不好的情況,比如在進行多人視頻通話或者多人唱歌時,我們需要實時顯示用戶的網路質量。 ...


功能簡介

在進行視頻通話過程中,用戶有時候會出現網路不好的情況,比如在進行多人視頻通話或者多人唱歌時,我們需要實時顯示用戶的網路質量。
在這裡插入圖片描述

示例源碼

參考 下載示例源碼 獲取源碼。

相關源碼請查看 “/ZegoExpressExample/AdvancedStreaming/src/main/java/im/zego/streammonitoring” 目錄下的文件。

前提條件

在監測通話質量之前,請確保:

基礎網路質量報告

可以通過監聽 onNetworkQuality 回調,收到房間內用戶(包括自己)的上下行網路質量。此回調每隔兩秒會收到一次,網路質量等級請參考 ZegoStreamQualityLevel

不同版本的 onNetworkQuality 回調邏輯有所不同:

  • 對於使用 2.14.0 及以上版本 ZEGO Express SDK 的用戶,onNetworkQuality 回調的邏輯為:

    • 只要推流或者拉流,就能收到自己的網路質量回調。
    • 當拉取了其他用戶推送的音視頻流並且該用戶在房間內時,才會收到該用戶的網路質量回調。
    • 當 “userID” 為 “null” 時,代表本次是自己的網路質量,當 “userID” 不為 “null” 時,代表是房間內其他用戶的報告。
  • 對於使用 2.10.02.13.1 版本 ZEGO Express SDK 的用戶,onNetworkQuality 回調的邏輯為:

    • 必須既推流又拉流,才會收到自身的網路質量回調。
    • 當拉取一條流時,推送該條流的用戶必須在同一房間內,且他也進行了拉流,才會收到該用戶的網路質量回調。
    • 當 “userID” 為 “null” 時,代表本次是自己的網路質量,當 “userID” 不為 “null” 時,代表是房間內其他用戶的報告。

onNetworkQuality 不適用於使用 CDN 進行直播的場景,可以參考 進階質量報告 - 推流質量報告 監測 CDN 的推流質量。

public void setEngineEventHandler(){
        engine.setEventHandler(new IZegoEventHandler() {
            @Override
            public void onNetworkQuality(String userID, ZegoStreamQualityLevel upstreamQuality, ZegoStreamQualityLevel downstreamQuality) {
                super.onNetworkQuality(userID, upstreamQuality, downstreamQuality);
                if (userID == null) {
                    // 代表本地用戶(我)的網路質量
                    //("我的上行網路質量是 %lu", (unsigned long)upstreamQuality);
                    //("我的下行網路質量是 %lu", (unsigned long)downstreamQuality);
                } else {
                    //代表房間內其他用戶的網路質量
                    //("用戶 %s 的上行網路質量是 %lu", userID, (unsigned long)upstreamQuality);
                    //("用戶 %s 的下行網路質量是 %lu", userID, (unsigned long)downstreamQuality);
                }

                /*
                ZegoStreamQualityLevel.EXCELLENT, 網路質量極好
                ZegoStreamQualityLevel.GOOD, 網路質量好
                ZegoStreamQualityLevel.MEDIUM, 網路質量正常
                ZegoStreamQualityLevel.BAD, 網路質量差
                ZegoStreamQualityLevel.DIE, 網路異常
                ZegoStreamQualityLevel.UNKNOWN, 網路質量未知
                */

            }
        });
           
    }

進階質量報告

如果上述的基礎網路質量報告不能滿足需求,ZEGO 還提供了更詳細的推流質量報告、拉流質量報告以及其他相關信息。

推流質量報告

推流質量報告指用戶把音視頻推送到 ZEGO 服務端這個過程的質量報告,包含了採集、編碼階段音視頻流的幀率,傳輸(發送)的音視頻流的幀率、碼率、延時及丟包率。

可以通過註冊 onPublisherQualityUpdate 接收推流質量回調,推流成功後每隔三秒會收到此回調。可根據 quality(ZegoPublishStreamQuality) 參數實時瞭解推送的音視頻流的健康情況。

  • 大多數情況下,只需關註 “quality” 的 “level” 參數,以 “level” 枚舉值來判斷推流的綜合質量,詳情可參考 ZegoStreamQualityLevel
  • 如果想關註更詳細的推流質量參數,可以參考 ZegoPublishStreamQuality
    engine.setEventHandler(new IZegoEventHandler() {

            // 開發者可以在此回調中監控具體的質量以上報到業務伺服器做監控,或者監控質量對象的某個欄位以給用戶友好的提示
            @Override
            public void onPublisherQualityUpdate(String streamID, ZegoPublishStreamQuality quality) {
                String networkQuality = "";
                // level 代表了推流質量的綜合分數,大部分情況下,開發者可以參考此分數展示上行網路的質量

                switch (quality.level) {
                    case EXCELLENT:
                        networkQuality = "非常好";
                        break;
                    case GOOD:
                        networkQuality = "好";
                        break;
                    case MEDIUM:
                        networkQuality = "一般";
                        break;
                    case BAD:
                        networkQuality = "差";
                        break;
                    case DIE:
                        networkQuality = "失敗";
                        break;
                    case UNKNOWN:
                        networkQuality = "未知";
                        break;
                    default:
                        break;
                }
                //("網路質量是:%s", networkQuality);
            }
        });

拉流質量報告

拉流質量報告指用戶拉取播放音視頻流這個過程的質量報告,包含了接收的音視頻流的幀率、碼率、延時和丟包率,解碼階段音視頻流的幀率,以及渲染階段的幀率、卡頓率、音視頻整體質量。

可以通過註冊 onPlayerQualityUpdate 接收拉流質量回調,拉流成功後每隔三秒會收到此回調。開發者可根據 quality(ZegoPlayStreamQuality) 參數實時瞭解拉取的音視頻流的健康情況。

  • 大多數情況下,只需關註 “quality” 的 “level” 參數,以 “level” 枚舉值來判斷拉流的綜合質量,詳情可參考 ZegoStreamQualityLevel
  • 如果想關註更詳細的拉流質量參數,可以參考 ZegoPlayStreamQuality
    engine.setEventHandler(new IZegoEventHandler() {
            // 開發者可以在此回調中監控具體的質量以上報到業務伺服器做監控,或者監控質量對象的某個欄位以給用戶友好的提示
            @Override
            public void onPlayerQualityUpdate(String streamID, ZegoPlayStreamQuality quality) {
                String networkQuality = "";
                // level 代表了拉流質量的綜合分數,大部分情況下,開發者可以參考此分數展示下行網路的質量

                switch (quality.level) {
                    case EXCELLENT:
                        networkQuality = "非常好";
                        break;
                    case GOOD:
                        networkQuality = "好";
                        break;
                    case MEDIUM:
                        networkQuality = "一般";
                        break;
                    case BAD:
                        networkQuality = "差";
                        break;
                    case DIE:
                        networkQuality = "失敗";
                        break;
                    case UNKNOWN:
                        networkQuality = "未知";
                        break;
                    default:
                        break;
                }
                //("網路質量是:%s", networkQuality);
            }
        });
}

MOS 音質評分

ZEGO Express SDK 2.16.0 版本開始,拉流質量回調 onPlayerQualityUpdate 中新增 "mos" 欄位,表示對拉流音質的評分。開發者對音頻質量比較關註時,可通過該欄位瞭解當前音頻的質量情況。

mos 欄位的取值範圍為 [-1, 5],其中 -1 表示未知(例如異常拉流時無法評分),[0, 5] 表示評分。實時音頻 MOS 評分對應的主觀音質感受如下:

MOS 值 評價標準
4.0~5.0 音質很好,清晰流暢,聽的清楚。
3.5~4.0 音質較好,偶有音質損傷,但依然清晰流暢,聽的清楚。
3.0~3.5 音質一般,偶有卡頓,需要一點註意力才能聽清。
2.5~3.0 音質較差,卡頓頻繁,需要集中註意力才能聽清。
2.0~2.5 音質很差,部分語義丟失,難以交流。
小於 2.0 音質極差,大量語義丟失,無法交流。
-1 未知。

其他信息監測

推流/拉流狀態變化通知

1. 推流狀態回調

在推流成功後,可以通過 onPublisherStateUpdate 獲取推流狀態變更的通知。

engine.setEventHandler(new IZegoEventHandler() {
    @Override
    public void onPublisherStateUpdate(String streamID, ZegoPublisherState state, int errorCode, JSONObject extendedData) {
        super.onPublisherStateUpdate(streamID, state, errorCode, extendedData);
        // 當 state 為 PUBLISHER_STATE_NO_PUBLISH 時,且 errcode 非 0,表示推流失敗,同時不會再進行重試推流了,此時可在界面作出推流失敗提示;    
        // 當 state 為 PUBLISHER_STATE_PUBLISH_REQUESTING 時,且 errcode 非 0,表示在重試推流,此時如果超出重試時間未成功推流會拋出推流失敗通知。
    }
}

可以根據回調內的 “state” 參數是否在 “正在請求推流狀態” 來大體判斷用戶的推流網路情況。“state” 參數的取值與用戶推流狀態對應如下:

枚舉值 說明
ZegoPublisherState.NO_PUBLISH 未推流狀態,在推流前處於該狀態。如果推流過程出現穩態的異常,例如 AppID 或 Token 不正確,或者如果其他用戶已經在推送流,推送相同流 ID 的流會失敗,都會進入未推流狀態。
ZegoPublisherState.PUBLISH_REQUESTING 正在請求推流狀態,推流操作執行成功後會進入正在請求推流狀態,通常通過該狀態進行 UI 界面的展示。如果因為網路質量不佳產生的中斷,SDK 會進行內部重試,也會回到正在請求推流狀態。
ZegoPublisherState.PUBLISHING 正在推流狀態,進入該狀態表明推流已經成功,用戶可以正常通信。

參數 “extendedData” 為狀態更新附帶的擴展信息。若使用 ZEGO 的 CDN 內容分髮網絡,在推流成功後,該參數的內容的鍵為 “flv_url_list”、“rtmp_url_list”、“hls_url_list”,分別對應 flv、rtmp、hls 協議的拉流 URL。

2. 拉流狀態變更回調

在拉流成功後,開發者可通過 onPlayerStateUpdate 獲取推流狀態變更的通知。

engine.setEventHandler(new IZegoEventHandler() {
    @Override
    public void onPlayerStateUpdate(String streamID, ZegoPlayerState state, int errorCode, JSONObject extendedData) {
        super.onPlayerStateUpdate(streamID, state, errorCode, extendedData);
        // 當 state 為 PLAYER_STATE_NO_PLAY 時,且 errcode 非 0,表示拉流失敗,同時不會再進行重試拉流了,此時可在界面作出拉流失敗提示;
        // 當 state 為 PLAYER_STATE_PLAY_REQUESTING 時,且 errcode 非 0,表示重試拉流,此時如果超出重試時間未成功拉到流會拋出拉流失敗通知。
    }
}

開發者可根據 “state” 參數是否在 “正在請求拉流狀態” 來大體判斷用戶的拉流網路情況。“state” 參數的取值與用戶拉流狀態對應如下:

枚舉值 說明
ZegoPlayerState.NO_PLAY 未拉流狀態,在拉流前處於該狀態。如果拉流過程出現穩態的異常,例如 AppID 或 Token 不正確,都會進入未拉流狀態。
ZegoPlayerState.PLAY_REQUESTING 正在請求拉流狀態,拉流操作執行成功後會進入正在請求拉流狀態,通常通過該狀態進行應用界面的展示。如果因為網路質量不佳產生的中斷,SDK 會進行內部重試,也會回到正在請求拉流狀態。
ZegoPlayerState.PLAYING 正在拉流狀態,進入該狀態表明拉流已經成功,用戶可以正常通信。

接收到音頻/視頻首幀的通知

1. 推流端音頻採集首幀回調

可以通過註冊 onPublisherCapturedAudioFirstFrame 接收音頻首幀回調。調用推流介面成功後,SDK 採集到第一幀音頻數據時會收到此回調。

在未推流或未預覽的情況下,首次推流或首次預覽,即 SDK 內部的音視頻模塊的引擎啟動時,會去採集本機設備的音頻數據,會收到該回調。開發者可根據該回調判斷 SDK 是否真的採集到音頻數據,若未收到該回調,說明音頻採集設備被占用或異常。

engine.setEventHandler(new IZegoEventHandler() {
    @Override
    public void onPublisherCapturedAudioFirstFrame() {
        super.onPublisherCapturedAudioFirstFrame();
    }
}

2. 推流端視頻採集首幀回調

可以通過註冊 onPublisherCapturedVideoFirstFrame 接收視頻首幀回調。調用推流介面成功後,SDK 採集到第一幀視頻數據時會收到此回調。

在未推流或未預覽的情況下,首次推流或首次預覽,即 SDK 內部的音視頻模塊的引擎啟動時,會去採集本機設備的視頻數據,會收到該回調。可以根據該回調判斷 SDK 是否真的採集到視頻數據,若未收到該回調,說明視頻採集設備被占用或異常。

engine.setEventHandler(new IZegoEventHandler() {
    @Override
    public void onPublisherCapturedVideoFirstFrame(ZegoPublishChannel channel) {
    super.onPublisherCapturedVideoFirstFrame(channel);
    }
}

3. 拉流端音頻接收首幀回調

開發者可通過註冊 onPlayerRecvAudioFirstFrame 監聽拉流端音頻接收首幀回調。調用拉流介面成功後,SDK 拉流拉到第一幀音頻數據時會收到此回調。

engine.setEventHandler(new IZegoEventHandler() {
    @Override
    public void onPlayerRecvAudioFirstFrame(String streamID) {
        super.onPlayerRecvAudioFirstFrame(streamID);
        AppLogger.getInstance().receiveCallback("onPlayerRecvAudioFirstFrame streamID:%s",streamID);
    }
}

4. 拉流端視頻接收首幀回調

可以通過註冊 onPlayerRecvVideoFirstFrame 監聽拉流端接收視頻首幀回調。調用拉流介面成功後,SDK 拉流拉到第一幀視頻數據時會收到此回調。

engine.setEventHandler(new IZegoEventHandler() {
    @Override
    public void onPlayerRecvVideoFirstFrame(String streamID) {
        super.onPlayerRecvVideoFirstFrame(streamID);
    }
}

5. 拉流端渲染完視頻首幀回調

可以通過註冊 onPlayerRenderVideoFirstFrame 監聽拉流端渲染完視頻首幀回調。調用拉流介面成功後,SDK 拉流並渲染完第一幀視頻數據後會收到此回調。

可以用該回調來統計首幀耗時或更新播放流的 UI 組件。

engine.setEventHandler(new IZegoEventHandler() {
    @Override
    public void onPlayerRenderVideoFirstFrame(String streamID){
        super.onPlayerRenderVideoFirstFrame(streamID);
    }
}

視頻解析度變化的回調

1. 採集視頻解析度變更回調

可以通過註冊 onPublisherVideoSizeChanged 監聽採集視頻大小變更回調。推流成功後,在推流中途如果視頻採集解析度發生變化將會收到此回調。

當在未推流或未預覽的情況下,首次推流或首次預覽,即 SDK 內部的音視頻模塊的引擎啟動時,會去採集本機設備的視頻數據,此時採集解析度會改變。

可以根據此回調來去除本地預覽的 UI 的遮蓋等類似操作。也可以根據該回調的解析度來動態調整預覽視圖的比例等。

engine.setEventHandler(new IZegoEventHandler() {
    @Override
    public void onPublisherVideoSizeChanged(int width, int height, ZegoPublishChannel channel) {
        super.onPublisherVideoSizeChanged(width, height, channel);
    }
}

2. 拉流解析度變更通知

您可以通過註冊 onPlayerVideoSizeChanged 獲取拉流解析度變更通知。拉流成功後,在拉流中途如果有視頻解析度發生變化將會收到此回調,用戶可根據流的最終解析度調整顯示。

  • 若拉的流只有音頻數據,會收不到該回調。
  • 若推流端由於網路問題觸發 SDK 內部的流量控制時,可能會動態減小推流端的編碼解析度,此時也會收到此回調。所拉的音視頻流真正渲染到所設置 UI 播放界面時會觸發此回調。開發者可利用該回調通知來更新或切換真正播放流的 UI 組件。
engine.setEventHandler(new IZegoEventHandler() {
    @Override
    public void onPlayerVideoSizeChanged(String streamID, int width, int height) {
    }
}

API 參考列表

方法 描述
onPublisherQualityUpdate 推流質量回調
onPlayerQualityUpdate 拉流質量更新回調
onPublisherStateUpdate 推流狀態回調
onPlayerStateUpdate 拉流狀態回調
onPublisherCapturedAudioFirstFrame 推流端音頻採集首幀回調
onPublisherCapturedVideoFirstFrame 推流端視頻採集首幀回調
onPlayerRecvAudioFirstFrame 拉流端音頻接收首幀回調
onPlayerRecvVideoFirstFrame 拉流端視頻接收首幀回調
onPlayerRenderVideoFirstFrame 拉流端渲染完視頻首幀回調
onPublisherVideoSizeChanged 採集視頻大小變更回調
onPlayerVideoSizeChanged 拉流解析度變更通知
onPublisherRelayCDNStateUpdate 添加/刪除轉推 CDN 地址狀態回調
onPlayerRecvSEI 收到遠端流的 SEI 內容

獲取Demo

獲取本文的Demo、開發文檔、技術支持。
獲取SDK的商務活動、熱門產品。
註冊即構ZEGO開發者帳號,快速開始。

音視頻場景解決方案分享,更多詳情可搜索官網(https://zegoguanwang.datasink.sensorsdata.cn/t/pB)
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 五一5天小假期的結束大家休息好了嗎?上班了狀態回整的怎麼樣呢?阿裡云云發平臺給大家帶福利了呢,通過玩游戲把獎品帶回家。 雲開發平臺兩周年,0門檻部署上線4款熱門游戲,游戲暢玩還有AirPods耳機、筋膜槍等8種獎品任你挑啦!4款游戲只需要完成2個就可以抽獎呢,100%中獎;還額外有故事有獎徵集的板塊 ...
  • 6、 1 鍵盤消息 // 4_4_例子Sysmets.cpp : 定義應用程式的入口點。 // #include "pch.h" #include "framework.h" #include "4_4_例子Sysmets.h" #include "data.h" #define MAX_LOADS ...
  • 本文例子參考《STM32單片機開發實例——基於Proteus虛擬模擬與HAL/LL庫》 源代碼:https://github.com/LanLinnet/STM33F103R6 項目要求 通過定時器延時(阻塞)的方式,實現LED燈以1秒為周期閃爍。 硬體設計 在第一節的基礎上,在Proteus中添加 ...
  • 一、DataStream API概述 Flink 中的 DataStream 程式是對數據流(例如過濾、更新狀態、定義視窗、聚合)進行轉換的常規程式。數據流的起始是從各種源(例如消息隊列、套接字流、文件)創建的。結果通過 sink 返回,例如可以將數據寫入文件或標準輸出(例如命令行終端)。Flink ...
  • 推薦文章: eclipse導入JDBC MySQL詳細安裝 菜鳥java MySQL連接教程 步驟: 找到MySQL的連接Java的jar文件; 如下圖: 在eclipse項目文件下找到lib文件夾,沒有的話就自己創建一個,然後將上面找到的jar文件複製粘貼到lib文件夾的下麵; 如下圖: 給這個j ...
  • 業務上雲的大背景對彈性與可靠性的要求越來越高,傳統架構的單機資料庫或是分片資料庫已經很難支撐快速增長的業務,如何解決這些痛點呢?一起來聽聽百度雲原生資料庫資深技術專家邱學達怎麼說。 ...
  • SQL語言基礎 SQL (Structured Query Language:結構化查詢語言) 是用於管理關係資料庫管理系統(RDBMS)。 SQL 的範圍包括數據插入、查詢、更新和刪除,資料庫模式創建和修改,以及數據訪問控制。 本文主要記錄一些主要的SQL命令(比如 SELECT、UPDATE、D ...
  • 一、使用PIVOT實現行轉列 1、首先創建一個學生表 CREATE TABLE [dbo].[Students]( [stu_id] [int] IDENTITY(1,1) NOT NULL, [stu_name] [varchar](100) NULL, [stu_hobby] [varchar] ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...