通過畫布(Canvas)實現 ZLMRTCClient 同一視頻流多次顯示時只拉取一次

来源:https://www.cnblogs.com/frost-zx/p/-/zlm-rtc-client-multi-video-pull-once
-Advertisement-
Play Games

效果預覽 視頻畫面 網路請求 代碼實現 ZLMRTCClient.js 當前使用的版本: 1.0.1 Mon Mar 27 2023 19:11:59 GMT+0800 首先需要修改 ZLMRTCClient.js 的代碼,解決由於網路導致播放失敗時無法觸發 WEBRTC_OFFER_ANWSER_ ...


效果預覽

視頻畫面

網路請求

代碼實現

ZLMRTCClient.js

當前使用的版本:
1.0.1 Mon Mar 27 2023 19:11:59 GMT+0800

首先需要修改 ZLMRTCClient.js 的代碼,解決由於網路導致播放失敗時無法觸發 WEBRTC_OFFER_ANWSER_EXCHANGE_FAILED 事件的問題。

修改前:

修改後:

修改內容:

// 添加 catch()
axios({
}).then(() => {
}).catch(() => {
  // 網路異常時觸發事件
  this.dispatch(Events$1.WEBRTC_OFFER_ANWSER_EXCHANGE_FAILED, null);
});

video-preview.js

// 2024-05-30
// 初始版本

/**
 * @typedef  CacheItem
 * @property {HTMLElement | null} element
 * @property {ZLMPlayer | null} player
 * @property {number} usedAt
 */

/** @typedef {InstanceType<typeof ZLMRTCClient.Endpoint>} ZLMPlayer */

/** 畫布渲染間隔 */
const INTERVAL_RENDER = 100;

/** 畫布解析度更新間隔 */
const INTERVAL_RESIZE = 1000;

/** 檢測畫布是否在頁面上間隔 */
const INTERVAL_WATCH_CANVAS = 1000;

/** 檢測視頻是否存在調用間隔 */
const INTERVAL_WATCH_VIDEO = 20000;

/** 模塊名稱 */
const PREFIX = '[video-preview]';

/** 重新播放間隔 */
const RESTART_TIMEOUT = 2000;

/** ZLM 客戶端 */
const ZLMRTCClient = window.ZLMRTCClient;

/**
 * @desc 緩存信息列表
 * @type {Record<string, CacheItem | null>}
 */
export const cacheList = {};

/**
 * @description 初始化播放器
 * @param {string} url 視頻流地址
 */
function initPlayer(url = '') {
  try {

    if (!url) {
      throw new Error('缺少 url 參數');
    }

    /** 是否主動停止播放 */
    let isStoped = false;

    /**
     * @description 初始化 & 更新數據
     * @param {CacheItem} cache
     */
    let fnInit = (cache) => {

      let element = document.createElement('video');

      // 開啟自動播放
      // 註:不能用 `setAttribute`,否則沒效果
      element.autoplay = true;
      element.controls = false;
      element.muted = true;

      // 添加到頁面,否則無法播放
      element.setAttribute('style', 'position: fixed; top: 0; left: 0; width: 0; height: 0');
      document.body.appendChild(element);

      let player = new ZLMRTCClient.Endpoint({
        // video 標簽
        element: element,
        // 是否列印日誌
        debug: false,
        // 流地址
        zlmsdpUrl: url,
        // 功能開關
        audioEnable: false,
        simulcast: false,
        useCamera: false,
        videoEnable: true,
        // 僅查看,不推流
        recvOnly: true,
        // 推流解析度
        resolution: { w: 1280, h: 720 },
        // 文本收發
        // https://developer.mozilla.org/en-US/docs/Web/API/RTCDataChannel/send
        usedatachannel: false,
      });

      // // 監聽事件:ICE 協商出錯
      // player.on(ZLMRTCClient.Events.WEBRTC_ICE_CANDIDATE_ERROR, function () {
      //   console.error(PREFIX, 'ICE 協商出錯')
      // });

      // 監聽事件:獲取到了遠端流,可以播放
      player.on(ZLMRTCClient.Events.WEBRTC_ON_REMOTE_STREAMS, function (event) {
        console.log(PREFIX, '播放成功', event.streams);
      });

      // 監聽事件:offer anwser 交換失敗
      player.on(ZLMRTCClient.Events.WEBRTC_OFFER_ANWSER_EXCHANGE_FAILED, function (event) {

        console.error(PREFIX, 'offer anwser 交換失敗', event);

        // 當前沒有主動停止
        if (!isStoped) {
          // 停止播放
          stopPlayer(player, element);
          // 重新播放
          setTimeout(() => {
            fnInit(cache);
          }, RESTART_TIMEOUT);
        }

      });

      // 監聽事件:RTC 狀態變化
      player.on(ZLMRTCClient.Events.WEBRTC_ON_CONNECTION_STATE_CHANGE, function (state) {

        console.log(PREFIX, 'RTC 狀態變化', state);

        // 狀態為已斷開
        if (state === 'disconnected' && !isStoped) {
          // 停止播放
          stopPlayer(player, element);
          // 重新播放
          setTimeout(() => {
            fnInit(cache);
          }, RESTART_TIMEOUT);
        }

      });

      cache.element = element;
      cache.player = player;
      cache.usedAt = Date.now();

    };

    let cacheItem = cacheList[url];

    if (cacheItem) {
      return cacheItem;
    } else {
      cacheItem = {};
    }

    console.log(PREFIX, '初始化', cacheItem);

    // 初始化
    fnInit(cacheItem);

    // 添加緩存信息
    cacheList[url] = cacheItem;

    // 監聽調用情況
    let watchTimer = setInterval(() => {

      let currTime = Date.now();
      let lastTime = cacheItem.usedAt;

      // 一段時間內沒有被調用,停止播放
      if (currTime - lastTime > INTERVAL_WATCH_VIDEO) {
        console.debug(PREFIX, '視頻沒有被調用,停止播放', { url });
        isStoped = true;
        stopPlayer(cacheItem.player, cacheItem.element);
        cacheList[url] = null;
        clearInterval(watchTimer);
      }

    }, INTERVAL_WATCH_VIDEO);

    return cacheItem;

  } catch (error) {
    console.error(PREFIX, '初始化播放器失敗:');
    console.error(error);
    return null;
  }
}

/**
 * @description 停止播放
 * @param {ZLMPlayer}        player
 * @param {HTMLVideoElement} element
 */
function stopPlayer(player, element) {
  try {

    if (player) {
      console.debug(PREFIX, 'stopPlayer - 停止播放');
      player.close();
    }

    if (element instanceof HTMLVideoElement) {
      console.debug(PREFIX, 'stopPlayer - 移除元素');
      element.remove();
    }

    return true;

  } catch (error) {
    console.error(PREFIX, '停止播放失敗:');
    console.error(error);
    return false;
  }
}

/**
 * @description 獲取視頻畫面 canvas
 * @param {string} url
 */
export function getVideoCanvas(url = '') {
  try {

    if (!url) {
      throw new Error('缺少 url 參數');
    }

    let cacheItem = initPlayer(url);
    let canvas = document.createElement('canvas');
    let ctx = canvas.getContext('2d');

    // 背景填充
    canvas.style.backgroundPosition = 'center center';
    canvas.style.backgroundSize = '100% 100%';

    /** 更新畫布解析度 */
    let fnResize = () => {

      let parent = canvas.parentElement;
      let rect = parent ? parent.getBoundingClientRect() : null;

      if (rect) {

        let cWidth = Math.round(canvas.width);
        let cHeight = Math.round(canvas.height);

        let rWidth = Math.round(rect.width);
        let rHeight = Math.round(rect.height);

        if (cWidth !== rWidth || cHeight !== rHeight) {
          // 更新畫布解析度前將畫面設置為背景,防止閃爍
          canvas.style.backgroundImage = `url(${canvas.toDataURL('image/png')})`;
          // 更新畫布解析度(將會自動清空畫布內容)
          canvas.width = rWidth;
          canvas.height = rHeight;
        }

      }

    };

    if (!cacheItem) {
      throw new Error('獲取緩存數據失敗');
    }

    // 渲染畫面
    let renderTimer = setInterval(() => {

      // 註:
      // 每次渲染都重新獲取,防止重連後獲取不到新創建的 video 元素
      let video = cacheItem.element;
      let cWidth = canvas.width;
      let cHeight = canvas.height;

      if (document.contains(video)) {
        ctx.drawImage(video, 0, 0, cWidth, cHeight);
      }

      canvas.style.backgroundImage = '';
      cacheItem.usedAt = Date.now();

    }, INTERVAL_RENDER);

    // 更新解析度
    let resizeTimer = setInterval(fnResize, INTERVAL_RESIZE);

    // 監聽元素
    let watchTimer = setInterval(() => {
      if (!document.contains(canvas)) {
        console.debug(PREFIX, '畫布已被移除,停止渲染畫面', { url });
        clearInterval(renderTimer);
        clearInterval(resizeTimer);
        clearInterval(watchTimer);
      }
    }, INTERVAL_WATCH_CANVAS);

    // 初始化解析度
    setTimeout(fnResize, 0);

    return canvas;

  } catch (error) {
    console.error(PREFIX, '獲取 canvas 失敗:');
    console.error(error);
    return null;
  }
}

使用時只需要調用 getVideoCanvas() 獲取 canvas,然後插入到 DOM 即可,畫布會自適應父元素寬高。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、背景 在日常佈局中,無論是兩欄佈局還是三欄佈局,使用的頻率都非常高 兩欄佈局 兩欄佈局實現效果就是將頁面分割成左右寬度不等的兩列,寬度較小的列設置為固定寬度,剩餘寬度由另一列撐滿, 比如 Ant Design 文檔,藍色區域為主要內容佈局容器,側邊欄為次要內容佈局容器 這裡稱寬度較小的列父元素為 ...
  • XML Web服務是基於WSDL、SOAP、RDF和RSS等標準的網路應用程式組件技術。WSDL描述服務介面和消息格式,SOAP用於結構化信息交換,RDF描述網路資源,RSS則用於發佈網站更新。Web服務特點是自包含、自描述,基於開放協議,可重用且能連接現有軟體。WSDL文檔包含`types`、`m... ...
  • title: vue3組件通信與props date: 2024/5/31 下午9:00:57 updated: 2024/5/31 下午9:00:57 categories: 前端開發 tags: Vue3組件 Props詳解 生命周期 數據通信 模板語法 Composition API 單向數據 ...
  • 一、是什麼 單例模式(Singleton Pattern):創建型模式,提供了一種創建對象的最佳方式,這種模式涉及到一個單一的類,該類負責創建自己的對象,同時確保只有單個對象被創建 在應用程式運行期間,單例模式只會在全局作用域下創建一次實例對象,讓所有需要調用的地方都共用這一單例對象,如下圖所示: ...
  • 為什麼會突然想到寫這麼一個大雜燴的博文呢,必須要從筆者幾年前的一次面試說起。當時的我年輕氣盛,在簡歷上放了自己的博客地址,而面試官應該是翻了我的博客,好幾道面試題都是圍繞著我的博文來提問。其中一個問題,直接使得空氣靜止了五分鐘,也是自從那次面試,我告訴自己,工作實戰中總結的經驗,一定要知其然知其所以... ...
  • 目錄前端平臺搭建(Vue2.6,App:HBulderX)創建Vue2.6項目下載相應插件方便開發路由配置對連接後端進行一些配置(main.js文件)導入ElementUI組件組件 | Element同步與非同步axios非同步請求框架 前端平臺搭建(Vue2.6,App:HBulderX) 創建Vue ...
  • 一、場景復現 一個經典的面試題 0.1 + 0.2 0.3 // false 為什麼是false呢? 先看下麵這個比喻 比如一個數 1÷3=0.33333333...... 3會一直無限迴圈,數學可以表示,但是電腦要存儲,方便下次取出來再使用,但0.333333...... 這個數無限迴圈,再大的 ...
  • title: 深入理解Vue 3:計算屬性與偵聽器的藝術 date: 2024/5/30 下午3:53:47 updated: 2024/5/30 下午3:53:47 categories: 前端開發 tags: Vue3 計算屬性 偵聽器 路由 模板 性能優化 實戰案例 前言 Vue 3的新特性簡 ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...