通過畫布(Canvas)實現 ZLMRTCClient 同一視頻流多次顯示時只拉取一次

来源:https://www.cnblogs.com/frost-zx/p/-/zlm-rtc-client-multi-video-pull-once
-Advertisement-
Play Games

效果預覽 視頻畫面 網路請求 代碼實現 ZLMRTCClient.js 當前使用的版本: 1.0.1 Mon Mar 27 2023 19:11:59 GMT+0800 首先需要修改 ZLMRTCClient.js 的代碼,解決由於網路導致播放失敗時無法觸發 WEBRTC_OFFER_ANWSER_ ...


效果預覽

視頻畫面

網路請求

代碼實現

ZLMRTCClient.js

當前使用的版本:
1.0.1 Mon Mar 27 2023 19:11:59 GMT+0800

首先需要修改 ZLMRTCClient.js 的代碼,解決由於網路導致播放失敗時無法觸發 WEBRTC_OFFER_ANWSER_EXCHANGE_FAILED 事件的問題。

修改前:

修改後:

修改內容:

// 添加 catch()
axios({
}).then(() => {
}).catch(() => {
  // 網路異常時觸發事件
  this.dispatch(Events$1.WEBRTC_OFFER_ANWSER_EXCHANGE_FAILED, null);
});

video-preview.js

// 2024-05-30
// 初始版本

/**
 * @typedef  CacheItem
 * @property {HTMLElement | null} element
 * @property {ZLMPlayer | null} player
 * @property {number} usedAt
 */

/** @typedef {InstanceType<typeof ZLMRTCClient.Endpoint>} ZLMPlayer */

/** 畫布渲染間隔 */
const INTERVAL_RENDER = 100;

/** 畫布解析度更新間隔 */
const INTERVAL_RESIZE = 1000;

/** 檢測畫布是否在頁面上間隔 */
const INTERVAL_WATCH_CANVAS = 1000;

/** 檢測視頻是否存在調用間隔 */
const INTERVAL_WATCH_VIDEO = 20000;

/** 模塊名稱 */
const PREFIX = '[video-preview]';

/** 重新播放間隔 */
const RESTART_TIMEOUT = 2000;

/** ZLM 客戶端 */
const ZLMRTCClient = window.ZLMRTCClient;

/**
 * @desc 緩存信息列表
 * @type {Record<string, CacheItem | null>}
 */
export const cacheList = {};

/**
 * @description 初始化播放器
 * @param {string} url 視頻流地址
 */
function initPlayer(url = '') {
  try {

    if (!url) {
      throw new Error('缺少 url 參數');
    }

    /** 是否主動停止播放 */
    let isStoped = false;

    /**
     * @description 初始化 & 更新數據
     * @param {CacheItem} cache
     */
    let fnInit = (cache) => {

      let element = document.createElement('video');

      // 開啟自動播放
      // 註:不能用 `setAttribute`,否則沒效果
      element.autoplay = true;
      element.controls = false;
      element.muted = true;

      // 添加到頁面,否則無法播放
      element.setAttribute('style', 'position: fixed; top: 0; left: 0; width: 0; height: 0');
      document.body.appendChild(element);

      let player = new ZLMRTCClient.Endpoint({
        // video 標簽
        element: element,
        // 是否列印日誌
        debug: false,
        // 流地址
        zlmsdpUrl: url,
        // 功能開關
        audioEnable: false,
        simulcast: false,
        useCamera: false,
        videoEnable: true,
        // 僅查看,不推流
        recvOnly: true,
        // 推流解析度
        resolution: { w: 1280, h: 720 },
        // 文本收發
        // https://developer.mozilla.org/en-US/docs/Web/API/RTCDataChannel/send
        usedatachannel: false,
      });

      // // 監聽事件:ICE 協商出錯
      // player.on(ZLMRTCClient.Events.WEBRTC_ICE_CANDIDATE_ERROR, function () {
      //   console.error(PREFIX, 'ICE 協商出錯')
      // });

      // 監聽事件:獲取到了遠端流,可以播放
      player.on(ZLMRTCClient.Events.WEBRTC_ON_REMOTE_STREAMS, function (event) {
        console.log(PREFIX, '播放成功', event.streams);
      });

      // 監聽事件:offer anwser 交換失敗
      player.on(ZLMRTCClient.Events.WEBRTC_OFFER_ANWSER_EXCHANGE_FAILED, function (event) {

        console.error(PREFIX, 'offer anwser 交換失敗', event);

        // 當前沒有主動停止
        if (!isStoped) {
          // 停止播放
          stopPlayer(player, element);
          // 重新播放
          setTimeout(() => {
            fnInit(cache);
          }, RESTART_TIMEOUT);
        }

      });

      // 監聽事件:RTC 狀態變化
      player.on(ZLMRTCClient.Events.WEBRTC_ON_CONNECTION_STATE_CHANGE, function (state) {

        console.log(PREFIX, 'RTC 狀態變化', state);

        // 狀態為已斷開
        if (state === 'disconnected' && !isStoped) {
          // 停止播放
          stopPlayer(player, element);
          // 重新播放
          setTimeout(() => {
            fnInit(cache);
          }, RESTART_TIMEOUT);
        }

      });

      cache.element = element;
      cache.player = player;
      cache.usedAt = Date.now();

    };

    let cacheItem = cacheList[url];

    if (cacheItem) {
      return cacheItem;
    } else {
      cacheItem = {};
    }

    console.log(PREFIX, '初始化', cacheItem);

    // 初始化
    fnInit(cacheItem);

    // 添加緩存信息
    cacheList[url] = cacheItem;

    // 監聽調用情況
    let watchTimer = setInterval(() => {

      let currTime = Date.now();
      let lastTime = cacheItem.usedAt;

      // 一段時間內沒有被調用,停止播放
      if (currTime - lastTime > INTERVAL_WATCH_VIDEO) {
        console.debug(PREFIX, '視頻沒有被調用,停止播放', { url });
        isStoped = true;
        stopPlayer(cacheItem.player, cacheItem.element);
        cacheList[url] = null;
        clearInterval(watchTimer);
      }

    }, INTERVAL_WATCH_VIDEO);

    return cacheItem;

  } catch (error) {
    console.error(PREFIX, '初始化播放器失敗:');
    console.error(error);
    return null;
  }
}

/**
 * @description 停止播放
 * @param {ZLMPlayer}        player
 * @param {HTMLVideoElement} element
 */
function stopPlayer(player, element) {
  try {

    if (player) {
      console.debug(PREFIX, 'stopPlayer - 停止播放');
      player.close();
    }

    if (element instanceof HTMLVideoElement) {
      console.debug(PREFIX, 'stopPlayer - 移除元素');
      element.remove();
    }

    return true;

  } catch (error) {
    console.error(PREFIX, '停止播放失敗:');
    console.error(error);
    return false;
  }
}

/**
 * @description 獲取視頻畫面 canvas
 * @param {string} url
 */
export function getVideoCanvas(url = '') {
  try {

    if (!url) {
      throw new Error('缺少 url 參數');
    }

    let cacheItem = initPlayer(url);
    let canvas = document.createElement('canvas');
    let ctx = canvas.getContext('2d');

    // 背景填充
    canvas.style.backgroundPosition = 'center center';
    canvas.style.backgroundSize = '100% 100%';

    /** 更新畫布解析度 */
    let fnResize = () => {

      let parent = canvas.parentElement;
      let rect = parent ? parent.getBoundingClientRect() : null;

      if (rect) {

        let cWidth = Math.round(canvas.width);
        let cHeight = Math.round(canvas.height);

        let rWidth = Math.round(rect.width);
        let rHeight = Math.round(rect.height);

        if (cWidth !== rWidth || cHeight !== rHeight) {
          // 更新畫布解析度前將畫面設置為背景,防止閃爍
          canvas.style.backgroundImage = `url(${canvas.toDataURL('image/png')})`;
          // 更新畫布解析度(將會自動清空畫布內容)
          canvas.width = rWidth;
          canvas.height = rHeight;
        }

      }

    };

    if (!cacheItem) {
      throw new Error('獲取緩存數據失敗');
    }

    // 渲染畫面
    let renderTimer = setInterval(() => {

      // 註:
      // 每次渲染都重新獲取,防止重連後獲取不到新創建的 video 元素
      let video = cacheItem.element;
      let cWidth = canvas.width;
      let cHeight = canvas.height;

      if (document.contains(video)) {
        ctx.drawImage(video, 0, 0, cWidth, cHeight);
      }

      canvas.style.backgroundImage = '';
      cacheItem.usedAt = Date.now();

    }, INTERVAL_RENDER);

    // 更新解析度
    let resizeTimer = setInterval(fnResize, INTERVAL_RESIZE);

    // 監聽元素
    let watchTimer = setInterval(() => {
      if (!document.contains(canvas)) {
        console.debug(PREFIX, '畫布已被移除,停止渲染畫面', { url });
        clearInterval(renderTimer);
        clearInterval(resizeTimer);
        clearInterval(watchTimer);
      }
    }, INTERVAL_WATCH_CANVAS);

    // 初始化解析度
    setTimeout(fnResize, 0);

    return canvas;

  } catch (error) {
    console.error(PREFIX, '獲取 canvas 失敗:');
    console.error(error);
    return null;
  }
}

使用時只需要調用 getVideoCanvas() 獲取 canvas,然後插入到 DOM 即可,畫布會自適應父元素寬高。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、背景 在日常佈局中,無論是兩欄佈局還是三欄佈局,使用的頻率都非常高 兩欄佈局 兩欄佈局實現效果就是將頁面分割成左右寬度不等的兩列,寬度較小的列設置為固定寬度,剩餘寬度由另一列撐滿, 比如 Ant Design 文檔,藍色區域為主要內容佈局容器,側邊欄為次要內容佈局容器 這裡稱寬度較小的列父元素為 ...
  • XML Web服務是基於WSDL、SOAP、RDF和RSS等標準的網路應用程式組件技術。WSDL描述服務介面和消息格式,SOAP用於結構化信息交換,RDF描述網路資源,RSS則用於發佈網站更新。Web服務特點是自包含、自描述,基於開放協議,可重用且能連接現有軟體。WSDL文檔包含`types`、`m... ...
  • title: vue3組件通信與props date: 2024/5/31 下午9:00:57 updated: 2024/5/31 下午9:00:57 categories: 前端開發 tags: Vue3組件 Props詳解 生命周期 數據通信 模板語法 Composition API 單向數據 ...
  • 一、是什麼 單例模式(Singleton Pattern):創建型模式,提供了一種創建對象的最佳方式,這種模式涉及到一個單一的類,該類負責創建自己的對象,同時確保只有單個對象被創建 在應用程式運行期間,單例模式只會在全局作用域下創建一次實例對象,讓所有需要調用的地方都共用這一單例對象,如下圖所示: ...
  • 為什麼會突然想到寫這麼一個大雜燴的博文呢,必須要從筆者幾年前的一次面試說起。當時的我年輕氣盛,在簡歷上放了自己的博客地址,而面試官應該是翻了我的博客,好幾道面試題都是圍繞著我的博文來提問。其中一個問題,直接使得空氣靜止了五分鐘,也是自從那次面試,我告訴自己,工作實戰中總結的經驗,一定要知其然知其所以... ...
  • 目錄前端平臺搭建(Vue2.6,App:HBulderX)創建Vue2.6項目下載相應插件方便開發路由配置對連接後端進行一些配置(main.js文件)導入ElementUI組件組件 | Element同步與非同步axios非同步請求框架 前端平臺搭建(Vue2.6,App:HBulderX) 創建Vue ...
  • 一、場景復現 一個經典的面試題 0.1 + 0.2 0.3 // false 為什麼是false呢? 先看下麵這個比喻 比如一個數 1÷3=0.33333333...... 3會一直無限迴圈,數學可以表示,但是電腦要存儲,方便下次取出來再使用,但0.333333...... 這個數無限迴圈,再大的 ...
  • title: 深入理解Vue 3:計算屬性與偵聽器的藝術 date: 2024/5/30 下午3:53:47 updated: 2024/5/30 下午3:53:47 categories: 前端開發 tags: Vue3 計算屬性 偵聽器 路由 模板 性能優化 實戰案例 前言 Vue 3的新特性簡 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...