AI目標分割能力,無需綠幕即可實現快速視頻摳圖

来源:https://www.cnblogs.com/hmscore/archive/2022/08/01/16539649.html
-Advertisement-
Play Games

綠幕摳圖是影視製作過程中常見的技術手段,常用於視頻中摳除並替換背景,通過後期加工實現視頻剪輯製作的更多可能性。然而,綠幕摳圖技術製作成本費時費力,無法應用於日常生活。 華為視頻編輯服務近期上線目標分割能力,可通過AI智能摳圖精細化分割視頻中的目標物體,並且不局限於特定的物體類別,在主體明確、背景相對 ...


綠幕摳圖是影視製作過程中常見的技術手段,常用於視頻中摳除並替換背景,通過後期加工實現視頻剪輯製作的更多可能性。然而,綠幕摳圖技術製作成本費時費力,無法應用於日常生活。

華為視頻編輯服務近期上線目標分割能力,可通過AI智能摳圖精細化分割視頻中的目標物體,並且不局限於特定的物體類別,在主體明確、背景相對簡單的視頻中進行主體和背景的分割,可以取得不錯的處理效果。

應用場景

目標分割能力多應用於視頻直播、線上教育、論壇會議等場景。比如,在賣貨直播的場景中,可以將直播背景替換成商品詳情頁的輪播畫面,便於用戶及時瞭解商品;線上上論壇或者視頻會議中,將背景替換成PPT內容或者辦公場景,營造學習辦公的嚴肅氛圍。同樣,目標分割能力也可滿足用戶日常趣味剪輯,用戶可以通過目標分割能力剪輯人像視頻,然後將背景切換各國名景,足不出戶便能實現“周游世界”。

除了更換視頻背景,目標分割能力還可應用於影視播放,通過目標摳圖,避免彈幕遮擋劇情主體,優化用戶觀看體驗。結合其他技術能力,還可以將分割後的目標物體進行複製和刪除,甚至調整目標物體的動作時間,打造更具創意的視頻作品。

實現原理

那麼,目標分割能力是怎麼實現的呢?

首先,用戶需要選擇目標物體,然後再進行AI目標分割。通過給定視頻第一幀圖像需要分割目標物體的對應掩碼,AI模型會自動在後續每一幀的視頻幀中匹配這個物體並嘗試分割出來。並且,模型將會保存中間幀分割效果好的結果掩碼與第一幀的掩碼信息相結合,在後續視頻幀中進行匹配,可以精準勾勒目標物體的邊緣細節,進一步提升目標分割的準確度。

DEMO演示

集成方式

1. 開發準備

詳細準備步驟可參考華為開發者聯盟官網

2. 編輯工程集成

2.1 設置應用的鑒權信息

可以通過api_key或者Access Token來設置應用鑒權信息。

通過setAccessToken方法設置Access Token,在應用啟動時初始化設置一次即可,無需多次設置。

MediaApplication.getInstance().setAccessToken("your access token");

通過setApiKey方法設置api_key,在應用啟動時初始化設置一次即可,無需多次設置。

MediaApplication.getInstance().setApiKey("your ApiKey");

2.2設置唯一標識ID,即License ID。

License ID是進行管控的有效憑證,您要保證設置License ID的唯一性。

MediaApplication.getInstance().setLicenseId("License ID");

2.2.1初始化Editor運行環境

創建編輯工程,需要首先創建Editor對象並初始化其運行環境。當離開編輯工程時,應釋放Editor實例。

(1) 創建Editor對象

HuaweiVideoEditor editor = HuaweiVideoEditor.create(getApplicationContext());

(2) 指定預覽視窗的佈局位置

預覽視窗負責視頻圖像畫面的渲染,由視頻編輯原子能力SDK內部創建SurfaceView來實現。在創建視窗之前,需要在您的App中指定預覽視窗的佈局位置。

<LinearLayout    
    android:id="@+id/video_content_layout"    
    android:layout_width="0dp"    
    android:layout_height="0dp"    
    android:background="@color/video_edit_main_bg_color"    
    android:gravity="center"    
    android:orientation="vertical" />
// 指定預覽視窗 
LinearLayout mSdkPreviewContainer = view.findViewById(R.id.video_content_layout);

// 設置預覽視窗承載的佈局 
editor.setDisplay(mSdkPreviewContainer);

(3) 初始化運行環境,如果License鑒權失敗,會拋出LicenseException。

當Editor對象創建之後,此時還沒有占用實際的系統資源,需要手動選擇其環境初始化的時機,此時視頻編輯原子能力SDK內部會創建必須的線程和定時器等。

try {
        editor.initEnvironment();
   } catch (LicenseException error) { 
        SmartLog.e(TAG, "initEnvironment failed: " + error.getErrorMsg());    
        finish();
        return;
   }

3. “目標分割”能力集成

// 初始化目標分割AI引擎
videoAsset.initSegmentationEngine(new HVEAIInitialCallback() {
        @Override
        public void onProgress(int progress) {
            // 初始化進度
        }

        @Override
        public void onSuccess() {
            // 初始化成功
        }

        @Override
        public void onError(int errorCode, String errorMessage) {
            // 初始化失敗
    }
});

// 初始化成功後,選擇需要分割的目標進行分割,返回選擇分割目標的的處理結果
// bitmap包含需要分割的目標的視頻幀圖片;timeStamp為視頻幀圖片在時間線上的時間戳;points為基於視頻幀圖片的坐標點集合,左上角為原點坐標,坐標點應位於需要分割的目標內,且個數建議大於等於2,需根據坐標點軌跡來確定選擇的目標
int result = videoAsset.selectSegmentationObject(bitmap, timeStamp, points);

// 目標分割的處理結果成功後,添加目標分割AI特效
videoAsset.addSegmentationEffect(new HVEAIProcessCallback() {
        @Override
        public void onProgress(int progress) {
            // 目標分割AI特效處理進度
        }

        @Override
        public void onSuccess() {
            // 目標分割AI特效處理成功
        }

        @Override
        public void onError(int errorCode, String errorMessage) {
            // 目標分割AI特效處理失敗
        }
});

// 中斷目標分割AI特效處理
videoAsset.interruptSegmentation();

// 移除目標分割AI特效
videoAsset.removeSegmentationEffect();

// 釋放目標分割AI引擎
videoAsset.releaseSegmentationEngine();

瞭解更多詳情>>

訪問華為開發者聯盟官網
獲取開髮指導文檔
華為移動服務開源倉庫地址:GitHubGitee

關註我們,第一時間瞭解 HMS Core 最新技術資訊~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 基礎知識 ssh:secure shell protocol,安全的遠程登錄 作用:是建立在應用層基礎上的安全協議,實現數據傳輸過程中數據的加密,代替telent協議 使用tcp協議,埠號為22 ssh服務具體的軟體實現: openSSH dropbear OpenSSH:ssh協議的開源實現,l ...
  • 1.mysql資料庫備份與恢復 1.1 資料庫常用備份方案 資料庫備份方案: 冷備份:先把資料庫服務停掉,然後拷貝資料庫目錄下的文件進行備份 物理備份 溫備份: 熱備份:資料庫服務正常運行情況,直接對資料庫進行備份 全量備份:全部備份 增量備份:第一次全備,第二次在第一次全備更改的基礎上備份 差異備 ...
  • 一、Mysql的系統架構圖 二、Mysql存儲引擎 Mysql中的數據是通過一定的方式存儲在文件或者記憶體中的,任何方式都有不同的存儲、查找和更新機制,這意味著選擇不同的方式對於數據的存取有效率的差距。 這種不同的存儲方式在 MySQL中被稱作存儲引擎。 存儲引擎是Mysql資料庫系統的底層組件,數據 ...
  • mysql主從 1.主從原理 1.1 主從介紹 所謂mysql主從就是建立兩個完全一樣的資料庫,其中一個為主要使用的資料庫,另一個為次要的資料庫,一般在企業中,存放比較重要的數據的資料庫伺服器需要配置主從,這樣可以防止因資料庫伺服器宕機導致數據丟失,還能保證業務量太多、數據太多和訪問人數太多時服務的 ...
  • mysql 簡潔式安裝步驟 1. 設置全局變數 解壓mysql壓縮包到指定位置, 然後配置全局變數, 在 path 中添加全局變數, 值為 mysql 根目錄下 bin 目錄路徑, 比如: D:\code_space\environments\mysql-8.0.30\bin 然後保存即可 2. 配 ...
  • 常用命令 啟動redis服務(Windows) 在redis的目錄下執行命令: redis-server 啟動redis客戶端實例(Windows) 在redis的src目錄下執行命令: redis-cli 連接遠程redis伺服器:(Windows) redis-cli -h host -p po ...
  • 一、直播介紹 上期雅澤同學對ChengYing是什麼、有什麼樣的功能特性,如何快速入門做了介紹,本期海洋同學將會為大家分享ChengYing部署Hadoop集群實戰的相關內容,歡迎大家積极參与。 二、直播主題 ChengYing部署Hadoop集群實戰 三、直播時間 時間:2022年8月2日晚 19 ...
  • 我們都理解B+樹和Hash索引的區別有助於我們預測索引在不同的存儲引擎中是怎麼執行查詢的。 B+ TREE 索引特性B數是一種在資料庫索引中流行的樹數據結構。該結構始終保持排序,從而可以快速查找精確匹配。MySQL中使用的是B樹的一種變體,B+樹,這種類型的索引可用於大多數存儲引擎,例如InnoDB ...
一周排行
    -Advertisement-
    Play Games
  • 使用原因: 在我們服務端調用第三方介面時,如:支付寶,微信支付,我們服務端需要模擬http請求並加上一些自己的邏輯響應給前端最終達到我們想要的效果 1.使用WebClient 引用命名空間 using System.Net; using System.Collections.Specialized; ...
  • WPF 實現帶蒙版的 MessageBox 消息提示框 WPF 實現帶蒙版的 MessageBox 消息提示框 作者:WPFDevelopersOrg 原文鏈接: https://github.com/WPFDevelopersOrg/WPFDevelopers.Minimal 框架使用大於等於.N ...
  • 一、JSON(JavaScript Object Notation)的簡介: ① JSON和XML類似,主要用於存儲和傳輸文本信息,但是和XML相比,JSON更小、更快、更易解析、更易編寫與閱讀。 ② C、Python、C++、Java、PHP、Go等編程語言都支持JSON。 二、JSON語法規則: ...
  • 1.避免Scoped模式註冊的服務變成Singleton模式 當提供一個生命周期模式為Singleton的服務實例時,如果發現該服務中還依賴生命周期模式為Scoped的服務實例(Scoped服務實例將被一個Singleton服務實例所引用),那麼這個被依賴的Scoped服務實例最終會成為一個Sing ...
  • 索引時資料庫提高數據查詢處理性能的一個非常關鍵的技術,索引的使用可以對性能產生上百倍甚至上千倍的影響。接下來,會介紹索引的基本原理、概念,並深入學習資料庫中所使用的索引結構和存儲方式,以及如何管理、維護索引等。 1.索引的基本概念 索引時用來快速查詢表記錄的一種存儲結構,一般使用索引有一下兩個方面: ...
  • django2 路由控制器 Route路由,是一種映射關係。路由是把客戶端請求的url路徑和用戶請求的應用程式,這裡意指django裡面的視圖進行綁定映射的一種關係。 請求路徑和視圖函數不是一一對應的關係 在django中所有的路由最終都被保存到一個叫urlpatterns的文件里,並且該文件必須在 ...
  • 1、我們的目標是獲取微博某博主的全部圖片、視頻 2、拿到網址後 我們先觀察 打開F12 隨著下滑我們發現載入出來了一個叫mymblog的東西,展開響應發現需要的東西就在裡面 3、重點來了!!! 通過觀察發現第二頁比第一頁多了參數since_id 而第二頁的since_id參數剛好在上一頁中能獲取到, ...
  • 一、實現原理 在Servlet3協議規範中,包含在JAR文件/META-INFO/resources/路徑下的資源可以直接訪問。 二、舉例說明 如下圖所示,是我新建的一個Spring Boot Starter項目:zimug-minitor-threadpool,用於實現可配置、可觀測的線程池。其中 ...
  • 精華筆記: static final常量:應用率高 必須聲明同時初始化 由類名打點來訪問,不能被改變 建議:常量所有字母都大寫,多個單詞用_分隔 編譯器在編譯時會將常量直接替換為具體的數,效率高 何時用:數據永遠不變,並且經常使用 抽象方法: 由abstract修飾 只有方法的定義,沒有具體的實現( ...
  • Python有一個for...else語法,它的寫法如下 for i in range(0,100): if i == 3: break else: print("Not found") 該語句表示:若for迴圈遍歷完畢,則執行else部分的語句。也就是說上述代碼不會有任何輸出,而下述代碼會輸出“N ...