AI目標分割能力,無需綠幕即可實現快速視頻摳圖

来源:https://www.cnblogs.com/hmscore/archive/2022/08/01/16539649.html
-Advertisement-
Play Games

綠幕摳圖是影視製作過程中常見的技術手段,常用於視頻中摳除並替換背景,通過後期加工實現視頻剪輯製作的更多可能性。然而,綠幕摳圖技術製作成本費時費力,無法應用於日常生活。 華為視頻編輯服務近期上線目標分割能力,可通過AI智能摳圖精細化分割視頻中的目標物體,並且不局限於特定的物體類別,在主體明確、背景相對 ...


綠幕摳圖是影視製作過程中常見的技術手段,常用於視頻中摳除並替換背景,通過後期加工實現視頻剪輯製作的更多可能性。然而,綠幕摳圖技術製作成本費時費力,無法應用於日常生活。

華為視頻編輯服務近期上線目標分割能力,可通過AI智能摳圖精細化分割視頻中的目標物體,並且不局限於特定的物體類別,在主體明確、背景相對簡單的視頻中進行主體和背景的分割,可以取得不錯的處理效果。

應用場景

目標分割能力多應用於視頻直播、線上教育、論壇會議等場景。比如,在賣貨直播的場景中,可以將直播背景替換成商品詳情頁的輪播畫面,便於用戶及時瞭解商品;線上上論壇或者視頻會議中,將背景替換成PPT內容或者辦公場景,營造學習辦公的嚴肅氛圍。同樣,目標分割能力也可滿足用戶日常趣味剪輯,用戶可以通過目標分割能力剪輯人像視頻,然後將背景切換各國名景,足不出戶便能實現“周游世界”。

除了更換視頻背景,目標分割能力還可應用於影視播放,通過目標摳圖,避免彈幕遮擋劇情主體,優化用戶觀看體驗。結合其他技術能力,還可以將分割後的目標物體進行複製和刪除,甚至調整目標物體的動作時間,打造更具創意的視頻作品。

實現原理

那麼,目標分割能力是怎麼實現的呢?

首先,用戶需要選擇目標物體,然後再進行AI目標分割。通過給定視頻第一幀圖像需要分割目標物體的對應掩碼,AI模型會自動在後續每一幀的視頻幀中匹配這個物體並嘗試分割出來。並且,模型將會保存中間幀分割效果好的結果掩碼與第一幀的掩碼信息相結合,在後續視頻幀中進行匹配,可以精準勾勒目標物體的邊緣細節,進一步提升目標分割的準確度。

DEMO演示

集成方式

1. 開發準備

詳細準備步驟可參考華為開發者聯盟官網

2. 編輯工程集成

2.1 設置應用的鑒權信息

可以通過api_key或者Access Token來設置應用鑒權信息。

通過setAccessToken方法設置Access Token,在應用啟動時初始化設置一次即可,無需多次設置。

MediaApplication.getInstance().setAccessToken("your access token");

通過setApiKey方法設置api_key,在應用啟動時初始化設置一次即可,無需多次設置。

MediaApplication.getInstance().setApiKey("your ApiKey");

2.2設置唯一標識ID,即License ID。

License ID是進行管控的有效憑證,您要保證設置License ID的唯一性。

MediaApplication.getInstance().setLicenseId("License ID");

2.2.1初始化Editor運行環境

創建編輯工程,需要首先創建Editor對象並初始化其運行環境。當離開編輯工程時,應釋放Editor實例。

(1) 創建Editor對象

HuaweiVideoEditor editor = HuaweiVideoEditor.create(getApplicationContext());

(2) 指定預覽視窗的佈局位置

預覽視窗負責視頻圖像畫面的渲染,由視頻編輯原子能力SDK內部創建SurfaceView來實現。在創建視窗之前,需要在您的App中指定預覽視窗的佈局位置。

<LinearLayout    
    android:id="@+id/video_content_layout"    
    android:layout_width="0dp"    
    android:layout_height="0dp"    
    android:background="@color/video_edit_main_bg_color"    
    android:gravity="center"    
    android:orientation="vertical" />
// 指定預覽視窗 
LinearLayout mSdkPreviewContainer = view.findViewById(R.id.video_content_layout);

// 設置預覽視窗承載的佈局 
editor.setDisplay(mSdkPreviewContainer);

(3) 初始化運行環境,如果License鑒權失敗,會拋出LicenseException。

當Editor對象創建之後,此時還沒有占用實際的系統資源,需要手動選擇其環境初始化的時機,此時視頻編輯原子能力SDK內部會創建必須的線程和定時器等。

try {
        editor.initEnvironment();
   } catch (LicenseException error) { 
        SmartLog.e(TAG, "initEnvironment failed: " + error.getErrorMsg());    
        finish();
        return;
   }

3. “目標分割”能力集成

// 初始化目標分割AI引擎
videoAsset.initSegmentationEngine(new HVEAIInitialCallback() {
        @Override
        public void onProgress(int progress) {
            // 初始化進度
        }

        @Override
        public void onSuccess() {
            // 初始化成功
        }

        @Override
        public void onError(int errorCode, String errorMessage) {
            // 初始化失敗
    }
});

// 初始化成功後,選擇需要分割的目標進行分割,返回選擇分割目標的的處理結果
// bitmap包含需要分割的目標的視頻幀圖片;timeStamp為視頻幀圖片在時間線上的時間戳;points為基於視頻幀圖片的坐標點集合,左上角為原點坐標,坐標點應位於需要分割的目標內,且個數建議大於等於2,需根據坐標點軌跡來確定選擇的目標
int result = videoAsset.selectSegmentationObject(bitmap, timeStamp, points);

// 目標分割的處理結果成功後,添加目標分割AI特效
videoAsset.addSegmentationEffect(new HVEAIProcessCallback() {
        @Override
        public void onProgress(int progress) {
            // 目標分割AI特效處理進度
        }

        @Override
        public void onSuccess() {
            // 目標分割AI特效處理成功
        }

        @Override
        public void onError(int errorCode, String errorMessage) {
            // 目標分割AI特效處理失敗
        }
});

// 中斷目標分割AI特效處理
videoAsset.interruptSegmentation();

// 移除目標分割AI特效
videoAsset.removeSegmentationEffect();

// 釋放目標分割AI引擎
videoAsset.releaseSegmentationEngine();

瞭解更多詳情>>

訪問華為開發者聯盟官網
獲取開髮指導文檔
華為移動服務開源倉庫地址:GitHubGitee

關註我們,第一時間瞭解 HMS Core 最新技術資訊~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 基礎知識 ssh:secure shell protocol,安全的遠程登錄 作用:是建立在應用層基礎上的安全協議,實現數據傳輸過程中數據的加密,代替telent協議 使用tcp協議,埠號為22 ssh服務具體的軟體實現: openSSH dropbear OpenSSH:ssh協議的開源實現,l ...
  • 1.mysql資料庫備份與恢復 1.1 資料庫常用備份方案 資料庫備份方案: 冷備份:先把資料庫服務停掉,然後拷貝資料庫目錄下的文件進行備份 物理備份 溫備份: 熱備份:資料庫服務正常運行情況,直接對資料庫進行備份 全量備份:全部備份 增量備份:第一次全備,第二次在第一次全備更改的基礎上備份 差異備 ...
  • 一、Mysql的系統架構圖 二、Mysql存儲引擎 Mysql中的數據是通過一定的方式存儲在文件或者記憶體中的,任何方式都有不同的存儲、查找和更新機制,這意味著選擇不同的方式對於數據的存取有效率的差距。 這種不同的存儲方式在 MySQL中被稱作存儲引擎。 存儲引擎是Mysql資料庫系統的底層組件,數據 ...
  • mysql主從 1.主從原理 1.1 主從介紹 所謂mysql主從就是建立兩個完全一樣的資料庫,其中一個為主要使用的資料庫,另一個為次要的資料庫,一般在企業中,存放比較重要的數據的資料庫伺服器需要配置主從,這樣可以防止因資料庫伺服器宕機導致數據丟失,還能保證業務量太多、數據太多和訪問人數太多時服務的 ...
  • mysql 簡潔式安裝步驟 1. 設置全局變數 解壓mysql壓縮包到指定位置, 然後配置全局變數, 在 path 中添加全局變數, 值為 mysql 根目錄下 bin 目錄路徑, 比如: D:\code_space\environments\mysql-8.0.30\bin 然後保存即可 2. 配 ...
  • 常用命令 啟動redis服務(Windows) 在redis的目錄下執行命令: redis-server 啟動redis客戶端實例(Windows) 在redis的src目錄下執行命令: redis-cli 連接遠程redis伺服器:(Windows) redis-cli -h host -p po ...
  • 一、直播介紹 上期雅澤同學對ChengYing是什麼、有什麼樣的功能特性,如何快速入門做了介紹,本期海洋同學將會為大家分享ChengYing部署Hadoop集群實戰的相關內容,歡迎大家積极參与。 二、直播主題 ChengYing部署Hadoop集群實戰 三、直播時間 時間:2022年8月2日晚 19 ...
  • 我們都理解B+樹和Hash索引的區別有助於我們預測索引在不同的存儲引擎中是怎麼執行查詢的。 B+ TREE 索引特性B數是一種在資料庫索引中流行的樹數據結構。該結構始終保持排序,從而可以快速查找精確匹配。MySQL中使用的是B樹的一種變體,B+樹,這種類型的索引可用於大多數存儲引擎,例如InnoDB ...
一周排行
    -Advertisement-
    Play Games
  • 經常看到有群友調侃“為什麼搞Java的總在學習JVM調優?那是因為Java爛!我們.NET就不需要搞這些!”真的是這樣嗎?今天我就用一個案例來分析一下。 昨天,一位學生問了我一個問題:他建了一個預設的ASP.NET Core Web API的項目,也就是那個WeatherForecast的預設項目模 ...
  • 很多軟體工程師都認為MD5是一種加密演算法,然而這種觀點是不對的。作為一個 1992 年第一次被公開的演算法,到今天為止已經被髮現了一些致命的漏洞。本文討論MD5在密碼保存方面的一些問題。 ...
  • Maven可以使我們在構建項目時需要用到很多第三方類jar包,如下一些常用jar包 而maven的出現可以讓我們避免手動導入jar包出現的某些問題,它可以自動下載那須所需要的jar包 我們只需要在創建的maven項目自動生成的pom.xml中輸入如下代碼 <dependencies> <!--ser ...
  • 來源:https://developer.aliyun.com/article/694020 非同步調用幾乎是處理高併發Web應用性能問題的萬金油,那麼什麼是“非同步調用”? “非同步調用”對應的是“同步調用”,同步調用指程式按照定義順序依次執行,每一行程式都必須等待上一行程式執行完成之後才能執行;非同步調 ...
  • 1.面向對象 面向對象編程是在面向過程編程的基礎上發展來的,它比面向過程編程具有更強的靈活性和擴展性,所以可以先瞭解下什麼是面向過程編程: 面向過程編程的核心是過程,就是分析出實現需求所需要的步驟,通過函數一步一步實現這些步驟,接著依次調用即可,再簡單理解就是程式 從上到下一步步執行,從頭到尾的解決 ...
  • 10瓶毒藥其中只有一瓶有毒至少需要幾隻老鼠可以找到有毒的那瓶 身似浮雲,心如飛絮,氣若游絲。 用二分查找和二進位位運算的思想都可以把死亡的老鼠降到最低。 其中,二進位位運算就是每一隻老鼠代表一個二進位0或1,0就代表老鼠存活,1代表老鼠死亡;根據數學運算 23 = 8、24 = 16,那麼至少需要四 ...
  • 一、Kafka存在哪些方面的優勢 1. 多生產者 可以無縫地支持多個生產者,不管客戶端在使用單個主題還是多個主題。 2. 多消費者 支持多個消費者從一個單獨的消息流上讀取數據,而且消費者之間互不影響。 3. 基於磁碟的數據存儲 支持消費者非實時地讀取消息,由於消息被提交到磁碟,根據設置的規則進行保存 ...
  • 大家好,我是陶朱公Boy。 前言 上一篇文章《關於狀態機的技術選型,最後一個真心好》我跟大家聊了一下關於”狀態機“的話題。從眾多技術選型中我也推薦了一款阿裡開源的狀態機—“cola-statemachine”。 於是就有小伙伴私信我,自己項目也考慮引入這款狀態機,但網上資料實在太少,能不能系統的介紹 ...
  • 使用腳本自動跑實驗(Ubuntu),將實驗結果記錄在文件中,併在實驗結束之後將結果通過郵件發送到郵箱,最後在windows端自動解析成excel表格。 ...
  • 話說在前面,我不是小黑子~ 我是超級大黑子😏 表弟大周末的跑來我家,沒事幹天天騷擾我,搞得我都不能跟小姐姐好好聊天了,於是為了打發表弟,我決定用Python做一個小游戲來消耗一下他的精力,我思來想去,決定把他變成小黑子,於是做了一個坤坤打籃球的游戲,沒想到他還挺愛玩的~ 終於解放了,於是我把游戲寫 ...