移動互聯網的發展給人們的社交和娛樂方式帶來了很大的改變，以vlog、短視頻等為代表的新興文化樣態正受到越來越多人的青睞。同時，隨著AI智能、美顏修圖等功能在圖像視頻編輯App中的應用，促使視頻編輯效率和視頻效果得到了很大的提升，也讓視頻應用場景更加豐富。 當前剪輯產品功能多樣、素材豐富，但是開發周期 ...
移動互聯網的發展給人們的社交和娛樂方式帶來了很大的改變，以vlog、短視頻等為代表的新興文化樣態正受到越來越多人的青睞。同時，隨著AI智能、美顏修圖等功能在圖像視頻編輯App中的應用，促使視頻編輯效率和視頻效果得到了很大的提升，也讓視頻應用場景更加豐富。
當前剪輯產品功能多樣、素材豐富，但是開發周期較長、門檻較高。為了讓剪輯軟體更加智能、簡單易用，提升開發者的效率，HMS Core 6為開發者提供視頻編輯服務（Video Editor Kit），提供視頻導入、編輯、渲染、導出、媒資管理等一站式視頻處理能力。除了支持完整的傳統視頻編輯功能，視頻編輯服務還提供了諸如專屬濾鏡、人物追蹤、一鍵染髮等豐富的AI處理能力輔助視頻創作，為用戶帶來更加暢快的創作靈感，打造更加智能的剪輯體驗。
圖1. 基於AI能力的專屬濾鏡、人物追蹤、一鍵染髮效果展示
多樣化的智能視頻處理能力是由一個個神經網路模型實現的，由於訓練好的模型文件較大（單個模型大小一般為十幾甚至幾十兆），而手機等設備ROM和RAM空間大小有限，如何以更少的終端設備空間占用為開發者提供更豐富的智能化視頻處理能力，成為移動應用視頻編輯面臨的一大挑戰。
為解決以上挑戰，HMS Core視頻編輯服務選擇使用華為自研AI框架MindSpore Lite進行神經網路模型推理。MindSpore Lite是一款全場景AI推理引擎，通過統一API介面支持在端、邊、雲的不同環境快速部署，支持HarmonyOS、Android、iOS、Windows等多種操作系統，支持Ascend、GPU、CPU（x86、arm……）等多種硬體執行。除支持MindSpore訓練出的模型格式，MindSpore Lite還支持TensorFlow，TensorFlow Lite、Caffe、ONNX等第三方模型格式的轉換及推理。
圖2. MindSpore Lite架構圖
MindSpore Lite為AI模型推理提供高性能和超輕量的解決方案：通過高效的內核演算法和彙編級優化，以及CPU、GPU、NPU的異構調度，可以充分發揮硬體算力，實現最小化推理時延和功耗；提供模型量化壓縮技術，採用訓練後量化（Post-Training Quantization, PTQ），無需數據集即可直接將權重數據從浮點型映射到低比特的定點數據，有效降低模型大小，助力AI模型在資源受限環境下的部署執行。
圖3. 量化技術原理介紹
針對權重數據的量化支持固定比特量化和混合比特量化兩種形式。固定比特量化採用Bit-Packing的方式，支持1-16任意比特的權重量化，滿足用戶在不同壓縮場景下的要求，同時針對模型量化後的數據分佈情況，自動選擇合適的編碼策略進行壓縮編碼，從而達到最優的壓縮效果。
圖4. 固定比特量化壓縮
混合比特量化根據神經網路不同層對量化損失的敏感度不同的特點，採用均方誤差作為優化目標，自動搜索出最適合當前層的比特位，在保證精度的同時實現更大的壓縮率。同時針對量化後的模型，採用有限狀態熵(Finite State Entropy, FSE)對量化後的權重數據進行熵編碼進一步壓縮，實現對模型的高效壓縮，提升模型傳輸速率和減少模型存儲空間。
圖5. 混合比特量化壓縮
除此之外，量化時還會採用Bias Correction的方式，最小化其量化誤差。Bias Correction會根據權重數據固有的統計學特性，反量化時對其進行校準，使權重值量化前後具有相同的期望和方差，能夠大幅度提高模型精度。
視頻編輯服務中的AI模型採用MindSpore Lite提供的混合比特量化方式，最終在保證精度的同時達到了平均5x+的模型壓縮效果，例如一鍵染髮的模型從原來的20.86M壓縮到3.76M，有效解決了模型過多、文件過大導致的部署困難問題。
圖6. 視頻編輯模型量化效果（來源於MindSpore Lite實測數據）
通過對AI模型的量化壓縮，在ROM空間占用不變的前提下，保障剪輯產品可以部署更多的AI模型，充分發揮AI能力來提供更多的特效應用場景，使得剪輯功能更加強大、更加智能。華為官方剪輯軟體花瓣剪輯在接入視頻編輯服務能力後，用戶可通過使用專屬濾鏡、人物追蹤等AI視頻剪輯功能（部分特性隨花瓣剪輯App升級陸續開放），讓視頻剪輯更便捷和更富有趣味性。
MindSpore Lite致力於打造高性能、超輕量級的全場景 AI引擎，除高性能內核演算法及硬體異構調度、量化壓縮之外，還提供端雲協同的一站式訓練和推理能力。HMS Core視頻編輯服務基於MindSpore Lite，助力開發者打造更加易用且智能的剪輯工具。
欲瞭解更多信息，歡迎訪問官網
