隨著移動互聯網發展，手機端購物已成為人們生活的常態。人們在搜索商品時採用的手段也越來越豐富，當前的主要搜索方式是文本搜索與拍照搜索。 ...
作者：京東零售 谷偉
1.商品搜索
1.1網路購物的搜索手段
隨著移動互聯網發展，手機端購物已成為人們生活的常態。人們在搜索商品時採用的手段也越來越豐富，當前的主要搜索方式是文本搜索與拍照搜索。
1.2文本搜索
文本搜索應用比較廣泛，較為常用的是關鍵字匹配，針對商品信息的相關描述進行分詞，並對分詞建立索引庫，從而達到查找的目的。隨著人工智慧的發展，語義搜索得到了快速的發展，它通過用戶輸入的搜索內容來理解用戶真正的意圖，從而獲得更有價值的內容。其本質是將所有要搜索的內容轉化為高維數學向量，用統一的特征向量來描述不同內容，把檢索輸入的內容向量化，並與要搜索的內容進行向量匹配，把相似度最高的結果展現出來。
1.3拍照搜索
拍照搜索也就是以圖搜圖，是近幾年的視覺AI發展的一個產物。用戶登錄電商平臺，可以通過上傳圖片，經過圖像分析與識別來查找相似的商品主圖，從而找出相關的商品。其基本原理是經圖像分析抽取圖像的顏色、形狀、紋理等特征，建立特征索引庫，對用戶上傳的圖像進行特征化描述，從索引庫中查找出與之近似的特征圖像。
2. 現狀分析
2.1需要專業人員參與
文本搜索需要文本描述的支持，也就是需要對短視頻進行文本描述，需要人員對短視頻進行準確的文本描述，尤其描述中要含有代表其商品的關鍵詞，否則可能難以被搜索引擎所命中，這對視頻的發佈人員產生了一定的門檻，增加搜索命中的難度。
拍照搜索主要是對商品的主圖進行特征匹配，這也就需要商品發佈人員要製作儘可能與之匹配的圖片，尤其需要美工設計人員的參與，從而增加了人力成本。
2.2難以支持短視頻搜索
隨著近幾年自媒體的發展，短視頻逐漸成為互聯網信息傳播的主要手段。而短視頻可以認為是大量圖片的集合，不可能對短視頻的每張圖片建立特征索引，因為這會浪費大量的電腦算力。
3. 技術方案
3.1 技術問題
以前商品介紹主要以圖文方式來展現商品，不僅要展示商品主圖還要配細節圖，以及產品參數，從而達到全面涵蓋產品信息的能力。而短視頻能夠全方位的展示商品，並搭配語言描述以及背景音樂，可進一步形象的給消費者介紹商品的功能，給顧客更直觀的體驗，有助於促進下單。同時商家製作的短視頻可將其推送到自媒體平臺上，便於給商品引流，提高商品銷量，從而拓寬了銷售市場。
因此短視頻營銷相對於圖文營銷更有優勢，如何讓顧客能夠更快更便捷地搜索到其感興趣的商品短視頻，是本發明所要解決的主要問題。本方案主要解決的是商品短視頻搜索，按照類目維度對商品短視頻進行篩選，並提高視頻搜索的命中率，為商品短視頻搜索建立橋梁。
3.2 技術方案
3.2.1 流程圖
流程圖：
3.2.2 詳細描述
1.關鍵幀提取
賣家在製作好商品介紹的短視頻後，在發佈商品時對短視頻進行上傳，視頻時長不能超過2分鐘。對該視頻進行關鍵幀提取。視頻是由一組連續的圖像組成，如果每張圖片都存儲下來，則會導致視頻文件過大，因此視頻都會被壓縮，在壓縮過程中，產生了I幀、P幀、B幀。I幀是畫面的完整保存，它儘可能去除了圖像空間的冗餘信息；P幀則是記錄與前一個關鍵幀的差別；B幀是記錄本幀與上一幀和下一幀的差別。
因此只需提取出I幀即可。在MPEG-4標準中，stss部分標識了哪些sample是關鍵幀，如果沒有stss則全部sample是關鍵幀。當獲取的關鍵幀太多時，以時間軸維度，隨機選取20幀的圖像供商家選擇，把商家選取的5張圖片與視頻文件一同保存到文件資料庫中。
Mp4標準
| Box類型 | 說明 | |||||
|---|---|---|---|---|---|---|
| ftyp | 文件類型 | |||||
| moov | 記錄媒體信息 | |||||
| mvhd | 視頻文件信息，如時長、創建時間等 | |||||
| track | 存放視頻的容器 | |||||
| tkhd | 媒體總體信息，如寬高等 | |||||
| mdia | 媒體容器 | |||||
| mdhd | 換算真實事件 | |||||
| hdlr | 媒體類型，指明是video、audio、hint | |||||
| minf | 媒體信息容器 | |||||
| stbl | 偏移映射關係表 | |||||
| stsd | sample描述 | |||||
| stts | 時戳-sample序號映射表 | |||||
| stsc | sample與chunk的映射表 | |||||
| stsz | sample的大小 | |||||
| stz2 | 另一種存儲sample的大小，更節省空間 | |||||
| stss | 關鍵幀列表（從該處獲得I幀） | |||||
| stco | 每個chunk的偏移 | |||||
| co64 | 64位chunk的偏移 | |||||
| mdat | 具體的媒體數據 |
2.特征向量計算
本次的特征向量計算採用的是VGG16模型。由於關鍵幀的圖片都是彩色圖片，因此採用3通道。捲積核為3×3，池化核為2×2。以224×224的視頻圖像為例，過程如下：
-
輸入圖像大小為224×224×3，經64個通道的捲積核3×3，步長為1，共捲積2次，輸出尺寸為224×224×64的特征向量。進行池化，採用池化核2×2，步長為2，輸出尺寸為112×112×64的特征向量。
-
經128個3×3的捲積核，步長為1，捲積2次，尺寸變為112×112×128，進行池化，步長為2，輸出尺寸為56×56×128。
-
經256個3×3的捲積核，步長為1，捲積3次，尺寸變為56×56×256，進行池化，步長為2，輸出尺寸為28×28×256。
-
經512個3×3的捲積核，步長為1，捲積3次，尺寸變為28×28×512，進行池化，步長為2，輸出尺寸為14×14×256。
-
經512個3×3的捲積核，步長為1，捲積3次，尺寸變為14×14×512，進行池化，步長為2，輸出尺寸為7×7×256。
-
將數據拉平成一維數組，7×7×256=25088。
-
經兩層1×1×4096與一層1×1×1000的全連接層，最終輸出1×1000的特征向量。
3.向量資料庫
向量在存儲時要把文件資料庫中的ID同時存下來，以及商品ID，從而建立向量、文件、商品的關係。向量搜索都是相似性搜索，通過兩個向量在高位空間的距離來做判斷，其實就是在高維空間中找到與目標向量最接近的K個向量，一般採用歐式距離計算，其公式：
為了召回精度高，暴力搜索的是最好的選擇。但這會產生大量的不必要的計算，浪費了電腦資源。因此本方案採用類目維度進行切割。減少搜索範圍。
4.視頻搜索
買家需要選擇要搜索的類目再進行圖片上傳，通過VGG16模型計算出特征向量，然後基於類目維度進行暴力搜索把最接近的K個向量篩選出來。最後再根據向量與文件的關係，把視頻文件查找出來，返回給買家。
5.視頻淘汰策略
每日進行定時巡檢，對於長時間沒有流量或者流量低於閾值的商品，需要從向量庫中對其短視頻進行邏輯刪除，儘可能減少搜索的體積，減少計算資源的浪費。
