關於圖像模糊演算法的實現， 我相信大多數學習圖像演算法的朋友都很熟悉。 例如常見的毛玻璃效果，高斯模糊等等。 而圖像模糊最簡單的實現就是 在一定區域 對像素做平均值計算。 術語描述，捲積。 1.認識捲積 而平均值計算可以，是一種常見的捲積計算，捲積核權重都為1。 OpenCV中與之對應的演算法是BoxBl ...
關於圖像模糊演算法的實現，
我相信大多數學習圖像演算法的朋友都很熟悉。
例如常見的毛玻璃效果，高斯模糊等等。
而圖像模糊最簡單的實現就是 在一定區域 對像素做平均值計算。
術語描述，捲積。
1.認識捲積
而平均值計算可以，看做是一種常見的捲積計算，捲積核權重都為1。
OpenCV中與之對應的演算法是BoxBlur。
圖像方面深度學習中最重要的兩個層，一個池化層，一個捲積層，
其中池化層可以認為是一種特例的捲積層，與求平均值類似。
從網上找了一張捲積操作的示例圖片。
這樣看，雖然知道是在做一個點面計算的操作，但是要具體描述捲積的用途或者原理，是有點困難的。
在兩年前一次公司的內部技術分享會上，我是這麼定義捲積的。
捲積計算從形象上來描述，在圖像領域，一般是2維，
所以可以這麼說 “計算兩個物體在n維空間的相似度(疊加度)的操作，就稱之為(n維)捲積。”
所以圖像是計算兩個物體在2維空間的相似度(疊加度)的操作，就稱之為捲積。
如果兩個物體完全一致，捲積完全重合，重合度為1，這時可以認為它就是同一個物體。
以上描述的兩個物體，在演算法中一般 指的是 捲積核 和被捲積圖片，捲積結果就是其兩者的重合度。
看下深度學習中的池化層。
根據上面的描述，重新理解一下，這個層的作用。
這裡就不展開細講了，大概大家能理解一下捲積這個操作即可。
而一般情況下，捲積操作，是一種信息外散或內聚的計算，
當然也有捲積，反捲積，轉置捲積的說法。
舉個例子，例如均值池化或者說均值捲積，均值模糊。
從計算來看，是取目標像素臨近區域像素的平均值，而所有臨近像素的權重都為1.
最終目標像素的值為n分之1.
那麼這個計算就好像是把一個物品在2維空間直接攤平，還不能理解的再看下上面對捲積的描述。
就像你有9只螞蟻，你希望他們長得一樣大，你一巴掌下去，身體全部壓平。
而在圖像領域，絕大多數的模糊，就是受到一個“物體”或者說“捲積核”的干擾，
致使採集到的信息丟失，或者說不准確。
例如在按下快門的一瞬間，你手抖了，或者說失去焦點，
就會很容易造成呈像模糊。
2.圖像修複
假設我們能找到導致成像模糊的原因，是不是就能實現修複模糊圖像呢？
答案是肯定的。
不過取決於最終採集到的信息的完整度。
如果最後成像一片漆黑，那這個時候是無能為力的。
因為已經沒有足夠的信息了。
而一般圖像是由色光三原色組成，紅綠藍。
理論上只要其中一種顏色信息完整，就可以用於輔助修複其他色光。
只要能計算到當時的色光分佈情況即可實現。
這裡我們就需要稍微提及一下攝像領域3大演算法，自動白平衡，自動對焦，自動曝光。
簡單講下 這三個演算法的區別。
白平衡是為瞭解決色光分佈不均，信息缺失或失真問題的。
自動對焦是為了成像清晰，人為干擾輔助最終成像。
自動曝光當然是為瞭解決採光問題，彌補感光元件的不足。
大概的先後順序，理論上應該是 對焦->曝光->白平衡
一般而言，從這邏輯來看，白平衡是最難解決的，因為它受到前面兩個因素的干擾。
但是實際上，白平衡和曝光目前都解決得很好。
HDR嚴格意義上來說，能兼顧白平衡和曝光。
但是對焦或者說失焦，抖動的問題，一直以來都是老大難。
原因也很簡單，導致成像模糊的因素有很多，通過什麼樣的方法來有效評估修複，就顯得比較困難。
假設能知道計算到當時受到什麼“物體”的干擾，通過捲積的方式，移除這干擾，是不是就能修複模糊，恢復圖片呈像。
假設造成模糊的因素為： 清晰的圖片 + 干擾因素 = 最終成像
那麼反之恢復圖像即為： 最終成像 - 干擾因素 = 清晰圖片
而這裡把干擾因素和清晰的圖片都認為是一種捲積“物體”。
3.去模糊
有了前面的基礎知識，我們可以做一個假設，進行驗證。
例如，我先對一張圖片做捲積操作，模擬模糊成像。
這個時候： 你同時有了 清晰的圖片 + 干擾因素 = 最終成像
驗證一下： 最終成像 - 干擾因素 = 清晰圖片
這裡不展開演算法實現，
但是結果我可以告訴大家，這思路沒錯，但是有一個干擾因素錯了。
它就是捲積核的大小。
捲積核大小直接決定它的作用範圍。
而我們第一步拿到的 清晰的圖片 + 干擾因素 = 最終成像
這裡 最終成像-干擾因素 卻絕對不等於清晰的圖片。
因為 這裡的干擾因素和最終成像 兩者之間並不是簡單的線性關係，相加或者相減，
他們的關係是捲積關係，也就是說他們都受到捲積核的影響。
如果想要達到 最終成像 - 干擾因素 = 清晰圖片
必須 在最終成像的時候用類似捲積的方式，消除捲積核的內容以及範圍的影響。
換句話說，這個操作必須控制好變數。
這個問題說真的，我思考了很久很久。
最後終於知道問題在哪裡，就是圖像的明度，也就是最終成像。
也就是最終成像中是含有捲積核權重信息的，如果要消除這個信息，
必須將成像也作為權重參與計算。
也就是說，造成模糊的情況應該是：
if( sqrt(nx-x) + sqrt(ny-y) < sqrt(radius) )
{
w = luminance(rgb)
sum += w*s;
wsum += w;
}
sum /= wsum;
偽代碼，簡潔形象地表達這個現象。
知道這個前因後果，現在恢復模糊，該如何計算。
這個留個作業給大家。
上面偽代碼我稱之為 散焦 演算法，反之為 聚焦 也就是去模糊 。
聚焦演算法最終可以實現耗時模糊半徑無關，它是去模糊的一種特例。
目前，此演算法暫無開源計劃。
好幾年前就有去模糊的商業軟體，當然早期版本作者也開源了。
項目地址：https://github.com/Y-Vladimir/SmartDeblur
但是這個項目並沒有很好準確計算到去模糊捲積核。
前幾天ipol.im公佈了一個比較優秀的評估去模糊捲積核的演算法。
從官網demo演示來看，效果特別不錯。
但是，它和SmartDeblur 都有著一樣的問題，就是用到傅里葉變換去做捲積操作，
十分耗時。
都採用了fftw，計算量還是居高不下。
我對它提供的代碼，做了一些簡單的裁剪，cmake編譯通過，僅依賴fftw。
而代碼的演算法調優等等，還沒做，演算法優化空間比較大，最近精力有限，
在音頻演算法上花的時間比較多，圖像暫時沒有精力做起來。
感興趣的朋友，可以移步項目：
https://github.com/cpuimage/Deblurring
而近些年，深度學習大興，各種各樣的模型以及訓練集，五花八門。
當然也有去模糊的實現。
效果非常驚艷！
網路結構如下：
對於採用深度學習的方法進行去模糊實現，可以參閱文章：
https://blog.sicara.com/keras-generative-adversarial-networks-image-deblurring-45e3ab6977b5
項目地址：
https://github.com/RaphaelMeudec/deblur-gan
相關論文：
DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks
https://arxiv.org/pdf/1711.07064.pdf
最後做一個簡單的總結，在圖像領域，使用捲積就能非常好解決 圖像的空間問題，
而深度學習訓練得到的權重，可以簡單的類比上面提到的干擾因素。
通過大量的數據，訓練提取 可能性的干擾因素（物體），若是當前圖像也有符合這個特征的因素（物體），
則進行相應的操作計算。
定位特征，確認特征，發現並處理特征。
分別 對應物體檢測，物體識別，風格化或其他增強修複處理。
採用深度學習最大的好處就是能預先訓練得到已知的信息，然後進行對應的處理。
而傳統演算法，則需要採用先驗條件，
然後在一張圖片中去發現可能性因素，由於參數較少，魯棒性一般不佳。
相比而言，傳統演算法困難重重，因為你要通過科學方式找到一種適配數據自然規律的先驗，真的太不容易。
而深度學習是另一個問題，數據依賴，數據干擾，數據處理，這些預處理也著實夠人頭大的了，
然後還要設計一個比較有效且優良的神經網路。
就目前來看，經典傳統演算法穩定性比較高，但是泛化能力一般較差。
深度學習目前還需要不少傳統演算法配合進行訓練處理，以求達到更好的效果。
就目前來看，工業化落地也有不少問題，不過相信很快就能做得很好了。
因為有大公司和大量資金資本的助推，應該不是難事。
若有其他相關問題或者需求也可以郵件聯繫俺探討。
郵箱地址是:
[email protected]
