接上篇：捲積神經網路對圖片分類-上 5 池層（Pooling Layers） 池層通常用在捲積層之後，池層的作用就是簡化捲積層里輸出的信息, 減少數據維度，降低計算開銷，控制過擬合。 如之前所說，一張28X28的輸入圖片，經過5X5的過濾器後會得到一個24X24的特征圖像，繼續簡化這個24X24特征 ...
接上篇：捲積神經網路對圖片分類-上
5 池層（Pooling Layers）
池層通常用在捲積層之後，池層的作用就是簡化捲積層里輸出的信息, 減少數據維度，降低計算開銷，控制過擬合。
如之前所說，一張28X28的輸入圖片，經過5X5的過濾器後會得到一個24X24的特征圖像，繼續簡化這個24X24特征圖像里的信息，只保留關鍵信息。需要加入一個池層：
把相鄰的4個單元里的信息合併成一個。上圖中4種顏色區域里的4個單元被合併成了一個單元，就是取4個單元里的最大值，當然可以使用其他方法來進行合併。
28X28經過3個過濾器變成3個24X24的特征圖像，然後再經過池層簡化成3個12X12的特征圖像。
6 全連接層（Fully connected layer）
現在我們可以在網路的末端加上一個全連接層，來檢測獲取到的這些特征圖像與哪種類別更相近：
該層接收上一層的輸出當做輸入，上一層的輸出就是一些學習出來的特征圖像，該層輸出一個N維的向量，代表圖片可能的分類概率[0.01，0.04，0.94，0.02]，數值越高表示這些特征圖像和那一類更相近。 這裡0.94代表圖像是船的可能性為94%，表示預測圖片與過濾器產生了很高的激勵，獲取到了很多高層次的特征，例如船帆，船槳等等特征。0.02表示圖像是鳥的可能性為2%，表示預測圖片與過濾器產生了很低的激勵，沒有獲取到了很多高層次的特征，例如翅膀，喙等等特征。
7 更深的捲積神經網路結構
一般情況下在捲積神經網路結構中不僅僅只有捲積層，池層，全連接層，還有其它一些層穿插在捲積層之間。可以減少出現過擬合，提高學習率，緩解梯度消失等等問題。一個典型的CNN結構如下所示：
Input->Conv->ReLU->Conv->ReLU->Pool->Dropout->Conv->ReLU->Conv->ReLU->Pool->Dropout->FullyConnected
現在我們只看每個捲積層，不考慮它們之間穿插的其他層。所以在第一個捲積層之後，又進入下一個捲積層，那麼第一個捲積層的輸出就變成了下一個捲積層的輸入。第一個捲積層的輸入是一個普通的圖片，第二個捲積層的輸入是從第一個捲積層變化而來的一些特征圖像。以後每一個捲積層的輸入，基本上都是上一個捲積層提取出來的特征圖像，後面的捲積層組合之前的捲積層里提取的簡單特征， 得到更複雜的特征數據。
當數據一層一層通過更多的捲積層時，你可以得到的特征圖像代表的特征就會更加的複雜。在網路的最後，你也許可以得到一個抽象的物體。如果你想通過可視化方法在捲積神經網路中看到更多的信息。這裡有一個工具方便你查看https://github.com/yosinski/deep-visualization-toolbox，它的效果如下圖所示：
8 Dropout Layers
dropout層可以防止網路出現過擬合，網路有時訓練出來的權重值在訓練集上表現的很好，但不能泛化到測試集上，在測試集表現的不好。例如我們有一組訓練數據如下圖所示，訓練出來了一條曲線與訓練數據很匹配，
但是如果把調訓練出來的曲線用在測試數據上時就很肯能不太準確了，還不如一條直線更貼切
dropout的思想就是，在網路每次訓練的時候隨機去掉一些神經元（30%，50%等等），防止訓練出來的權重值過度的適合訓練數據。每次訓練的時候都隨機去掉一部分神經元，那麼每次訓練的時候都是全新的網路，類似多個網路訓練完畢後來進行投票來決定最佳的權重值，有點像決策樹模型。
（未完待續）
參考：
http://neuralnetworksanddeeplearning.com/chap6.html#convolutional_neural_networks_in_practice
https://adeshpande3.github.io/adeshpande3.github.io/A-Beginner's-Guide-To-Understanding-Convolutional-Neural-Networks/
