看過吳恩達的對過擬合和欠擬合的分析，這裡做一下小小的總結：課程主要從驗證誤差和訓練誤差著手分析，高的variance意味著過擬合，高的bias意味著欠擬合。 （1）隨著多項式的階數的增加，交叉驗證誤差先減小，後增大；訓練誤差不斷減小，當交叉驗證誤差和和訓練誤差都很大時候，交叉驗證誤差大約等於訓練誤差
看過吳恩達的對過擬合和欠擬合的分析，這裡做一下小小的總結：課程主要從驗證誤差和訓練誤差著手分析，高的variance意味著過擬合，高的bias意味著欠擬合。 （1）隨著多項式的階數的增加，交叉驗證誤差先減小，後增大；訓練誤差不斷減小，當交叉驗證誤差和和訓練誤差都很大時候，交叉驗證誤差大約等於訓練誤差，此時欠擬合；隨著多項式的階數的不斷增大，到交叉驗證誤差遠遠大於訓練誤差，屬於過擬合的情況。 （2）正則化下variance和bias的分析 隨著lambda的增大，交叉驗證誤差先減小到最低點在增大，訓練誤差由小變大，到最後和交叉驗證大約相等，根據上面的分析，當交叉驗證誤差和訓練誤差大約相等的時候，屬於bias欠擬合問題，當lambda很小的時候，交叉驗證誤差遠遠大於訓練誤差，此時是variance過擬合問題。 （3）訓練數據量的大小對模型的檢驗 隨著訓練數據的增多，交叉驗證逐漸降低，訓練誤差不多增多，當訓練樣本數據足夠大的時候，訓練誤差大約等於交叉驗證誤差。 當模型處於欠擬合的狀態下的時候，交叉驗證誤差和訓練誤差已經大約相等了，這個時候，增加訓練樣本的數量並不能改善欠擬合 當模型處於過擬合的狀態下的時候，交叉驗證誤差和訓練誤差之間還相差一個很大的溝壑，還沒有達到相等，增加訓練數據量，有助於使之趨向於相等，即增加數據量有助於改善過擬合。 （4）神經網路的variance和bias 當運用少量神經元的時候，就意味著有很少的參數，即一個小的神經網路有高的bias，常常是欠擬合狀態 當運用大量神經元的時候，就意味著模型有很多的參數，則模型更有可能是過擬合的，解決的辦法是增大正則化項，有正則化的大的神經網路往往是優於小的神經網路的。 當運用含有隱藏層的神經網路的時候，選擇隱藏層的數目往往需要通過測試數據進行測試，來比較不同的隱藏層的網路模型誤差的大小，來選擇最優的模型。
