反向傳播

習題預習

1. Backpropagation是什麼，有什麼作用？
2. 說明Backpropagation算法的運作流程。
3. Backpropagation有哪些常見的改進方法？
4. 什麼是梯度消失問題，如何解決這個問題？
5. 如何通過調整學習率、層數和神經元數量等因素來優化Backpropagation算法的性能？

說明知識

Backpropagation是一種用來訓練神經網路的演算法，主要用來更新神經元的權重和偏差，以改善神經網路的預測能力。

在Backpropagation演算法中，首先將訓練資料送入神經網路進行預測，然後對預測結果和實際結果之間的誤差進行計算。接著，透過反向傳播法，將誤差傳回至神經網路中，根據誤差的大小來更新每個神經元的權重和偏差，進而提升神經網路的預測準確率。

舉例來說，假設有一個神經網路用來預測房價，並將訓練資料送入神經網路進行預測。預測結果和實際結果之間的誤差為10000元。接著，透過Backpropagation演算法，將誤差傳回至神經網路中，並根據誤差的大小來調整每個神經元的權重和偏差。比如，如果神經元的權重過大，則可以降低權重的值，以減少誤差。這樣，經過多次訓練後，神經網路的預測能力就會逐漸提升，最終達到較高的準確率。

條列重點

1. Backpropagation是一種用於神經網絡訓練的演算法，通過反向傳播誤差來更新權重，以最小化網絡的誤差。

2. 網絡訓練過程中，需要將樣本輸入網絡，進而計算網絡輸出值和實際標籤之間的差。

3. 接著，從輸出層開始，計算每一層的權重誤差，並利用梯度下降優化算法來更新權重。

4. 在計算權重誤差時，需要使用鏈式法則來求解，即將誤差逐層反向傳播到輸入層。

5. 鏈式法則中，對於每個神經元，需要計算其輸出值對權重的偏導數，以及它上一層神經元的誤差對其輸入值的偏導數。

6. 在計算輸出層的權重誤差時，需要利用標籤和輸出值之間的差來計算誤差梯度。

7. 在計算隱藏層的權重誤差時，需要使用後一層神經元的誤差加權求和來計算該層的誤差梯度。

8. 通常，我們需要設置一個合適的學習率，以控制權重更新的速度。

9. 訓練一個神經網絡需要多次重複以上步驟，直到網絡的誤差達到一個合適的閾值或者訓練次數到達一定的上限。

知識測驗

1. 在神經網路中，如何計算誤差梯度？

答案：誤差梯度可以使用反向傳播演算法來計算。首先從輸出層開始，計算輸出層的誤差，然後將誤差反向傳播到輸入層，逐層計算每一層的誤差梯度。

2. 什麼是局部最小值問題？怎樣避免出現局部最小值問題？

答案：局部最小值問題是神經網路優化中常見的問題，當神經網路在訓練過程中收斂到一個局部最小值時，就無法再繼續學習。為了避免出現局部最小值問題，可以使用隨機初始權重、增加訓練數據、使用正則化等方法。

3. 為什麼要使用激活函數？它的作用是什麼？

答案：激活函數是神經元的非線性轉換，主要作用是引入非線性因素，提高神經網路的表示能力。在沒有激活函數的情況下，神經網路只能進行線性轉換，無法處理複雜的非線性問題。

4. 什麼是批量梯度下降法？它與Mini-batch梯度下降法有什麼不同？

答案：批量梯度下降法是指每次計算梯度時將所有訓練數據都納入考慮，然後根據求得的梯度來更新權重。而Mini-batch梯度下降法是指每次計算梯度時只考慮部分訓練數據，然後根據求得的梯度來更新權重。相對而言，Mini-batch梯度下降法可以降低計算成本，在實際應用中更常用。

5. 在神經網路訓練中，過擬合問題如何解決？

答案：過擬合問題可以通過正則化等方法來解決。正則化的主要作用是限制權重的大小，防止神經網路過度依賴單個訓練數據或噪聲。在實際應用中，可以使用L1正則化、L2正則化等不同的正則化方法。