迴圈神經網路(RNN)

習題預習

1. RNN可以用來解決什麼樣的問題？
2. RNN的神經元架構有哪些特點？
3. RNN的訓練流程是怎樣的？可以使用哪些優化算法？
4. 什麼是長短期記憶（LSTM）神經網路？它有什麼特點？
5. RNN常常用來處理時間序列數據，請舉例說明一個應用情境。

說明知識

Recurrent Neural Networks (RNNs)是一種神經網路的架構，最初被創造用來處理序列的資料，例如語言、音訊及影像等。

RNNs的特點是有一個額外的網路層，被稱為hidden layer。這個hidden layer，跟一般神經網路的hidden layer不一樣的地方在於：每個hidden node都會接收上一個時間點的hidden node的訊息。換句話說，hidden layer具有時序性，並且可以在處理序列資料時記憶先前預測的結果。這個過程稱為記憶體(memory)或循環性(recurrence)。

以下是一個簡單的RNNs例子：我們要用RNNs創建一個模型，可以翻譯英文為法文的問候語。假設我們有以下的英語問候語：

“Hello, how are you?”
“Good morning, how’s your day going?”
“Hi there, what’s up?”

RNNs模型會被訓練，輸入每個單詞的資料，並且在最後輸出法文的翻譯。在這過程中，RNNs會從前一個word node儲存目前的資訊，並且隨著時間記錄預測翻譯的過程。這樣，RNNs可以在翻譯每個單詞時，考慮到整個語句上下文，並進行更準確的翻譯。

條列重點

1. RNN是一種神經網路架構，主要用於處理序列數據。
2. RNN的基本建構是將先前的輸出作為當前輸入的一部分，這樣可以在處理序列數據時保留時間信息。
3. RNN的一個重要變形是Long Short-Term Memory (LSTM)，其增加了記憶單元和遺忘機制，能夠更好地處理長序列數據。
4. RNN可應用於多個領域，如語言模型、機器翻譯、語音識別、圖像描述等。
5. RNN的訓練通常使用反向傳播算法，並且需要考慮如何處理序列尺寸不同的數據，如padding和截斷。
6. RNN的模型複雜度相對較高，容易出現過擬合現象，因此需要進行正規化和dropout等機制。
7. 目前在RNN上的研究主要包括如何改進訓練算法、如何應用於更多領域、如何設計更有效的模型結構等。

知識測驗

1. RNN的反向傳播算法是如何計算梯度來更新權重？
   答案：RNN的反向傳播算法基於時間展開的梯度下降，通過將時間展開的循環神經網絡展開成圖形，從輸出端向輸入端進行反向傳播，計算梯度來更新權重。

2. 如何將RNN應用於自然語言處理中的情感分析任務？
   答案：通過使用RNN的長短期記憶（LSTM）單元，將文本數據轉換為數字序列，然後使用情感詞典或情感訓練數據進行訓練，利用RNN學習文本序列中的情感特徵。

3. 如何解決RNN在長序列中的梯度消失問題？
   答案：引入門控循環神經網絡（GRU）和長短期記憶網絡（LSTM）等門控機制，控制訊息在神經網絡傳播過程中的流動，減緩梯度消失問題。

4. RNN如何處理變長序列中的不定長度問題？
   答案：通過使用「padding」技術，將輸入序列補齊至相同長度，然後將補齊的部分設置為0，利用RNN學習序列特徵後再進行截斷，去掉不必要的部分。

5. RNN如何應用於股票預測任務？
   答案：通過使用時間序列數據，將歷史股票價格序列作為輸入，預測未來價格序列作為輸出。利用RNN分析歷史數據中的股票價格變化趨勢，並進行預測。可以使用LSTM或GRU等進階的RNN模型來構建股票預測模型。