反向传播

习题预习

1. Backpropagation是什么，有什么作用？
2. 说明Backpropagation算法的运作流程。
3. Backpropagation有哪些常见的改进方法？
4. 什么是梯度消失问题，如何解决这个问题？
5. 如何通过调整学习率、层数和神经元数量等因素来优化Backpropagation算法的性能？

说明知识

Backpropagation是一种用来训练神经网路的演算法，主要用来更新神经元的权重和偏差，以改善神经网路的预测能力。

在Backpropagation演算法中，首先将训练资料送入神经网路进行预测，然后对预测结果和实际结果之间的误差进行计算。接着，透过反向传播法，将误差传回至神经网路中，根据误差的大小来更新每个神经元的权重和偏差，进而提升神经网路的预测准确率。

举例来说，假设有一个神经网路用来预测房价，并将训练资料送入神经网路进行预测。预测结果和实际结果之间的误差为10000元。接着，透过Backpropagation演算法，将误差传回至神经网路中，并根据误差的大小来调整每个神经元的权重和偏差。比如，如果神经元的权重过大，则可以降低权重的值，以减少误差。这样，经过多次训练后，神经网路的预测能力就会逐渐提升，最终达到较高的准确率。

条列重点

1. Backpropagation是一种用于神经网络训练的演算法，通过反向传播误差来更新权重，以最小化网络的误差。

2. 网络训练过程中，需要将样本输入网络，进而计算网络输出值和实际标签之间的差。

3. 接着，从输出层开始，计算每一层的权重误差，并利用梯度下降优化算法来更新权重。

4. 在计算权重误差时，需要使用链式法则来求解，即将误差逐层反向传播到输入层。

5. 链式法则中，对于每个神经元，需要计算其输出值对权重的偏导数，以及它上一层神经元的误差对其输入值的偏导数。

6. 在计算输出层的权重误差时，需要利用标签和输出值之间的差来计算误差梯度。

7. 在计算隐藏层的权重误差时，需要使用后一层神经元的误差加权求和来计算该层的误差梯度。

8. 通常，我们需要设置一个合适的学习率，以控制权重更新的速度。

9. 训练一个神经网络需要多次重复以上步骤，直到网络的误差达到一个合适的阈值或者训练次数到达一定的上限。

知识测验

1. 在神经网路中，如何计算误差梯度？

答案：误差梯度可以使用反向传播演算法来计算。首先从输出层开始，计算输出层的误差，然后将误差反向传播到输入层，逐层计算每一层的误差梯度。

2. 什么是局部最小值问题？怎样避免出现局部最小值问题？

答案：局部最小值问题是神经网路优化中常见的问题，当神经网路在训练过程中收敛到一个局部最小值时，就无法再继续学习。为了避免出现局部最小值问题，可以使用随机初始权重、增加训练数据、使用正则化等方法。

3. 为什么要使用激活函数？它的作用是什么？

答案：激活函数是神经元的非线性转换，主要作用是引入非线性因素，提高神经网路的表示能力。在没有激活函数的情况下，神经网路只能进行线性转换，无法处理复杂的非线性问题。

4. 什么是批量梯度下降法？它与Mini-batch梯度下降法有什么不同？

答案：批量梯度下降法是指每次计算梯度时将所有训练数据都纳入考虑，然后根据求得的梯度来更新权重。而Mini-batch梯度下降法是指每次计算梯度时只考虑部分训练数据，然后根据求得的梯度来更新权重。相对而言，Mini-batch梯度下降法可以降低计算成本，在实际应用中更常用。

5. 在神经网路训练中，过拟合问题如何解决？

答案：过拟合问题可以通过正则化等方法来解决。正则化的主要作用是限制权重的大小，防止神经网路过度依赖单个训练数据或噪声。在实际应用中，可以使用L1正则化、L2正则化等不同的正则化方法。