使用反向传播算法编写了一个神经网络。
理论上,在训练结束时,输出层神经元的误差平方和应趋于零。对我来说,在经过任意数量的训练 epoch 后,它会“稳定”在某个值 (3)。
监督学习,输入向量-编码数字/字母,输入维度-35(7x5,1-黑色,0-白色,例如字母Y编码为1 0 1 1 1 1 0 1 0 1 1 0 1 0 1 1 1 1 0 1 1 0 1 0 1 1 0 1 0 1 1 0 1 1 1)
使用反向传播算法编写了一个神经网络。
理论上,在训练结束时,输出层神经元的误差平方和应趋于零。对我来说,在经过任意数量的训练 epoch 后,它会“稳定”在某个值 (3)。
监督学习,输入向量-编码数字/字母,输入维度-35(7x5,1-黑色,0-白色,例如字母Y编码为1 0 1 1 1 1 0 1 0 1 1 0 1 0 1 1 1 1 0 1 1 0 1 0 1 1 0 1 0 1 1 0 1 1 1)
В теории, в конце обучения сумма квадратов ошибки по нейронам выходного слоя должна стремиться к нулю
- 你从哪里得到这些信息?在训练结束时,我们必须选择误差/损失函数具有最小值(即全局最小值)的神经元权重 - 对于或多或少的大型真实数据集,您几乎永远无法选择这样的权重误差函数将等于零。如果确实如此,那就相当糟糕了,因为。它是过拟合模型的指标。
问题已解决 - 错误地考虑了权重的校正 + 导数的计算存在错误。