在 Michael Nilson 的书中(更准确地说,在其翻译中) - https://habr.com/en/articles/457980/给出了输出层误差方程的证明。
为什么第二个公式中要对偏导数的乘积求和?毕竟,很明显,加权输入,例如输出层的第一个神经元,并不依赖于输出层的其余神经元。使用链式法则可以立即推导出第三个方程。
在 Michael Nilson 的书中(更准确地说,在其翻译中) - https://habr.com/en/articles/457980/给出了输出层误差方程的证明。
为什么第二个公式中要对偏导数的乘积求和?毕竟,很明显,加权输入,例如输出层的第一个神经元,并不依赖于输出层的其余神经元。使用链式法则可以立即推导出第三个方程。
是的,可以使用链式法则导出第三个方程。然而,这个证明使用了偏导数的方法,这也是正确的,并且可以让我们得到相同的结果。
偏导数乘积的求和之所以发生,是因为输出层的误差取决于输出层的所有输入,而不仅仅是与给定神经元对应的输入。换句话说,改变一个神经元的权重系数可以影响整个输出层的误差。
因此,对偏导数的乘积求和可以考虑输出层中所有神经元对误差的影响,并获得正确的δ方程。