残差模块

残差模块是深度学习中的一种重要结构，它的主要作用是帮助网络学习输入与输出之间的恒等映射，从而解决深层网络中的梯度消失和爆炸问题。残差模块的设计理念源于残差学习，即认为网络应该能够直接拟合输入与输出之间的差异，而不需要通过复杂的中间表示。在残差模块中，通常会引入一个短路连接，使得输入可以直接流向输出，从而形成“shortcut”或“skip connection”。这种设计使得网络可以更容易地学习到恒等映射，从而提高了训练的稳定性和效果。此外，残差模块还可以通过堆叠多个残差块来构建深度网络，进一步提高模型的性能。