前者为0+1，后者为ReLU(-2+1)=0。

本小章还未完，请点击下一页继续阅读后面精彩内容！

所有的可合并分支，必须不含有非线性激活算子，才能够满足结合律和分配率。

但问题又来了，如果构造出来的几个分支都可以等价转换为一个，那为什么不从一开始就只训这一个分支呢？这不是快很多吗？

最后的效果为什么会不一样呢？

这从直觉上和数学上都是不大合理的事情。

这不就相当于小学数学分开算吗？

2X拆成X+X去训练，这怎么会有区别呢？

“我们不能这么去想，残差链接的想法也没有脱离线性变换，也只是加了一个相同形状的张量x而已呀。”孟繁岐自己也不知道具体的原理，这个世界上没人能解释得清楚。

“但是残差链接在你的实际应用当中，是跨越了非线性激活函数的，你的公式看上去很简单，但代码里却很复杂。”戴密斯无情地指出了这个说法的问题所在。

“那理论上说，是不是3x3的卷积核一定好过1x1的卷积？只要九宫格外面的八个数字都是0，那么3x3的卷积核其实就变成了一个1x1的卷积，因为外面8个数字不参与运算。”

孟繁岐想了想，又换了一个例子来尝试证明。

“呃...好像确实是这个道理。”

就好像有某种物品，一定好过没有，因为再不济你也可以把它扔掉嘛，这样你现在就也没有这个东西，大家都一样了。

“那为什么我这里结果显示，同一个位置上面，1x1 + 3x3的性能却明显好于3x3 + 3x3，也就是说一个强结构加一个弱结构好于两个强结构相加，这难道不奇怪吗？”

“而且，批归一化虽然推理时是线性的，但训练时其实还是非线性的，也就是说即便没有专门的非线性函数，这种可重构的结构设计，多个分支内在训练的时候仍旧是具备非线性能力的。”

理论很美好，但实验结果很骨感。

即便席尔瓦和戴密斯的数学再扎实，也终究没法解释孟繁岐获得了提升的实验结果。

两个人能做的也只有喃喃自语同一句话。

这特么根本不数学啊！