ショートカット接続
図のように、ニューラルネットワークでいくつかの層を挟んだ後、前の値をそのまま持ってくるパスを作成することがあります。これをショートカット接続と言います。
ショートカットの効果
ショートカット接続を使うと、勾配消失問題（層が深くなるにつれて、勾配が0になって学習が進まなくなる問題）を解消できます。層が深いニューラルネットワークを学習させるために、このショートカットとバッチノーマライゼーションがセットで使用されることが多いです。
https://arxiv.org/abs/1512.03385
ショートカット接続を使った有名な深いネットワークにResNetがあります。
まとめ
ショートカットとバッチノーマライゼーションの登場によって、層が深いネットワークの学習が適切にできるようになりました。ディープラーニングは、層を深くすることで、その能力を発揮するので、現代のディープラーニングにとっては欠かせない技術になります。