近年の深層学習では、より複雑な課題を解決するために、ネットワークの層を深くすることが重要とされています。層を深くすることで、より抽象的で複雑な特徴を捉えることができると考えられています。しかし、単純に層を増やすだけでは、学習の過程で問題が発生することが知られています。特に、勾配消失問題と勾配爆発問題が深刻です。勾配消失問題は、誤差逆伝播法を用いて学習を行う際に、勾配が層を遡るにつれて小さくなり、入力に近い層のパラメータがほとんど更新されなくなる現象です。反対に勾配爆発問題は、勾配が層を遡るにつれて大きくなり、学習が不安定になる現象です。これらの問題は、層が深くなるほど顕著になります。 これらの問題を解決するために、残差学習と呼ばれる手法が提案されました。残差学習の核となるアイデアは「スキップ接続」です。スキップ接続とは、ある層の出力を、数層先の層の入力に直接加算する仕組みです。通常、ニューラルネットワークでは、各層の出力が次の層の入力となりますが、スキップ接続では、層を飛び越えて入力値が伝達されます。数式で表現すると、ある層の入力をx、その層の出力をF(x)とした場合、スキップ接続を用いると、次の層への入力はx + F(x)となります。つまり、層の出力は、入力値に加えて、その層で学習された残差F(x)のみとなります。 このスキップ接続により、勾配がスムーズに伝搬するようになります。勾配消失問題は、勾配が層を遡るにつれて小さくなることで発生しますが、スキップ接続によって入力値が直接加算されるため、勾配が小さくなりすぎるのを防ぐことができます。また、スキップ接続は、ネットワークに恒等写像の性質を与えることにも貢献します。つまり、層が増えても、少なくとも入力と同じ値を出力することが保証されるため、層を深くしても学習が阻害されにくくなります。結果として、残差学習を用いることで、非常に深いネットワークでも安定した学習が可能になり、深層学習の性能向上に大きく貢献しています。