ReLU関数

人間の脳の仕組みを参考に作られた人工知能の技術、深層学習では、活性化関数がとても大切な役割を担っています。 私たちの脳の中には、たくさんの神経細胞があります。これらの神経細胞は、他の神経細胞から信号を受け取ると、それを処理して次の神経細胞に伝えます。しかし、どんな小さな信号でも伝えるわけではありません。ある程度の強さの信号を受け取ったときだけ、次の神経細胞に信号を伝えます。この信号の強さを決めるのが、活性化関数です。 深層学習もこれと同じように、たくさんの層が重なってできています。それぞれの層では、前の層から受け取った情報をもとに計算を行い、次の層に情報を伝えます。このとき、活性化関数が、どの情報をどのくらい重要視するかを決めるのです。 活性化関数がないと、深層学習は複雑な問題をうまく処理できません。例えば、たくさんの層があっても、活性化関数がないと、それは１つの層と同じ働きしかできません。複雑な計算ができず、単純な計算しかできないということです。 活性化関数には、いくつか種類があります。よく使われるものとして、しきい値を０とするステップ関数、滑らかな曲線を描くシグモイド関数、ランプ関数とも呼ばれるReLU関数などがあります。それぞれに特徴があり、扱う問題によって使い分けられています。 つまり、活性化関数は、深層学習モデルの表現力を高めるために、なくてはならないものなのです。