活性化関数とコスト関数

活性化関数φやコスト関数Cはsigmoid、2乗誤差以外のバリエーションもある。

(コスト関数は損失関数Lossと呼ぶ方が一般的だが、頭文字が層Layerとかぶるので避けた)

◇

【活性化関数φ】

前項でみたように、バックプロパゲーションを計算するにはφの微分が簡単に計算できなければならない。

expを使ったタイプとしてsoftmaxがある。これは複数個のクラス分類の出力層に使われるもので、k番目のクラスらしさを全クラスの和で割る。関数の形としてはsigmoidの平行移動なので、微分φ'=φ(1-φ)はsigmoidと同じ形になる。

expよりもっと簡単なReLUもある。これはsigmoidだとzがある程度大きくなるとφ'(z)=0すなわちdC/dwもゼロになって学習が進まなくなる問題があったので、zが大きくなるとφも1を超えて大きくなるようにしたものである。関数の形としては一次式ではあるが途中で折れ曲がっているので一応非線形になっている。