回帰問題の出力層で使われる恒等関数と、分類問題の出力層で使われるソフトマックス関数について説明します。
恒等関数
出力をそのまま出す関数を恒等関数と言います。回帰問題の出力では、そのままの値を出力するので、そこで使用されます。
ソフトマックス関数
複数の出力があるときに、その出力の合計が1.0になるよう値を調整する関数です。分類問題の出力時に、それぞれの確率を出さなければならないので、そこで利用されることが多いです。それぞれの出力の値は、0.0〜1.0になります。
例えば、犬、猫、馬の画像分類をするネットワークがあったとします。図のように、ソフトマックス関数を適用する前の出力が、犬=5.0, 猫=4.0, 馬=3.0だったとします。ソフトマックス関数を通すと、犬=0.665, 猫=0.245, 馬=0.090となり、合計が1.000の確率表現になります。
まとめ
恒等関数とソフトマックス関数の説明をしました。特に、ソフトマックス関数は、よく使われる印象があります。覚えておきましょう。