ディープラーニングのネットワークの基本要素である全結合層について説明します。
全結合
図のように、1層目のノードと2層目のノードが全て結合している場合を、全結合と言います。結合している線については、左から右に計算が進むとき、左のノードが右のノードに影響を与える場合に線が引かれています。つまり、2層目の各ノードは、1層目の全てのノードから影響を受けることを示しています。
全結合層
全結合しているノードが集まった層を全結合層と呼びます。正確には、図の2層目が全結合層です。ディープラーニングでは、ネットワークを層で表現します。推論時の計算は、左側の層から順番に行われます。
全結合層は、ディープラーニングの基本になる要素です。普通に、前の層の結果を全部使って、次の層のノードを計算します。FC(Fully Connected) layerとか、Affine layerとか、Dense layerとか呼ばれることがあります。
結合の線について
結合している線には、太さがあると考えてください。太い線ほど、たくさん影響を与えます。その線の太さのことを「重み」と言います。
全結合層では、「重み」計算の他に、「バイアス」、「活性化関数」が計算されます。
ちなみに、「重み」と「バイアス」は、学習によって変化していく部分です。なので、学習とは、問題を解くために最適な「重み」と「バイアス」を求めることに他なりません。
まとめ
全結合層について簡単に紹介しました。基本の層なので、FC、Affine、Denseという言葉と一緒に覚えておきましょう。