全般

損失関数 ディープラーニングで学習を行うときに、損失関数を決める必要があります。学習は、この損失関数の値が小さくなる方向に進むようになっています。なので、この損失関数を間違って規定してしまうと、学習がまともに進みません。 代表...

過学習 機械学習において、訓練データには正しく答えられるが、未知の一般データに対しては正しく答えられない、汎化できていない状況を指します。 過学習になると、accuracyとlossは、図のようになります。青のTrai...

活性化関数 各層の計算は、重みの掛け算とバイアスの足し算の後、活性化関数を通します。活性化関数は、非線形関数であることが必須です。というのは、もし線形関数を用いてしまうと、せっかく層を重ねても、全て線形結合になってしまうので、線形の...

ショートカット接続 図のように、ニューラルネットワークでいくつかの層を挟んだ後、前の値をそのまま持ってくるパスを作成することがあります。これをショートカット接続と言います。 ショートカットの効果 ショートカット接...

バッチノーマライゼーションについて解説します。 バッチノーマライゼーションが導入された背景 各層の活性化関数の出力は、適度な分散をもっていると勾配消失などの問題が起こりにくいことが知られています。そこで、各層の出力を適度に分散...

機械学習での「学習」と「推論」という言葉について説明したいと思います。もちろんディープラーニングでも「学習」と「推論」という言葉が使われます。 推論 機械学習では、回帰、分類、物体検出、セグメンテーション、自然言語処理、時系列...

ディープラーニングとは、機械学習の手法の1種です。まずは、機械学習とは何かを説明し、その後、ディープラーニングとは何かを説明したいと思います。 機械学習とは まず、ルールベースと機械学習の違いを説明します。 ルールベース...