- この記事の初出はパブリックナンバー：です。
はじめに
本連載は『ディープラーニング』読書メモのための記事ですが、原著を参照して一緒に読むとより効果的です。今回はディープラーニングにおける正則化についてです。
ディープラーニングにおける正則化
一般的に、ディープラーニングが行うのは、既存のトレーニングセットでネットワークモデルをトレーニングし、新しいデータに対して予測を行うことです。あるケースでは、モデルはトレーニングセットでは良い結果を出し、テストセットでは悪い結果か平凡な結果を出します。モデルのトレーニングが目的であるため、比較においては後者が好ましいです。
トレーニングセットでのパフォーマンスが良ければ良いほど、テストセットでのパフォーマンスも良くなるはずではありませんか？前回の記事で分析したように、トレーニングセットのオーバーフィッティングは、それほど重要でないベクトルや因子を増幅する傾向があり、オーバーフィッティングは汎化能力の損失につながります。 正則化はテスト誤差を減らすように設計されていますが、トレーニング誤差を増やすという代償を払うこともありますが、その価値はあります。正則化の簡単で厳密でない定義を以下に示します：
正則化：学習誤差よりも汎化誤差を減らすために行われるアルゴリズムの修正
推定値は正則化されることが多く、推定値の正則化はバイアスの増加と分散の減少を交換する形をとります。正則化ストラテジーを分析し、次に個別に説明します。
レギュラー化戦略
パラメトリックパラダイムペナルティ
αはペナルティパラメータで、αが0のときはペナルティなし、Ωはパラダイムペナルティ項、Jはターゲット。ニューラルネットワークでは、パラメータには各層のアフィン変換の重みとバイアスが含まれ、ペナルティを受けるのは重みだけです。
L2
分散が大きい入力があると認識すると、出力対象との共分散が小さい特徴量の重みが小さくなります。
L1
要約すると
本稿では、最も一般的な正則化戦略の1つであるパラメトリック・パラダイム・ペナルティについて説明し、最も一般的な2つのパラダイム・ペナルティ戦略、L2とL1を紹介します。
- この記事の初出はパブリックナンバー：です。
