【DeepLearning特訓】MLPの基礎 バッチ正規化（Batch Normalization）
E資格向けの自習アウトプット
自分用メモ
Batch Normalization（Batch Norm）は、ミニバッチ単位で正規化を行いスケールを揃えること。重みの初期値が適切だと、各層のアクティベーション分布に適切な広がりをもち、学習がスムーズに行える
Batch Norm は、各層のアクティベーション分布を適度な広がりを持つように調整することにある
Batch Norm のレイヤをアフィン変換と活性化関数の間に挿入する
【Batch Norm のメリット】
・学習を速く進行させることができる
・初期値にそれほど依存しない
・過学習を抑制する
Batch Norm を計算グラフであらわすと
こんな感じでよいのだろうか
