インテル® DAAL 2018 デベロッパー・ガイド

フォワードバッチ正規化層

フォワードバッチ正規化層 [Ioffe2015] は、次元 k ∈ {1, ..., p} の入力 XRn1 x n2 x ... x np から xi1...ip を正規化した後、提供された重みおよびバイアスを使用して、正規化の結果をスケーリングおよびシフトします。

ここで、入力 X について、以下の特性が計算されます。

重さおよびバイアスは、残りのモデルのパラメーターと同様に学習されます。

問題ステートメント

p 次元のテンソル XRn1 x n2 x ... x np で、p 次元のテンソル YRn1 x n2 x ... x np を計算します。

ここで、

モデルの訓練段階では、正規化に加えて、層はミニバッチの平均および分散に適用された平滑化係数 α ∈ [0,1] の指数移動平均を使用して、母集団平均および分散を計算します。