インテル® DAAL 2017 デベロッパー・ガイド
フォワードバッチ正規化層 [Ioffe2015] は、次元 k ∈ {1, ... p} の入力 X ∈ Rn1 x n2 x ... x np から xi1...ip を正規化した後、提供された重みおよびバイアスを使用して、正規化の結果をスケーリングおよびシフトします。
ここで、入力 X について、以下の特性が計算されます。
平均
標準偏差
分散
重さおよびバイアスは、残りのモデル・パラメーターと同様に学習されます。
p 次元のテンソル X ∈ Rn1 x n2 x ... x np で、p 次元のテンソル Y ∈ Rn1 x n2 x ... x np を計算します。
ここで、
平均
分散
標準偏差
重み
バイアス
モデルの訓練段階では、正規化に加えて、層はミニバッチの平均および分散に適用された平滑化係数 α ∈ [0,1] の指数移動平均を使用して、母集団平均および分散を計算します。