インテル® DAAL 2017 デベロッパー・ガイド
フォワードバッチ正規化層は、次元 k ∈ {1, ... p} の入力 X ∈ Rn1 x n2 x ... x np から xi1...ip を正規化した後、正規化の結果をスケーリングおよびシフトします。詳細は、「フォワードバッチ正規化層」を参照してください。バックワード・バッチ正規化層 [Ioffe2015] は、次元 k ∈ {1, ... p} の値を計算します。
ここで、
g は前の層の入力勾配
E は訓練段階で使用する目的関数
重み
バイアス
平均
分散
標準偏差
以下の p 次元のテンソルを指定します。
G ∈ Rn1 x n2 x ... x np - 前の層で計算された勾配
Y ∈ Rn1 x n2 x ... x np - フォワードバッチ正規化層の出力
次のような p 次元のテンソル Z ∈ Rn1 x n2 x ... x np を計算します。
j = 1, ..., nk。ここで