インテル® DAAL 2017 デベロッパー・ガイド

バックワード・バッチ正規化層

フォワードバッチ正規化層は、次元 k ∈ {1, ... p} の入力 XRn1 x n2 x ... x np から xi1...ip を正規化した後、正規化の結果をスケーリングおよびシフトします。詳細は、「フォワードバッチ正規化層」を参照してください。バックワード・バッチ正規化層 [Ioffe2015] は、次元 k ∈ {1, ... p} の値を計算します。



ここで、

問題ステートメント

以下の p 次元のテンソルを指定します。

次のような p 次元のテンソル ZRn1 x n2 x ... x np を計算します。


j = 1, ..., nk。ここで