インテル® DAAL 2017 デベロッパー・ガイド
フォワード全結合層は、値
を n について入力引数 xk、重み wki、重みマスク ski、バイアス bi で計算します。ここで、k ∈ {1, ..., n}, i ∈ {1, ..., m}、m は層の出力の数です。詳細は、「フォワード全結合層」を参照してください。
バックワード全結合層は次の値を計算します。
ここで、
E は訓練段階で使用する目的関数、gj は前の層で計算された入力勾配です。
以下の項目を指定します。
サイズ n1 x ... x nk... x np の p 次元のテンソル X
サイズ n1 x ... x nk-1 x m x nk+1 ... x np の p 次元のテンソル W
サイズ n1 x ... x nk-1 x m x nk+1 ... x np の p 次元のテンソル S
サイズ m の 1 次元のテンソル B
サイズ nk x m の 2 次元のテンソル G
次のようなサイズ n1 x ... x nk... x np の p 次元のテンソル Z。
値:
上記の式の場合: