インテル® DAAL 2017 デベロッパー・ガイド
X ∈ Rn1 x ... x np およびサイズ nk の次元 k から、xi1...ip について、ソフトマックス活性化層は次のように定義される変換を適用します。
ソフトマックス関数は、正規化された指数としても知られます (ソフトマックスの正確な定義は [Bishop2006] を参照)。
サイズ nk の次元 k で、バックワード・ソフトマックス層は次の値を計算します。
ここで、gi1...ip は前の層で計算された入力勾配です。
サイズ n1 x n2 x ... x np の p 次元のテンソルを指定します。
G = (gi1...ip) と前の層で計算された勾配
Y = (yi1...ip) とフォワード・ソフトマックス層の出力
次のようなサイズ n1 x n2 x ... x np の p 次元のテンソル Z= (zi1...ip) を計算します。