インテル® DAAL 2017 デベロッパー・ガイド
SmoothReLU (スムース正規化線形関数) 活性化層は、入力データに変換 f(x) = log(1 + exp(x)) を適用します。バックワード SmoothReLU 層は、値 z = y*f'(x) を計算します。ここで、y は前の層で計算された入力勾配、
サイズ n1 x n2 x ... x np の p 次元のテンソル X および Y で、次のようなサイズ n1 x n2 x ... x np の p 次元のテンソル Z = (zi1...ip) を計算します。