インテル® DAAL 2017 デベロッパー・ガイド

バックワード ReLU (正規化線形関数) 層

ReLU (正規化線形関数) 活性化層は、入力データに変換 f(x) = max(0, x) を適用します。バックワード ReLU 層は、値 z = y * f'(x) を計算します。ここで、y は前の層で計算された入力勾配、f'(x) = {1 if x > 0, 0 if x =< 0} です。

問題ステートメント

サイズ n1 x n2 x ... x npp 次元のテンソル X および Y で、サイズ n1 x n2 x ... x npp 次元のテンソル Z = (zi1...ip) を計算します。ここで、

zi1...ip = {yi1...ip if xi1...ip > 0, 0 if xi1...ip =< 0}