インテル® DAAL 2018 デベロッパー・ガイド
確率的勾配降下法 (SGD) アルゴリズムは、反復ソルバーの特殊なケースです。詳細は、「反復ソルバー」を参照してください。
インテル® DAAL の確率的勾配降下法アルゴリズムでは、以下の計算メソッドを利用可能です。
確率的勾配降下法アルゴリズム [Mu2014] のミニバッチメソッド (miniBatch) は、反復ソルバーのアルゴリズム・フレームワークに従います。アルゴリズムの組込みパラメーターの空のセット St およびアルゴリズム固有の変換 T は、学習率数列 {ηt}t=1,...,nIterations、保守的数列 {γt}t=1,...,nIterations、内部ループ L の反復回数で、次のように定義されます。
l について、1 から L まで以下の処理を行います。
関数の引数を更新します。
勾配を計算します。
デフォルトメソッド (defaultDense) は、ミニバッチメソッドの特別なケースで、バッチサイズ b=1、L=1、保守的数列 です。
確率的勾配降下法アルゴリズム [Rumelhart86] のモメンタムメソッド (momentum) は、反復ソルバーのアルゴリズム・フレームワークに従います。組込みパラメーターのセット St およびアルゴリズム固有の変換 T は、学習率数列 {ηt}t=1,...,nIterations およびモメンタム・パラメーター μ ∈ [0,1] で、次のように定義されます。
SGD アルゴリズムのモメンタムメソッドでは、組込みパラメーターのセット St は最後の更新ベクトル vt のみ含みます。