確率的勾配降下法アルゴリズム

ミニバッチメソッド

確率的勾配降下法アルゴリズムのミニバッチメソッド (miniBatch) は、[Mu2014] で説明されています。

以下の項目を指定します。

• 開始引数 θ₀

• 学習率数列:

  
  

• 保守的数列:

  
  

• 内部ループ L の反復回数

t を 1 から nIterations まで反復します。

1. 置換なしのインデックスのセット I = {i₁, i₂, ... , i_m}, 1 ≤ i_l < n, l ∈ {1, ..., m}, |I| = m = batchSize を選択します。

2. θ_t = θ_t-1 を設定します。

3. 次の場合に停止します。

   
   

4. l を 1 から L まで反復して更新します。

   1. 勾配を計算します。

      
      

   2. 
      
      
      

デフォルトメソッド

デフォルトメソッド (defaultDense) は、ミニバッチメソッドの特別なケースです。ここで、t= 1, ... nIterations、

m = 1、

L = 1、

γ_t = 0。