インテル® DAAL 2018 デベロッパー・ガイド

リッジ回帰

リッジ回帰メソッドは、回帰係数のサイズにペナルティーを科すことを除いて、最小 2 乗プロシージャーに似ています。リッジ回帰は、データの多重共線性を克服するために最も一般的に使用されるメソッドの 1 つです。

詳細

(x1,…,xp) を入力変数のベクトルとします。y=(y1,…,yk) は応答です。各 j=1,…,k について、リッジ回帰モデルは、係数が異なる目的関数を最小化して推定されることを除いて [James2013]、線形回帰モデルに似た形式になります [Hoerl70]。

yj=β0j+ β1jx1 +...+ βpjxp

ここで、xi, i=1,...,p は独立変数、yj は従属変数または応答です。

訓練段階

(x11,...,x1p,y11,...,y1k),…,(xn1,...,xnp,yn1,...,ynk) を訓練データのセット、n >> p とします。サイズ n x p の行列 X には、独立変数の観測 xij,i=1,...,n, j=1,….,p が含まれます。

yj , j = 1,…,k について、リッジ回帰モデルは目的関数を最小化して (β0j, β1j...,βpj) を推定します。



ここで、λj0 はリッジ・パラメーター [Hoerl70, James2013] です。

予測段階

リッジ回帰ベースの予測が入力ベクトル (x1,…,xp) に対して行われます。式 yj=β0j+ β1jx1+...+βpjxpj=1,…,k について使用します。