詳細

次元 p の n 特徴ベクトルのセット X、x₁= (x₁₁,…,x_1p), ..., x_n= (x_n1,…,x_np) で、データが不完全か、欠測値があるときに、根本的な分散のパラメーターの最尤推定を見つけます。

一般的な形式の期待値最大化 (EM) アルゴリズム

X をパラメーター θ に応じて対数尤度 l(θ; X) になる観測値とします。X^m を潜在値または欠測値とすると、T=(X, X^m) は対数尤度 l₀ (θ; X) の完全なデータです。一般的な形式の問題を解くアルゴリズムは、次の EM アルゴリズム ([Dempster77]、[Hastie2009]) です。

パラメーター θ⁽⁰⁾ の初期値を選択します。
期待値ステップ: j 番目のステップで、Q (θ', θ^(j)) = E (l₀ (θ'; T)|X, θ^(j)) を仮引数 θ' の関数として計算します。
最大化ステップ: j 番目のステップで、θ' に対する Q(θ', θ^(j)) を最大化して、新しい推定 θ^(j+1) を計算します。
収束するまでステップ 2 と 3 を繰り返します。

ガウス混合モデル用 EM アルゴリズム

ガウス混合モデル (GMM) は、以下のように表される k p 次元多変量ガウス分布の混合モデルです。

ここで、Σ^k_{i = 1}α_i = 1 および α_i ≥ 0。

pd( x|θ_i ) は、パラメーター θ_i = (m_i , Σ_i ) の確率密度関数です。ここで、m_i は平均ベクトル、Σ_i は分散共分散行列です。p 次元多変量ガウス分布の確率密度関数は、次のように定義されます。

z_ij = I{x_i belongs to j mixture component} を指示関数、θ=(α₁, ..., α_k ; θ₁, ..., θ_k) とします。

計算

GMM 用 EM アルゴリズムには以下のステップが含まれます。

次のように重みを定義します。

i=1, ..., n で j=1, …, k。

パラメーターの初期値を選択します。
期待値ステップ: j 番目のステップで、行列 W = (w_ij)_nxk を重み w_ij で計算します。
最大化ステップ: j 番目のステップで、r=1, ..., k について以下の項目を計算します。
1. 混合重み
  
  ここで、
  
  は、r 番目の混合コンポーネントに割り当てられる特徴ベクトルの量 (amount)。
2. 平均推定
3. 共分散推定
  
  サイズ p x p
以下のいずれかの条件が満たされるまでステップ 2 と 3 を繰り返します。
- ここで、尤度関数は次のようになります。
- 反復回数が事前に定義されたレベルを超えた。

初期化

GMM 用 EM アルゴリズムには、重みの初期化されたベクトル、平均のベクトル、分散共分散行が必要です [Biernacki2003, Maitra2009]。

GMM 用 EM 初期化アルゴリズムには以下のステップが含まれます。

nIterations 反復および以下の開始値で EM アルゴリズムの開始を nTrials 回実行します。
- 初期平均 - 入力データセットの k の異なるランダムな観測
- 初期重み - 1/k の値
- 初期共分散行列 - 入力データの共分散
尤度関数値の点から最良の EM アルゴリズムの結果を初期化の結果として見なします。