パターン認識
ー特徴抽出2ー
担当:和田 俊和
部屋 A513
Email [email protected]
講義資料はhttp://wada1.sys.wakayama-u.ac.jp/PR/
主成分分析復習
判別分析
主成分分析
• 特徴ベクトルの各要素の分散を最大化する。
φ
c  (x  μ・)
|| φ ||
φ
ci  (xi  μ・)
μ
φ
|| φ ||
|| φ ||
1 n
φ
c   (x i  μ)・
|| φ ||
n i 1
μx  c0
主成分分析(固有値問題としての定式化)
• 特徴ベクトルの各要素の分散
1 n
φ
2
  {( x i  x)・ || φ ||}
n i 1
n


1
2
 || φ ||2 
{(
x

x
)
・
φ
}

i

 n i 1
1 n
2φ  2  ( xi  x ){( xi  x )  φ}
n i 1
1 n
φ   ( xi  x )( xi  x )T φ
n i 1
主成分分析
• 特徴ベクトルの各要素の分散
1 n
φ
2
  {( x i  x)・ || φ ||}
n i 1
1 n
T
φ   (xi  x) (xi  x) φ
n
i 1


共分散行列 
φ   φ
固有値問題になる
主成分分析
• 共分散行列Σの性質
  12  1 2

2



2 1
2


 


 n 1  n 2
μ
φ
|| φ ||
対称行列なので次式による
対角化が可能
  VV
V  φ1 φ2  φN 
T
1
0



0
0
2

0
  1 n 

  2 n 

 
2 
 n 
0
 0 
 

 n 

主成分分析
• 共分散行列Σの性質
  VV
1
0



0
T
V  φ1 φ2  φN 
0

 0
 

 n 

0
2

0
Vは直交行列(回転を表している):
V V
T
1
|| Vx |||| x ||
VT

V
主成分分析によって何が分かるか
• 分散の大きくなる軸の向き φi
• その軸方向の偏差 i 分散 i
• 共分散行列のランクがrである場合、次式が成
r
り立つ
x   (φ・i (x  x))φi  x
i 1
• r未満の数qに対する直交展開
q
x'   (φ・i (x  x))φi  x
i 1
を計算する際に誤差||x-x’||を最小化する基底が
求まっている。
レポート課題
• x1= (2,4,3)T,
x4= (3,1,3)T
x2= (2,2,4)T, x3= (5,1,2)T,
•
Σの計算
•
固有値分解の結果
•
VによるΣの対角化の確認
•
直交展開(3項必要)
OCTAVE を使った計算
•
•
•
•
•
•
v1=[2,4,3].’
v2=[2,2,4].’
v3=[5,1,2].’
v4=[3,1,3].’
av=(v1+v2+v3+v4)/4
S=((v1-av)*(v1-av).’+(v2-av)*(v2-av).’
+(v3-av)*(v3-av).’+(v4-av)*(v4-av).’)/4
識別に有利な特徴への変換
クラス内での分散を小さくし、クラス間での
分散は大きくする一次元特徴を求める
yA x
クラス1
T
2
μ2
1
μ1
平均値
A
クラス2
AT μ1 AT μ 2
T
分散 A 1A
AT 2 A
1 n T
T
T
A
(
x

μ
){
A
(
x

μ
)}

i
i
n i 1
1 n T
  A ( xi  μ)( xi  μ)T A  AT A
n i 1
識別に有利な特徴への変換
クラス内での分散を小さくし、クラス間での
分散は大きくする一次元特徴を求める
クラス1
yA x
T
2
μ2
1
μ1
A
クラス2
平均値 A μ1 A μ 2
T
T
分散 A 1A A 2 A
T
T
n11  n2  2
n1n2 ( μ1  μ2 )( μ1  μ2 )T
W 
B 
(n1  n2 ) 2
n1  n2
クラス内分散
T
クラス間分散
A BA
フィッシャー比 AT  A の最大化
W
AT W A
AT  B A
識別に有利な特徴への変換:
判別分析
A  B A の値は変わらないので、
AT W A
T
T
A
 B A の最大化問題と見なす。
の下での
A W A  1
T
Aの大きさが変わっても
Lagrangeの未定係数法により、次の目的関数が得られる。
J (A)  AT B A   (AT W A 1)

J ( A)  2 B A  2W A  0 なので、
A
 B A  W A
が得られ,これを整理して
(W1B  I )A  0 となる。
W1B の最大固有値がJの最大値となり、
これに対応する固有ベクトルが、Aになる。
線形判別法:
多クラスの場合
多クラスの場合、Aは複数のベクトルとなる。
c
W   P( i )i
i 1
~
W  AT W A
c
 B   P(i ) P( j )(μi  μ j )(μi  μ j )T
i 1 j i
~
B  AT B A
~
trace( B )
J1 ( A) 
~
trace(W )

~ ~
J 2 ( A)  trace W1B

~
det( B )
J 3 ( A) 
~
det(W )
これらを最大化する問題は、同じ問題に帰着する。
1
W
 B
の固有ベクトルが、Aの列ベクトルになる。
ダウンロード

WPR-3