第4章
線形識別モデル
修士2年
松村草也
4章の流れ
線形識別モデルとは
 ある入力ベクトルxの要素を,K個の離散クラスCkに
分類することを目的とする.
 一般的に各クラスは互いに重ならず、各入力は一つの
クラスに割り当てられる。
 分類先を決定領域と呼ぶ.
 決定領域の境界を決定境界・決定面と呼ぶ.
 線形識別モデルとは
 決定面が入力ベクトルxの線形関数で,
 D次元の入力空間に対して,決定面はD-1次元のモデル.
 線形決定面によって正しく各クラスに分類で
きるデータ集合を線形分離可能であるという.
分類問題の表記方法について





回帰問題では目的変数tは実数値ベクトルだった.
分類問題では離散的なクラスラベルを表現するための方法がい
ろいろある.
2クラス分類問題における確率モデルの場合,2値表現が一般
的である.
K>2クラスの場合は,目的変数に対して1-of-k表記法を使用する
のが便利である.
クラスがCjの場合,j番目の要素を除くtの要素がすべて0である
ような長さKのベクトルが使用される.
識別関数モデル
パラメータについて線形な関数
y(x)  w x  w0
T
さらに一般的に事後確率を予測するため,非線形関数f(・)によって一般化する.
f(・)を活性化関数(activation function)とよぶ.
y(x)  f (w x  w0 )
T
(4.3)
識別関数モデル – 2クラス
まず,単純な線形識別関数についてクラス分類方法を考える.
y(x)  w x  w0
T
重みベクトル




入力ベクトル
(4.4)
バイアスパラメータ
(マイナスの場合は
閾値パラメータ)
y(x)>0ならば,xはクラスC1に割り当てられ,それ以外はC2に割り
当てられる.
wは重みベクトルと呼ばれ,決定境界の傾きを決める.
w0はバイアスパラメータと呼ばれ,原点からの境界のずれを決める.
関係を図示するとわかりやすい.
識別関数モデル – 2クラス
決定面
重みベクトル
入力ベクトル




2次元線形識別関数の幾何
的表現.
赤で示された決定面はw
に垂直である.
原点から面までの距離は
バイアスパラメータw0に
よって制御される.
決定面(境界)のどちら
側にあるかによって,入
力ベクトルのクラスを判
別する.
多クラスへの拡張・問題点

次に,K=2クラスの線形識別をK>2のクラス
へ拡張することを考える.

多くの2クラス識別関数の組み合わせでKク
ラスの識別が構成可能だが,単純に行うと曖
昧な領域が生まれてしまう.

1対他分類器(one-versus-the-rest classifier)
 ある特定のクラスに入る点と入らない点
を識別する2クラスをK-1個用意する方法.

1対1分類器(one-versus-one classifier)
 すべてのクラスの組み合わせを考え,
K(K-1)/2個の2クラスを用意する方法
多クラスの決定方法
そこで,
yk (x)  wTk x  wk0
というクラスをK個用意する.各xについてはyk(x)の大小を比較することでどのクラスに分類す
るか決まる.値が等しい時は決定領域になる.
決定領域Rは単一接続しており,
凸領域である.
ベクトル
x̂については,下記が成立.
ˆ  x A  (1   )x B
x
ˆ )  yk (x A )  (1   )yk (x B )
yk (x
最小二乗法を用いた分類
 3章ではパラメータに関する線形モデルを考え,
二乗和誤差の最小化により,最適なパラメータが
解析的に求められることを確認した.そこで同じ
定式化を分類問題にも適用してみる.
 一般的なKクラス分類問題についても最小二乗を
使用する理由は,入力ベクトルが与えられた際の
目的変数値の条件付き期待値を近似するから(?
)
 しかし,推定された確率は一般的に非常に近似が
悪く,線形モデルの柔軟性が低いために,確率の
値が(0,1)の範囲を超えてしまうこともある.
最小二乗法を用いた分類
3章では
~ T~
yk (x)  w x  wk0  W x
T
k
の二乗和誤差関数を最小にすることを考えた.二乗和誤差関数は,
1
~
~~
~~
E D ( W )  tr {( XW  T )T ( XW  T )}
2
と,書くことができる.ただし,T=tnT
Wに関する導関数を0とおくと
最小二乗法を用いた分類
 最小二乗法は識別関数のパラメータを求めるための解析
解を与えるが,いくつかの難しい問題を抱えている.
 2.3.7節で,最小二乗法は外れ値に対する頑健さが欠け
ていることを見た.
 3クラスの分類に対しても十分なクラスを集合に対して
与えられない.
 これは,最小二乗法は条件付き確率分布にガウス分布を
仮定した場合の最尤法であるが,2値目的変数ベクトル
は明らかにガウス分布からかけ離れていることが原因で
ある.
最小二乗法の脆弱性





緑色はロジスティック回帰
モデル,紫は最小二乗によ
って得られる決定面.
外れ値が右下にある場合,
最小二乗は過敏に反応して
いることがわかる.
下段は3クラスの分類.
左図は最小二乗による分類
.緑色のクラスについては
誤識別が大きい.
右図はロジスティック回帰
モデルで,うまく分類でき
ていることがわかる.
次元の削減




次元の削減,という観点から線形識別モデルを見ることがで
きる.まず2クラスの場合を考える.D次元の入力ベクトルを
,1次元に射影するとする.yにある閾値を設定した,2クラ
ス分類.
一般的に1次元への射影は相当量の情報の損失を発生させる
ので,元のD次元空間では分離されていたクラスが1次元空間
では大きく重なってしまう可能性がある.
このとき,重みベクトルを調整することでクラスの分離を最
大にする射影を選択することができる.
この手法は「フィッシャーの線形判別(fisher’s linear discriminant)」
として知られている.
フィッシャーの線形識別





図のプロットは2クラスからの
サンプルを示している.
また,クラス平均を結ぶ直線
上に射影された結果をヒスト
グラムで示している.
射影空間では無視できないく
らいにクラスが重なり合って
いることがわかる.
下の図のプロットはフィッ
シャーの線形判別に基づく射
影を示す.
クラス分離度を大きく改善し
ていることがわかる.
フィッシャーの線形識別
1
1
m1 
x n , m2 
xn


N 1 nC1
N 2 nC2
(4.21)
m2  m1  w T (m 2  m1 )
(4.22)
mk  w T m k
(4.23)
 境界面を1次元の射影とみたときの解決方法.w
を調整することで,クラス間の分離度,式(4.23)
を最大にする射影を選ぶ.
 wの長さは単位長であるという制限を加える.
 この方法では,射影結果に重なりが生じている.
フィッシャーの線形判別
s 
2
k
(y
nC k
n
 mk )
2
(4.24)
ラベルづけされたデータに対するクラス内分散
(m2  m1 )2
J (w) 
s12  s22
(4.25)
wT S B w
J (w)  T
w SW w
(4.26)
S B  (m 2  m 1 )(m 2  m 1 )T
SW 
T
(
x

m
)(
x

m
)
 n 1 n 1 
nC 1
T
(
x

m
)(
x

m
)
 n 2 n 2
nC 2
(4.26)を最大にすることを考える.wで微分して,
( w T S B w)SW w  ( w T SW w)S B w
(4.29)
1
w  SW
(m 2  m 1 )
(4.30)
フィッシャーの線形判別
(4.27)
(4.28)
最小二乗との関連
 最小二乗法
 目的変数値の集合にできるだけ近い予測をするこ
と
 フィッシャーの判別基準
 出力空間でのクラス分離を最大にすること
 これまでは1-of-K表記法を考えてきたが,そ
れとは異なる目的変数値の表記法を使うと,
 重みに対する最小二乗解がフィッシャーの解
と等価になる.(Duda and Hart, 1973)
最小二乗との関連
二乗和誤差関数
w0とwに関する
導関数を0とする
パーセプトロンアルゴリズム
 パーセプトロンはあるきまった非線形変換を用いて,入
力ベクトルxを変換して特徴ベクトルを得て,以下の式
で表わされる一般化線形モデルを構成する.(4.52)
 2クラス分類問題では目的変数値の表記法として,
t∈{0,1}を用いていたが,パーセプトロンではステップ関
数で与えられる.(4.53)
 今回は誤差関数として,誤識別したパターンの総数を選
択する.
(4.52)
(4.53)
パーセプトロンアルゴリズム



誤差がwの区分的な定数関数で
あり,wの変化に伴い変化する
決定境界が,データ点を横切
るたびに不連続となるため,
誤差関数の勾配を使ってwを変
化させる方法が使えない.
そこで,パーセプトロン規準
として知られている別の誤差
関数を考える.
t∈{-1,+1}という目的変数値の表
記方法をもちいると,すべて
のパターンは正の値を取る.
(4.52)
(4.53)
パーセプトロンアルゴリズム
■パーセプトロン基準
Mは誤分類されたすべてのパターンの集合を表す.ただしφn=φ(xn).
w空間でパターンが誤分類される領域内では,誤分類されたパターンの
誤差への寄与は0である.よって総誤差関数は区分的に線形.
■確率的最急降下アルゴリズムの適用
ηは学習率パラメータ,τはアルゴリズムのステップ数を表す.
ηは1にしても一般性は失われない.
誤差の減少
パーセプトロンアルゴリズムの学習特性





初期のパラメータベク
トルを決定境界ととも
に黒矢印で表示.
緑の円で囲まれたデー
タは誤分類されている
.
その特徴ベクトルが現
在の重みベクトルに追
加される.
さらに考慮すべき次の
誤分類点を示す.
誤分類点の特徴ベクト
ルをまた重みベクトル
に追加,右下の決定領
域を得る.
パーセプトロンの弱み






更新の対象としていない誤分類パターンからの誤算関数への寄与は
減少しているとは限らない.
重みベクトルの変化は,以前正しく分類されていたパターンを誤分
類させるようなこともあり得る.
しかし,パーセプトロンの収束定理では,厳密解が存在する場合(
学習データ集合が線形に分離可能な場合)パーセプトロン学習アル
ゴリズムは有限回の繰り返しで厳密解に収束することを保証してい
る.
しかし,必要な繰り返し回数はかなり多くて実用的かどうかは怪し
い.
パラメータの初期値,データの提示順に依存してさまざまな解に収
束する.
線形分離可能でないデータ集合に対しては決して収束しない.
確率的生成モデル
 分類を確率的な視点からとらえ,線形決定
境界を持つモデルがどのように生成される
かを示す.
 クラスの条件付き確率密度p(x|Ck)とクラス
の事前確率p(Ck)をモデル化する生成的アプ
ローチについて議論する.
ロジスティックシグモイド関数



2クラスの場合の事後確率を
ロジスティックシグモイド
関数を用いて表現する.
K>2クラスの場合は,正規
化指数関数で表現され,こ
れはソフトマックス関数と
しても知られている.
入力変数xが連続値をとる場
合と離散値をとる場合につ
いて,クラスの条件付き確
率密度が特定の形で与えら
れる時の結果を調べる.
ロジスティックシグモイド関数
連続値の入力
 クラスの条件付き確率密度p(x|Ck)がガウス
分布であると仮定して,事後確率の形をみ
てみる.
 まずすべてのクラスが同じ共分散行列∑を
共有すると仮定.
離散値の特徴




特徴が離散値xiの場合を考える.簡単のため,xi∈{0,1}から
特徴数がD個入力がある場合は,一般的な分布は各クラスに
対する2D個の要素の表に相当する.
そこには2D-1個の独立変数が含まれている.これでは特徴数
が指数関数的に増加してしまうので,より制限的な表現を考
える.
ここで,ナイーブベイズを仮定する.
指数型分布族
 ガウス分布と離散値入力の両方に対して,
クラスの事後確率がロジスティックシグモ
イド関数もしくはソフトマックス活性化関
数の一般化線形モデルで与えられることが
わかった.
 これらは,クラスの条件付き確率が指数型
分布族のメンバーであるという仮定によっ
て得られる一般的な結果の特殊解.
確率的識別モデル



2クラス分類問題では,多くのクラスの条件付き確率分布p(x|Ck)に対し
てその事後確率がxのロジスティックシグモイド関数で書ける.
同様に多クラスの場合はxの線形関数のソフトマックス変換によって与
えられることを見てきた.
特定のクラスの条件付き確率密度に対して,そのパラメータと事前確率
を最尤法によって決定でき,ベイズの定理を用いて事後確率が求められ
ることを示してきた.
 別のアプローチとして,一般化線形モデルの
関数形式を陽に仮定し,最尤法を利用して一
般化線形モデルのパラメータを直接決定する
方法もある.(確率的識別モデル)
ダウンロード

こちら